/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AddressSearch.java revision 2443 by torben, Fri Mar 13 13:06:17 2015 UTC dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java revision 2534 by torben, Mon May 11 07:24:54 2015 UTC
# Line 9  import java.util.HashMap; Line 9  import java.util.HashMap;
9  import java.util.HashSet;  import java.util.HashSet;
10  import java.util.List;  import java.util.List;
11  import java.util.Map;  import java.util.Map;
12    import java.util.Map.Entry;
13  import java.util.Set;  import java.util.Set;
14    import java.util.TreeMap;
15    import java.util.TreeSet;
16  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
17    
18  import org.apache.commons.lang3.StringUtils;  import org.apache.commons.lang3.StringUtils;
# Line 24  import dk.daoas.daoadresseservice.beans. Line 27  import dk.daoas.daoadresseservice.beans.
27  import dk.daoas.daoadresseservice.beans.SearchResult;  import dk.daoas.daoadresseservice.beans.SearchResult;
28  import dk.daoas.daoadresseservice.beans.SearchResult.Status;  import dk.daoas.daoadresseservice.beans.SearchResult.Status;
29  import dk.daoas.daoadresseservice.db.DatabaseLayer;  import dk.daoas.daoadresseservice.db.DatabaseLayer;
30    import dk.daoas.daoadresseservice.util.DeduplicateHelper;
31    import dk.daoas.daoadresseservice.util.NaturalOrderComparator;
32    
33  public class AddressSearch {  public class AddressSearch {
34    
35          private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;                private Map<Short, Map<String,Integer>> searchPostnrVejnavnGadeid;      
36          private Map<Long,  Map<String,Address>> searchGadeidentAdresser;          private Map<Integer,  Map<String,Address>> searchGadeidentAdresser;
37    
38          private List<Address> alleAdresser;          private List<Address> alleAdresser;
39                    
40          private Map<String,Long> helperCache;          private Map<String,Integer> helperCache;
41                    
42          private DataStatisticsBean stats = new DataStatisticsBean();          private DataStatisticsBean stats = new DataStatisticsBean();
43                    
# Line 53  public class AddressSearch { Line 58  public class AddressSearch {
58                    
59                    
60          public SearchResult search(String postnrStr, String adresse)  {          public SearchResult search(String postnrStr, String adresse)  {
61                    
62                    postnrStr = postnrStr.trim();
63                    adresse = adresse.trim();
64                    
65                    
66                  SearchRequest request = new SearchRequest();                  SearchRequest request = new SearchRequest();
67                  SearchResult result = new SearchResult();                  SearchResult result = new SearchResult();
68                                    
# Line 60  public class AddressSearch { Line 70  public class AddressSearch {
70                  String helperSearchKey = "";                  String helperSearchKey = "";
71                                    
72                  try {                  try {
73                          request.postnr = Integer.parseInt(postnrStr);                          request.postnr = Short.parseShort(postnrStr);
74                  } catch (Exception E) {                  } catch (Exception E) {
75                          result.status = Status.ERROR_UNKNOWN_POSTAL;                          result.status = Status.ERROR_UNKNOWN_POSTAL;
76                          return result;                          return result;
# Line 89  public class AddressSearch { Line 99  public class AddressSearch {
99                                    
100    
101                  if (request.vasketVejnavn.indexOf("pakkebo") > -1                  if (request.vasketVejnavn.indexOf("pakkebo") > -1
102                                    || request.vasketVejnavn.indexOf("pakkepost") > -1
103                                  || request.vasketVejnavn.indexOf("døgnpost") > -1                                  || request.vasketVejnavn.indexOf("døgnpost") > -1
104                                  || request.vasketVejnavn.indexOf("døgnbo") > -1                                  || request.vasketVejnavn.indexOf("døgnbo") > -1
105                                  || request.vasketVejnavn.equals("id")                                  || request.vasketVejnavn.equals("id")
# Line 97  public class AddressSearch { Line 108  public class AddressSearch {
108                          return result;                                            return result;                  
109                  }                  }
110                                    
111                  Long gadeident =  request.streetNames.get(request.vasketVejnavn);                  Integer gadeident =  request.streetNames.get(request.vasketVejnavn);
112                                    
113                                    
114                  if ( gadeident == null) {                  if ( gadeident == null) {
# Line 173  public class AddressSearch { Line 184  public class AddressSearch {
184                  return result;                  return result;
185          }          }
186                    
187          private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) {          private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) {
188                  if (vej == null)                  if (vej == null)
189                          return null;                          return null;
190                                    
191                  String vejVasket = AddressUtils.vaskVejnavn( vej );                  String vejVasket = AddressUtils.vaskVejnavn( vej );
192                  Long gadeident =  postnrVeje.get(vejVasket);                  Integer gadeident =  postnrVeje.get(vejVasket);
193                                    
194                  if (gadeident != null) {                  if (gadeident != null) {
195                          helperCache.put(helperSearchKey, gadeident);                          helperCache.put(helperSearchKey, gadeident);
# Line 187  public class AddressSearch { Line 198  public class AddressSearch {
198                                    
199          }          }
200                    
201          public Map<String,Long> getStretsByPostal(int zip) {          public Map<String,Integer> getStretsByPostal(int zip) {
202                  return searchPostnrVejnavnGadeid.get(zip);                  return searchPostnrVejnavnGadeid.get(zip);
203          }          }
204    
205                    
206                    
207          public void buildSearchStructures() throws SQLException{          public void buildSearchStructures() throws SQLException{
208                  searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();                  searchPostnrVejnavnGadeid = new HashMap<Short, Map<String,Integer>>();
209                  searchGadeidentAdresser = new HashMap<Long,  Map<String,Address>>();                  searchGadeidentAdresser = new HashMap<Integer,  Map<String,Address>>();
210                  helperCache = new ConcurrentHashMap<String,Long>();                  helperCache = new ConcurrentHashMap<String,Integer>();
211                                    
212                  long start1 = System.currentTimeMillis();                  long start1 = System.currentTimeMillis();
213                  System.out.println("Build -- stage 1");                  System.out.println("Build -- stage 1");
# Line 206  public class AddressSearch { Line 217  public class AddressSearch {
217                                    
218                  /* Mapper mellem db Row ID og adresse noden */                  /* Mapper mellem db Row ID og adresse noden */
219                  Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );                  Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
220                    DeduplicateHelper<String> aliasHelper = new DeduplicateHelper<String>();
221                    DeduplicateHelper<String> husnrHelper = new DeduplicateHelper<String>();
222                                    
223                  for (Address a : alleAdresser) {                  for (Address a : alleAdresser) {
224                          idAddressMap.put(a.id, a);                          idAddressMap.put(a.id, a);
225                                                    
226                          Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);                                    Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);              
227                                                    
228                          if (postnrVeje == null) {                          if (postnrVeje == null) {
229                                  postnrVeje = new ConcurrentHashMap<String,Long>();                                  postnrVeje = new ConcurrentHashMap<String,Integer>();
230                                  searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);                                  searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);
231                          }                          }
232                                    
233                                                    
234                          String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);                          String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
235                          Long gadeident = postnrVeje.get(vasketVejnavn);                          Integer gadeident = postnrVeje.get(vasketVejnavn);
236                          if (gadeident == null) {                                                          if (gadeident == null) {                                
237                                  //postnrVeje.put(vasketVejnavn, a.gadeid);                                  //postnrVeje.put(vasketVejnavn, a.gadeid);
238                                                                    
# Line 227  public class AddressSearch { Line 241  public class AddressSearch {
241                                  Set<String> aliaser = findVejAliaser(a.vejnavn);                                  Set<String> aliaser = findVejAliaser(a.vejnavn);
242                                  for(String alias : aliaser) {                                  for(String alias : aliaser) {
243                                          String vasketAlias = AddressUtils.vaskVejnavn(alias);                                          String vasketAlias = AddressUtils.vaskVejnavn(alias);
244                                            vasketAlias = aliasHelper.getInstance(vasketAlias);
245                                            
246                                          postnrVeje.put(vasketAlias, gadeident);                                          postnrVeje.put(vasketAlias, gadeident);
247                                  }                                                                }                              
248                          }                          }
# Line 237  public class AddressSearch { Line 253  public class AddressSearch {
253                                  searchGadeidentAdresser.put(gadeident, gade);                                  searchGadeidentAdresser.put(gadeident, gade);
254                          }                          }
255                          String husnrSearch = "" + a.husnr + a.husnrbogstav;                          String husnrSearch = "" + a.husnr + a.husnrbogstav;
256                            husnrSearch = husnrHelper.getInstance(husnrSearch);
257                          gade.put(husnrSearch, a);                                                gade.put(husnrSearch, a);                      
258                  }                  }
259                                    
# Line 248  public class AddressSearch { Line 265  public class AddressSearch {
265                  int vaskCount = 0;                  int vaskCount = 0;
266                  List<AliasBean> aliasList = DatabaseLayer.getAliasList();                  List<AliasBean> aliasList = DatabaseLayer.getAliasList();
267                  for (AliasBean alias : aliasList) {                  for (AliasBean alias : aliasList) {
268                          Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);                          Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
269                                                    
270                          if (postnrVeje == null) {                          if (postnrVeje == null) {
271                                  //Burde ikke kunne ske - men better safe than sorry                                  //Burde ikke kunne ske - men better safe than sorry
# Line 258  public class AddressSearch { Line 275  public class AddressSearch {
275                          String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);                          String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);
276                          String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);                          String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);
277                                                    
278                          Long gadeident = postnrVeje.get(vasketVej);                          Integer gadeident = postnrVeje.get(vasketVej);
279                          if (gadeident == null) {                          if (gadeident == null) {
280                                  //Kender ikke den oprindelige vej                                  //Kender ikke den oprindelige vej
281                                  continue;                                  continue;
282                          }                          }
283                                                    
284                          Long aliasIdent = postnrVeje.get(vasketAlias);                          Integer aliasIdent = postnrVeje.get(vasketAlias);
285                                                    
286                          if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet                          if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet
287                                  postnrVeje.put(vasketAlias, gadeident);                                  postnrVeje.put(vasketAlias, gadeident);
# Line 280  public class AddressSearch { Line 297  public class AddressSearch {
297                  System.out.println("Build, stage2 elapsed: " + (start3-start2) );                  System.out.println("Build, stage2 elapsed: " + (start3-start2) );
298                  System.out.println("Build -- stage 3 udvidet dækning");                  System.out.println("Build -- stage 3 udvidet dækning");
299                                    
300                    DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>();
301                    DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>();
302                    
303                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();
304                  for (ExtendedBean eb : extDao) {                  for (ExtendedBean eb : extDao) {
305                                                    
# Line 287  public class AddressSearch { Line 307  public class AddressSearch {
307                          if (orgAddress == null)                          if (orgAddress == null)
308                                  continue;                                  continue;
309                                                    
310                            if (orgAddress.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
311                                    //kan være at adressen er blevet markeret dækket og - find-nærmeste data ikke er opdateret i mellemtiden
312                                    continue;
313                            }
314                            
315                          Address targetAddress = idAddressMap.get(eb.targetId);                          Address targetAddress = idAddressMap.get(eb.targetId);
316                          if (targetAddress == null)                          if (targetAddress == null) {
317                                  continue;                                  continue;
318                            }
319                            
320                                                    
321                          if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) {                          if ( StringUtils.equals(orgAddress.distributor, "LUKKET") ) {
322                                  continue;                                  continue;
323                          }                                                }                      
324                                                    
325                          if (targetAddress.distributor.equals("LUKKET")) {                          
326                            
327                            if ( StringUtils.equals(targetAddress.distributor, "LUKKET") ) {
328                                  continue;                                  continue;
329                          }                          }
330                                                    
# Line 304  public class AddressSearch { Line 333  public class AddressSearch {
333    
334                          boolean covered = false;                          boolean covered = false;
335                          if (targetAddress.distributor.equals("DAO")) {                          if (targetAddress.distributor.equals("DAO")) {
336                                  orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);                                                                orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);      
337                                    orgAddress.rute = ruteHelper.getInstance(orgAddress.rute);
338                                    
339                                  if (orgAddress.rute != null) {                                  if (orgAddress.rute != null) {
340                                          orgAddress.koreliste = targetAddress.koreliste;                                          orgAddress.koreliste = targetAddress.koreliste;
341                                          covered = true;                                          covered = true;
# Line 312  public class AddressSearch { Line 343  public class AddressSearch {
343                          }                          }
344                                                    
345                          if (targetAddress.distributor.equals("BK")) {                          if (targetAddress.distributor.equals("BK")) {
346                                  orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);                                                                orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);
347                                    orgAddress.koreliste = korelisteHelper.getInstance(orgAddress.koreliste);
348                                    
349                                  if (orgAddress.koreliste != null) {                                  if (orgAddress.koreliste != null) {
350                                          orgAddress.rute = targetAddress.rute;                                          orgAddress.rute = targetAddress.rute;
351                                          covered = true;                                          covered = true;
# Line 339  public class AddressSearch { Line 372  public class AddressSearch {
372                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );
373                  System.out.println("Build -- stage 4 - 100pct");                  System.out.println("Build -- stage 4 - 100pct");
374                                    
375                  Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();                  Map<Short,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();
376                  for (Address addr : alleAdresser) {                  for (Address addr : alleAdresser) {
377                          if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                                                  if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                        
378                                  continue;                                  continue;
# Line 486  public class AddressSearch { Line 519  public class AddressSearch {
519                  aliasSet.add(vejnavn.replace("alle", "allé") );                  aliasSet.add(vejnavn.replace("alle", "allé") );
520                  aliasSet.add(vejnavn.replace("allé", "alle") );                                  aliasSet.add(vejnavn.replace("allé", "alle") );                
521                                    
522                    
523                    // forkortelser
524                  aliasSet.add(vejnavn.replace("dronningens", "dr") );                  aliasSet.add(vejnavn.replace("dronningens", "dr") );
525                  aliasSet.add(vejnavn.replace("dr.", "dronningens") );                  aliasSet.add(vejnavn.replace("dr.", "dronningens") );
526                  aliasSet.add(vejnavn.replace("dr ", "dronningens") );                  aliasSet.add(vejnavn.replace("dr ", "dronningens") );
# Line 520  public class AddressSearch { Line 555  public class AddressSearch {
555                                    
556                  aliasSet.add(vejnavn.replace("nordre", "ndr") );                  aliasSet.add(vejnavn.replace("nordre", "ndr") );
557                  aliasSet.add(vejnavn.replace("ndr", "nordre") );                  aliasSet.add(vejnavn.replace("ndr", "nordre") );
558                    
559                    aliasSet.add(vejnavn.replace("borgmester", "borgm") );
560                    aliasSet.add(vejnavn.replace("borgm", "borgmester") );
561                    
562                                                                    
563                  aliasSet.add(vejnavn.replace("sankt", "skt") );                  aliasSet.add(vejnavn.replace("sankt", "skt") );
564                  aliasSet.add(vejnavn.replace("sankt", "sct") );                  aliasSet.add(vejnavn.replace("sankt", "sct") );
565                  aliasSet.add(vejnavn.replace("skt", "sankt") );                  aliasSet.add(vejnavn.replace("skt", "sankt") );
566                                    
567                  aliasSet.add(vejnavn.replace("skt", "sct") );                  aliasSet.add(vejnavn.replace("skt", "sct") );
568                  aliasSet.add(vejnavn.replace("sct", "skt") );                  aliasSet.add(vejnavn.replace("sct", "skt") );          
569                    
570                                    
571                                    
572                  // fornavn forkortelser                  // fornavn forkortelser
573                  aliasSet.add(vejnavn.replace("john", "j") );                  aliasSet.add(vejnavn.replace("john", "j") );
574                  aliasSet.add(vejnavn.replace("thomas", "th") );                  aliasSet.add(vejnavn.replace("thomas", "th") );
575                  aliasSet.add(vejnavn.replace("thorvald", "th") );                  aliasSet.add(vejnavn.replace("thorvald", "th") );
576                    
577                    
578                    aliasSet.add(vejnavn.replace("christian", "chr") );
579                    aliasSet.add(vejnavn.replace("kristian", "kr") );
580                    
581                    
582                    // alternative stavninger
583                    aliasSet.add(vejnavn.replace("peder", "peter") );
584                    aliasSet.add(vejnavn.replace("peter", "peder") );
585                    
586    
587                                    
588                  // Romertal                  // Romertal
# Line 603  public class AddressSearch { Line 653  public class AddressSearch {
653                          //danske tegn 2                          //danske tegn 2
654                          aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );                          aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );
655                          aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );                          aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );
656                          aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") );                          aliasSet.add( vVejnavn.replace("ø", "oe").replace("å", "aa") );
657                          aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );                          aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );
658                          aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );                          aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );
659                          aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );                          aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );
# Line 616  public class AddressSearch { Line 666  public class AddressSearch {
666                  return aliasSet;                  return aliasSet;
667          }          }
668                    
669            public Set<Short> getPostnumre() {
670                    return new TreeSet<Short>( searchPostnrVejnavnGadeid.keySet() );
671            }
672            
673            public Set<Entry<String,Integer>> getVejnavne(short postnr) {
674                    Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr);
675                    TreeMap<String,Integer> newMap = new TreeMap<String,Integer>();
676                    for (Entry<String,Integer> entry : map.entrySet() ) {
677                            newMap.put(entry.getKey(), entry.getValue());
678                    }
679                    
680                    return newMap.entrySet();
681            }
682            
683            public Set<String> getHusnumre(int gadeid) {
684                                    
685                    Map<String, Address> gade = searchGadeidentAdresser.get(gadeid);
686                    
687                    Set<String> set = new TreeSet<String>( new NaturalOrderComparator<String>() );
688                    set.addAll( gade.keySet() );
689                    
690                    return set;
691            }
692                    
693            public Address getAdresse(int gadeid, String husnr) {
694                    
695                    Map<String, Address> gade = searchGadeidentAdresser.get(gadeid);
696                    return gade.get(husnr);
697                    
698            }
699                    
700  }  }
Legend:
Removed from v.2443  
changed lines
  Added in v.2534
  ViewVC Help
Powered by ViewVC 1.1.20