/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2490 by torben, Tue Mar 24 12:38:21 2015 UTC revision 2557 by torben, Fri May 22 12:00:25 2015 UTC
# Line 27  import dk.daoas.daoadresseservice.beans. Line 27  import dk.daoas.daoadresseservice.beans.
27  import dk.daoas.daoadresseservice.beans.SearchResult;  import dk.daoas.daoadresseservice.beans.SearchResult;
28  import dk.daoas.daoadresseservice.beans.SearchResult.Status;  import dk.daoas.daoadresseservice.beans.SearchResult.Status;
29  import dk.daoas.daoadresseservice.db.DatabaseLayer;  import dk.daoas.daoadresseservice.db.DatabaseLayer;
30    import dk.daoas.daoadresseservice.util.DaoUtils;
31    import dk.daoas.daoadresseservice.util.DeduplicateHelper;
32    import dk.daoas.daoadresseservice.util.NaturalOrderComparator;
33    
34  public class AddressSearch {  public class AddressSearch {
35    
# Line 56  public class AddressSearch { Line 59  public class AddressSearch {
59                    
60                    
61          public SearchResult search(String postnrStr, String adresse)  {          public SearchResult search(String postnrStr, String adresse)  {
62                    
63                    postnrStr = postnrStr.trim();
64                    adresse = adresse.trim();
65                    
66                    
67                  SearchRequest request = new SearchRequest();                  SearchRequest request = new SearchRequest();
68                  SearchResult result = new SearchResult();                  SearchResult result = new SearchResult();
69                                    
# Line 63  public class AddressSearch { Line 71  public class AddressSearch {
71                  String helperSearchKey = "";                  String helperSearchKey = "";
72                                    
73                  try {                  try {
74                          request.postnr = Integer.parseInt(postnrStr);                          request.postnr = Short.parseShort(postnrStr);
75                  } catch (Exception E) {                  } catch (Exception E) {
76                          result.status = Status.ERROR_UNKNOWN_POSTAL;                          result.status = Status.ERROR_UNKNOWN_POSTAL;
77                          return result;                          return result;
# Line 88  public class AddressSearch { Line 96  public class AddressSearch {
96                          return result;                          return result;
97                  }                  }
98                                    
99                  request.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );                  result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
100                                    
101    
102                  if (request.vasketVejnavn.indexOf("pakkebo") > -1                  if (result.vasketVejnavn.indexOf("pakkebo") > -1
103                                  || request.vasketVejnavn.indexOf("døgnpost") > -1                                  || result.vasketVejnavn.indexOf("pakkepost") > -1
104                                  || request.vasketVejnavn.indexOf("døgnbo") > -1                                  || result.vasketVejnavn.indexOf("postbo") > -1   // postbox/postboks
105                                  || request.vasketVejnavn.equals("id")                                  || result.vasketVejnavn.indexOf("døgnpost") > -1
106                                    || result.vasketVejnavn.indexOf("døgnbo") > -1 // døgnbox // døgnboks
107                                    || result.vasketVejnavn.equals("id")
108                                  ) {                                  ) {
109                          result.status = Status.ERROR_POSTBOX;                          result.status = Status.ERROR_POSTBOX;
110                          return result;                                            return result;                  
111                  }                  }
112                                    
113                  Integer gadeident =  request.streetNames.get(request.vasketVejnavn);                  // LookupStreetname er en indkapsling af alm + levenstein + google + osm
114                    Integer gadeident = lookupStretname(request, result, helperSearchKey, true);
115                                    
116                                    
117                  if ( gadeident == null) {                  /*
118                          helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn;                   * Hvis der ikke er direkte hits, prøver vi at skære ord af vejnavn
119                          gadeident = helperCache.get(helperSearchKey);                   *
120                  }                   * <strike>Denne sektion er MEGET experimental da den øger antallet af kald til google/OSM væsentligt</strike>*/
                   
121                  if (gadeident == null) {                  if (gadeident == null) {
122                          String vej = levenshteinHelper.proposeStreetName(request, result);                          final int MAX_TRIES = 4;
123                          if (vej != null) {                          
124                                  gadeident =  request.streetNames.get(vej);                          String vejnavnParts[] = request.vejnavn.split(" ");
125                          }                          
126                  }                          for (int i=1; i<=MAX_TRIES && i<vejnavnParts.length; i++) {
127                                                    String subVejnavn = DaoUtils.joinHelper(vejnavnParts, i);
128                                                    
129                  // Brug OpenStreetMap før vi prøver google                                  request.vejnavn = subVejnavn;
130                  // For google har en request limit, det har OSM ikke!                                  result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
131                  if ( gadeident == null) {                                  
132                          String vej = osmHelper.proposeStreetName(request, result);                                                gadeident = lookupStretname(request, result, helperSearchKey, false);//prøv opslag MEN UDEN GOOGLE/OSM !!!
133                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);                                  
134                  }                                  //hvis vi fandt vejen ud fra substrengen
135                                                    if (gadeident != null) {
136                  if ( gadeident == null) {                                          break;
137                          String vej = googleHelper.proposeStreetName(request, result);                                            }                      
138                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);                                  
139                                    //hvis vi ikke fandt kopierer vi vejnavn fra split igen
140                                    request.vejnavn = result.splitResult.vej;
141                                    result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
142                            }                      
143                  }                  }
144                                    
145    
# Line 175  public class AddressSearch { Line 189  public class AddressSearch {
189    
190                  return result;                  return result;
191          }          }
192    
193    
194            private Integer lookupStretname(SearchRequest request, SearchResult result, String helperSearchKey, boolean useExternal) {
195                    Integer gadeident =  request.streetNames.get(result.vasketVejnavn);
196                    
197                    
198                    if ( gadeident == null) {
199                            helperSearchKey = "" + request.postnr + "/" + result.vasketVejnavn;
200                            gadeident = helperCache.get(helperSearchKey);
201                    }
202                    
203                    if (gadeident == null) {
204                            String vej = levenshteinHelper.proposeStreetName(request, result);
205                            if (vej != null) {
206                                    gadeident =  request.streetNames.get(vej);
207                            }
208                    }
209                    
210                    
211                    // Brug OpenStreetMap før vi prøver google
212                    // For google har en request limit, det har OSM ikke!
213                    if ( gadeident == null && useExternal) {
214                            String vej = osmHelper.proposeStreetName(request, result);              
215                            gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
216                    }
217                    
218                    if ( gadeident == null && useExternal) {
219                            String vej = googleHelper.proposeStreetName(request, result);          
220                            gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
221                    }
222                    return gadeident;
223            }
224                    
225          private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) {          private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) {
226                  if (vej == null)                  if (vej == null)
# Line 190  public class AddressSearch { Line 236  public class AddressSearch {
236                                    
237          }          }
238                    
239          public Map<String,Integer> getStretsByPostal(int zip) {          public Map<String,Integer> getStretsByPostal(short zip) {
240                  return searchPostnrVejnavnGadeid.get(zip);                  return searchPostnrVejnavnGadeid.get(zip);
241          }          }
242    
# Line 209  public class AddressSearch { Line 255  public class AddressSearch {
255                                    
256                  /* Mapper mellem db Row ID og adresse noden */                  /* Mapper mellem db Row ID og adresse noden */
257                  Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );                  Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
258                    DeduplicateHelper<String> aliasHelper = new DeduplicateHelper<String>();
259                    DeduplicateHelper<String> husnrHelper = new DeduplicateHelper<String>();
260                                    
261                  for (Address a : alleAdresser) {                  for (Address a : alleAdresser) {
262                          idAddressMap.put(a.id, a);                          idAddressMap.put(a.id, a);
# Line 219  public class AddressSearch { Line 267  public class AddressSearch {
267                                  postnrVeje = new ConcurrentHashMap<String,Integer>();                                  postnrVeje = new ConcurrentHashMap<String,Integer>();
268                                  searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);                                  searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);
269                          }                          }
270                                    
271                                                    
272                          String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);                          String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
273                          Integer gadeident = postnrVeje.get(vasketVejnavn);                          Integer gadeident = postnrVeje.get(vasketVejnavn);
# Line 230  public class AddressSearch { Line 279  public class AddressSearch {
279                                  Set<String> aliaser = findVejAliaser(a.vejnavn);                                  Set<String> aliaser = findVejAliaser(a.vejnavn);
280                                  for(String alias : aliaser) {                                  for(String alias : aliaser) {
281                                          String vasketAlias = AddressUtils.vaskVejnavn(alias);                                          String vasketAlias = AddressUtils.vaskVejnavn(alias);
282                                            vasketAlias = aliasHelper.getInstance(vasketAlias);
283                                            
284                                          postnrVeje.put(vasketAlias, gadeident);                                          postnrVeje.put(vasketAlias, gadeident);
285                                  }                                                                }                              
286                          }                          }
# Line 240  public class AddressSearch { Line 291  public class AddressSearch {
291                                  searchGadeidentAdresser.put(gadeident, gade);                                  searchGadeidentAdresser.put(gadeident, gade);
292                          }                          }
293                          String husnrSearch = "" + a.husnr + a.husnrbogstav;                          String husnrSearch = "" + a.husnr + a.husnrbogstav;
294                            husnrSearch = husnrHelper.getInstance(husnrSearch);
295                          gade.put(husnrSearch, a);                                                gade.put(husnrSearch, a);                      
296                  }                  }
297                                    
# Line 283  public class AddressSearch { Line 335  public class AddressSearch {
335                  System.out.println("Build, stage2 elapsed: " + (start3-start2) );                  System.out.println("Build, stage2 elapsed: " + (start3-start2) );
336                  System.out.println("Build -- stage 3 udvidet dækning");                  System.out.println("Build -- stage 3 udvidet dækning");
337                                    
338                    DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>();
339                    DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>();
340                    
341                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();
342                  for (ExtendedBean eb : extDao) {                  for (ExtendedBean eb : extDao) {
343                                                    
# Line 290  public class AddressSearch { Line 345  public class AddressSearch {
345                          if (orgAddress == null)                          if (orgAddress == null)
346                                  continue;                                  continue;
347                                                    
348                            if (orgAddress.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
349                                    //kan være at adressen er blevet markeret dækket og - find-nærmeste data ikke er opdateret i mellemtiden
350                                    continue;
351                            }
352                            
353                          Address targetAddress = idAddressMap.get(eb.targetId);                          Address targetAddress = idAddressMap.get(eb.targetId);
354                          if (targetAddress == null)                          if (targetAddress == null) {
355                                  continue;                                  continue;
356                            }
357                            
358                                                    
359                          if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) {                          if ( StringUtils.equals(orgAddress.distributor, "LUKKET") ) {
360                                  continue;                                  continue;
361                          }                                                }                      
362                                                    
363                          if (targetAddress.distributor.equals("LUKKET")) {                          
364                            
365                            if ( StringUtils.equals(targetAddress.distributor, "LUKKET") ) {
366                                  continue;                                  continue;
367                          }                          }
368                                                    
# Line 307  public class AddressSearch { Line 371  public class AddressSearch {
371    
372                          boolean covered = false;                          boolean covered = false;
373                          if (targetAddress.distributor.equals("DAO")) {                          if (targetAddress.distributor.equals("DAO")) {
374                                  orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);                                                                orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);      
375                                    orgAddress.rute = ruteHelper.getInstance(orgAddress.rute);
376                                    
377                                  if (orgAddress.rute != null) {                                  if (orgAddress.rute != null) {
378                                          orgAddress.koreliste = targetAddress.koreliste;                                          orgAddress.koreliste = targetAddress.koreliste;
379                                          covered = true;                                          covered = true;
# Line 315  public class AddressSearch { Line 381  public class AddressSearch {
381                          }                          }
382                                                    
383                          if (targetAddress.distributor.equals("BK")) {                          if (targetAddress.distributor.equals("BK")) {
384                                  orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);                                                                orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);
385                                    orgAddress.koreliste = korelisteHelper.getInstance(orgAddress.koreliste);
386                                    
387                                  if (orgAddress.koreliste != null) {                                  if (orgAddress.koreliste != null) {
388                                          orgAddress.rute = targetAddress.rute;                                          orgAddress.rute = targetAddress.rute;
389                                          covered = true;                                          covered = true;
# Line 327  public class AddressSearch { Line 395  public class AddressSearch {
395                                  orgAddress.dbkBane = targetAddress.dbkBane;                                  orgAddress.dbkBane = targetAddress.dbkBane;
396                                                                    
397                                  /* Sådan gør den gamle service */                                  /* Sådan gør den gamle service */
398                                  orgAddress.kommunekode = targetAddress.kommunekode;                                  /* 20150520 THN- hvis vi bibeholder de originale kommune+vejkoder kan vi bruge DAVID til join i databasen*/
399                                  orgAddress.vejkode = targetAddress.vejkode;                                  //orgAddress.kommunekode = targetAddress.kommunekode;
400                                    //orgAddress.vejkode = targetAddress.vejkode;
401                                    
402                                                                    
403                                  orgAddress.distributor = targetAddress.distributor;                                  orgAddress.distributor = targetAddress.distributor;
404                          }                          }
# Line 342  public class AddressSearch { Line 412  public class AddressSearch {
412                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );
413                  System.out.println("Build -- stage 4 - 100pct");                  System.out.println("Build -- stage 4 - 100pct");
414                                    
415                  Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();                  Map<Short,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();
416                  for (Address addr : alleAdresser) {                  for (Address addr : alleAdresser) {
417                          if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                                                  if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                        
418                                  continue;                                  continue;
# Line 482  public class AddressSearch { Line 552  public class AddressSearch {
552                  vejnavn = vejnavn.toLowerCase();                  vejnavn = vejnavn.toLowerCase();
553                  HashSet<String> aliasSet = new HashSet<String>();                  HashSet<String> aliasSet = new HashSet<String>();
554                  aliasSet.add(vejnavn);                  aliasSet.add(vejnavn);
555                                                    
                 aliasSet.add(vejnavn.replace("u", "ü") );  
                 aliasSet.add(vejnavn.replace("ü", "u") );  
                   
556                  aliasSet.add(vejnavn.replace("alle", "allé") );                  aliasSet.add(vejnavn.replace("alle", "allé") );
557                  aliasSet.add(vejnavn.replace("allé", "alle") );                                  aliasSet.add(vejnavn.replace("allé", "alle") );                
558                                    
559                    
560                    // forkortelser
561                  aliasSet.add(vejnavn.replace("dronningens", "dr") );                  aliasSet.add(vejnavn.replace("dronningens", "dr") );
562                  aliasSet.add(vejnavn.replace("dr.", "dronningens") );                  aliasSet.add(vejnavn.replace("dr.", "dronningens") );
563                  aliasSet.add(vejnavn.replace("dr ", "dronningens") );                  aliasSet.add(vejnavn.replace("dr ", "dronningens") );
# Line 523  public class AddressSearch { Line 592  public class AddressSearch {
592                                    
593                  aliasSet.add(vejnavn.replace("nordre", "ndr") );                  aliasSet.add(vejnavn.replace("nordre", "ndr") );
594                  aliasSet.add(vejnavn.replace("ndr", "nordre") );                  aliasSet.add(vejnavn.replace("ndr", "nordre") );
595                    
596                    
597                    aliasSet.add(vejnavn.replace("vestre", "vester") );
598                    aliasSet.add(vejnavn.replace("vester", "vestre") );
599                    
600                    aliasSet.add(vejnavn.replace("søndre", "sønder") );
601                    aliasSet.add(vejnavn.replace("sønder", "søndre") );
602                    
603                    aliasSet.add(vejnavn.replace("østre", "øster") );
604                    aliasSet.add(vejnavn.replace("øster", "østre") );
605                    
606                    aliasSet.add(vejnavn.replace("borgmester", "borgm") );
607                    aliasSet.add(vejnavn.replace("borgm", "borgmester") );
608                    
609                                                                    
610                  aliasSet.add(vejnavn.replace("sankt", "skt") );                  aliasSet.add(vejnavn.replace("sankt", "skt") );
611                  aliasSet.add(vejnavn.replace("sankt", "sct") );                  aliasSet.add(vejnavn.replace("sankt", "sct") );
612                  aliasSet.add(vejnavn.replace("skt", "sankt") );                  aliasSet.add(vejnavn.replace("skt", "sankt") );
613                                    
614                  aliasSet.add(vejnavn.replace("skt", "sct") );                  aliasSet.add(vejnavn.replace("skt", "sct") );
615                  aliasSet.add(vejnavn.replace("sct", "skt") );                  aliasSet.add(vejnavn.replace("sct", "skt") );          
616                    
617                                    
618                                    
619                  // fornavn forkortelser                  // fornavn forkortelser
620                  aliasSet.add(vejnavn.replace("john", "j") );                  aliasSet.add(vejnavn.replace("john", "j") );
621                  aliasSet.add(vejnavn.replace("thomas", "th") );                  aliasSet.add(vejnavn.replace("thomas", "th") );
622                  aliasSet.add(vejnavn.replace("thorvald", "th") );                  aliasSet.add(vejnavn.replace("thorvald", "th") );
623                    
624                    
625                    aliasSet.add(vejnavn.replace("christian", "chr") );
626                    aliasSet.add(vejnavn.replace("kristian", "kr") );
627                    
628                    
629                    // alternative stavninger
630                    aliasSet.add(vejnavn.replace("peder", "peter") );
631                    aliasSet.add(vejnavn.replace("peter", "peder") );
632                    
633    
634                                    
635                  // Romertal                  // Romertal
# Line 577  public class AddressSearch { Line 671  public class AddressSearch {
671                  aliasSet.add(vejnavn.replace("vej", "vejen") );                  aliasSet.add(vejnavn.replace("vej", "vejen") );
672                  aliasSet.add(vejnavn.replace("vejen", "vej") );                  aliasSet.add(vejnavn.replace("vejen", "vej") );
673                                    
674                    aliasSet.add(vejnavn.replace("v", "vej") );//Vi kan have vejnavne i DB der bare slutter på v istedet for vej
675                    
676                  aliasSet.add(vejnavn.replace("alle", "all") );                  aliasSet.add(vejnavn.replace("alle", "all") );
677                  aliasSet.add(vejnavn.replace("allé", "all") );                  aliasSet.add(vejnavn.replace("allé", "all") );
678                  aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo                  aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
# Line 614  public class AddressSearch { Line 710  public class AddressSearch {
710                          //danske tegn 3                          //danske tegn 3
711                          aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );                          aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
712                          aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );                          aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
713                            
714                            
715                            //udenlandsketegn
716                            aliasSet.add(vejnavn.replace("u", "ü") );
717                            aliasSet.add(vejnavn.replace("ü", "u") );
718                            
719                            aliasSet.add(vejnavn.replace("ä", "æ") );
720                            aliasSet.add(vejnavn.replace("æ", "ä") );
721                            
722                            aliasSet.add(vejnavn.replace("ö", "ø") );
723                            aliasSet.add(vejnavn.replace("ø", "ö") );
724                  }                  }
725                                    
726                  return aliasSet;                  return aliasSet;
# Line 623  public class AddressSearch { Line 730  public class AddressSearch {
730                  return new TreeSet<Short>( searchPostnrVejnavnGadeid.keySet() );                  return new TreeSet<Short>( searchPostnrVejnavnGadeid.keySet() );
731          }          }
732                    
733          public Set<Entry<String,Integer>> getVejnavne(int postnr) {          public Set<Entry<String,Integer>> getVejnavne(short postnr) {
734                  Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr);                  Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr);
735                  TreeMap<String,Integer> newMap = new TreeMap<String,Integer>();                  TreeMap<String,Integer> newMap = new TreeMap<String,Integer>();
736                  for (Entry<String,Integer> entry : map.entrySet() ) {                  for (Entry<String,Integer> entry : map.entrySet() ) {
# Line 633  public class AddressSearch { Line 740  public class AddressSearch {
740                  return newMap.entrySet();                  return newMap.entrySet();
741          }          }
742                    
743          public Set<String> getHusnumre(long gadeid) {          public Set<String> getHusnumre(int gadeid) {
744                                                                    
745                  Map<String, Address> gade = searchGadeidentAdresser.get(gadeid);                  Map<String, Address> gade = searchGadeidentAdresser.get(gadeid);
746                  return new TreeSet<String>( gade.keySet() );                              
747                    Set<String> set = new TreeSet<String>( new NaturalOrderComparator<String>() );
748                    set.addAll( gade.keySet() );
749                    
750                    return set;
751          }          }
752                    
753          public Address getAdresse(long gadeid, String husnr) {          public Address getAdresse(int gadeid, String husnr) {
754                                    
755                  Map<String, Address> gade = searchGadeidentAdresser.get(gadeid);                  Map<String, Address> gade = searchGadeidentAdresser.get(gadeid);
756                  return gade.get(husnr);                  return gade.get(husnr);
Legend:
Removed from v.2490  
changed lines
  Added in v.2557
  ViewVC Help
Powered by ViewVC 1.1.20