/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2534 by torben, Mon May 11 07:24:54 2015 UTC revision 2759 by torben, Tue Oct 27 14:44:03 2015 UTC
# Line 27  import dk.daoas.daoadresseservice.beans. Line 27  import dk.daoas.daoadresseservice.beans.
27  import dk.daoas.daoadresseservice.beans.SearchResult;  import dk.daoas.daoadresseservice.beans.SearchResult;
28  import dk.daoas.daoadresseservice.beans.SearchResult.Status;  import dk.daoas.daoadresseservice.beans.SearchResult.Status;
29  import dk.daoas.daoadresseservice.db.DatabaseLayer;  import dk.daoas.daoadresseservice.db.DatabaseLayer;
30    import dk.daoas.daoadresseservice.util.DaoUtils;
31  import dk.daoas.daoadresseservice.util.DeduplicateHelper;  import dk.daoas.daoadresseservice.util.DeduplicateHelper;
32  import dk.daoas.daoadresseservice.util.NaturalOrderComparator;  import dk.daoas.daoadresseservice.util.NaturalOrderComparator;
33    
# Line 41  public class AddressSearch { Line 42  public class AddressSearch {
42                    
43          private DataStatisticsBean stats = new DataStatisticsBean();          private DataStatisticsBean stats = new DataStatisticsBean();
44                    
45          ServiceConfig config;          private DatabaseLayer db;
46            
47                    
48          StreetnameHelper levenshteinHelper;          StreetnameHelper levenshteinHelper;
49          StreetnameHelper googleHelper;          StreetnameHelper googleHelper;
50          StreetnameHelper osmHelper;          StreetnameHelper osmHelper;
51                    
52                    
53          public AddressSearch(ServiceConfig config) {          public AddressSearch(DatabaseLayer db, ServiceConfig config) {
54                  this.config = config;                  
55                    this.db = db;
56                                    
57                  levenshteinHelper = new LevenshteinStreetnameHelper( this );                  levenshteinHelper = new LevenshteinStreetnameHelper( this );
58                  googleHelper = new GoogleStreetnameHelper( config );                  googleHelper = new GoogleStreetnameHelper( config );
59                  osmHelper = new OSMStreetnameHelper( config );                  osmHelper = new OSMStreetnameHelper( config );
60          }          }
61                    
62            public Address getAddressSafe(int gadeid, String husnr)  throws Exception {
63                    
64                    Map<String,Address> gade = searchGadeidentAdresser.get(gadeid);
65                    
66                    if (gade == null) {
67                            throw new Exception("GadeID ikke fundet");
68                    }
69                    
70                    Address addr = gade.get("husnr");
71                    
72                    if (addr == null) {
73                            throw new Exception("Adresse ikke ikke fundet");
74                    }
75                                    
76                    return addr;
77            }
78            
79                    
80          public SearchResult search(String postnrStr, String adresse)  {          public SearchResult search(String postnrStr, String adresse)  {
81                                    
# Line 66  public class AddressSearch { Line 86  public class AddressSearch {
86                  SearchRequest request = new SearchRequest();                  SearchRequest request = new SearchRequest();
87                  SearchResult result = new SearchResult();                  SearchResult result = new SearchResult();
88                                    
   
                 String helperSearchKey = "";  
89                                    
90                  try {                  try {
91                          request.postnr = Short.parseShort(postnrStr);                          request.postnr = Short.parseShort(postnrStr);
# Line 95  public class AddressSearch { Line 113  public class AddressSearch {
113                          return result;                          return result;
114                  }                  }
115                                    
116                  request.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );                  result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
117                                    
118    
119                  if (request.vasketVejnavn.indexOf("pakkebo") > -1                  if (result.vasketVejnavn.indexOf("pakkebo") > -1
120                                  || request.vasketVejnavn.indexOf("pakkepost") > -1                                  || result.vasketVejnavn.indexOf("pakkepost") > -1
121                                  || request.vasketVejnavn.indexOf("døgnpost") > -1                                  || result.vasketVejnavn.indexOf("postbo") > -1   // postbox/postboks
122                                  || request.vasketVejnavn.indexOf("døgnbo") > -1                                  || result.vasketVejnavn.indexOf("døgnpost") > -1
123                                  || request.vasketVejnavn.equals("id")                                  || result.vasketVejnavn.indexOf("døgnbo") > -1 // døgnbox // døgnboks
124                                    || result.vasketVejnavn.equals("id")
125                                  ) {                                  ) {
126                          result.status = Status.ERROR_POSTBOX;                          result.status = Status.ERROR_POSTBOX;
127                          return result;                                            return result;                  
128                  }                  }
129                                    
130                  Integer gadeident =  request.streetNames.get(request.vasketVejnavn);                  // LookupStreetname er en indkapsling af alm + levenstein + google + osm
131                    Integer gadeident = lookupStretname(request, result, true);
132                                    
133                                    
134                  if ( gadeident == null) {                  /*
135                          helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn;                   * Hvis der ikke er direkte hits, prøver vi at skære ord af vejnavn
136                          gadeident = helperCache.get(helperSearchKey);                   *
137                  }                   * <strike>Denne sektion er MEGET experimental da den øger antallet af kald til google/OSM væsentligt</strike>*/
                   
138                  if (gadeident == null) {                  if (gadeident == null) {
139                          String vej = levenshteinHelper.proposeStreetName(request, result);                          final int MAX_TRIES = 4;
140                          if (vej != null) {                          
141                                  gadeident =  request.streetNames.get(vej);                          String vejnavnParts[] = request.vejnavn.split(" ");
142                          }                          
143                  }                          for (int i=1; i<=MAX_TRIES && i<vejnavnParts.length; i++) {
144                                                    String subVejnavn = DaoUtils.joinHelper(vejnavnParts, i);
145                                                    
146                  // Brug OpenStreetMap før vi prøver google                                  request.vejnavn = subVejnavn;
147                  // For google har en request limit, det har OSM ikke!                                  result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
148                  if ( gadeident == null) {                                  
149                          String vej = osmHelper.proposeStreetName(request, result);                                                gadeident = lookupStretname(request, result, false);//prøv opslag MEN UDEN GOOGLE/OSM !!!
150                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);                                  
151                  }                                  //hvis vi fandt vejen ud fra substrengen
152                                                    if (gadeident != null) {
153                  if ( gadeident == null) {                                          break;
154                          String vej = googleHelper.proposeStreetName(request, result);                                            }                      
155                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);                                  
156                                    //hvis vi ikke fandt kopierer vi vejnavn fra split igen
157                                    request.vejnavn = result.splitResult.vej;
158                                    result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
159                            }                      
160                  }                  }
161                                    
162    
# Line 183  public class AddressSearch { Line 206  public class AddressSearch {
206    
207                  return result;                  return result;
208          }          }
209    
210    
211            private Integer lookupStretname(SearchRequest request, SearchResult result, boolean useExternal) {
212                    String helperSearchKey = "";
213                    
214                    Integer gadeident =  request.streetNames.get(result.vasketVejnavn);
215                    
216                    
217                    if ( gadeident == null) {
218                            helperSearchKey = "" + request.postnr + "/" + result.vasketVejnavn;
219                            gadeident = helperCache.get(helperSearchKey);
220                    }
221                    
222                    if (gadeident == null) {
223                            String vej = levenshteinHelper.proposeStreetName(request, result);
224                            if (vej != null) {
225                                    gadeident =  request.streetNames.get(vej);
226                            }
227                    }
228                    
229                    
230                    // Brug OpenStreetMap før vi prøver google
231                    // For google har en request limit, det har OSM ikke!
232                    if ( gadeident == null && useExternal) {
233                            String vej = osmHelper.proposeStreetName(request, result);              
234                            gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
235                    }
236                    
237                    if ( gadeident == null && useExternal) {
238                            String vej = googleHelper.proposeStreetName(request, result);          
239                            gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
240                    }
241                    return gadeident;
242            }
243                    
244          private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) {          private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) {
245                  if (vej == null)                  if (vej == null)
# Line 198  public class AddressSearch { Line 255  public class AddressSearch {
255                                    
256          }          }
257                    
258          public Map<String,Integer> getStretsByPostal(int zip) {          public Map<String,Integer> getStretsByPostal(short zip) {
259                  return searchPostnrVejnavnGadeid.get(zip);                  return searchPostnrVejnavnGadeid.get(zip);
260          }          }
261    
# Line 212  public class AddressSearch { Line 269  public class AddressSearch {
269                  long start1 = System.currentTimeMillis();                  long start1 = System.currentTimeMillis();
270                  System.out.println("Build -- stage 1");                  System.out.println("Build -- stage 1");
271                                    
272                  alleAdresser = DatabaseLayer.getAllAdresses();                  alleAdresser = db.getAllAdresses();
273                                    
274                                    
275                  /* Mapper mellem db Row ID og adresse noden */                  /* Mapper mellem db Row ID og adresse noden */
# Line 263  public class AddressSearch { Line 320  public class AddressSearch {
320                  System.out.println("Build -- stage 2 alias tabel");                  System.out.println("Build -- stage 2 alias tabel");
321                                    
322                  int vaskCount = 0;                  int vaskCount = 0;
323                  List<AliasBean> aliasList = DatabaseLayer.getAliasList();                  List<AliasBean> aliasList = db.getAliasList();
324                  for (AliasBean alias : aliasList) {                  for (AliasBean alias : aliasList) {
325                          Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);                          Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
326                                                    
# Line 300  public class AddressSearch { Line 357  public class AddressSearch {
357                  DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>();                  DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>();
358                  DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>();                  DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>();
359                                    
360                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();                  List<ExtendedBean> extDao = db.getExtendedAdresslist();
361                  for (ExtendedBean eb : extDao) {                  for (ExtendedBean eb : extDao) {
362                                                    
363                          Address orgAddress = idAddressMap.get(eb.orgId);                                                  Address orgAddress = idAddressMap.get(eb.orgId);                        
# Line 357  public class AddressSearch { Line 414  public class AddressSearch {
414                                  orgAddress.dbkBane = targetAddress.dbkBane;                                  orgAddress.dbkBane = targetAddress.dbkBane;
415                                                                    
416                                  /* Sådan gør den gamle service */                                  /* Sådan gør den gamle service */
417                                  orgAddress.kommunekode = targetAddress.kommunekode;                                  /* 20150520 THN- hvis vi bibeholder de originale kommune+vejkoder kan vi bruge DAVID til join i databasen*/
418                                  orgAddress.vejkode = targetAddress.vejkode;                                  //orgAddress.kommunekode = targetAddress.kommunekode;
419                                    //orgAddress.vejkode = targetAddress.vejkode;
420                                    
421                                                                    
422                                  orgAddress.distributor = targetAddress.distributor;                                  orgAddress.distributor = targetAddress.distributor;
423                          }                          }
# Line 372  public class AddressSearch { Line 431  public class AddressSearch {
431                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );
432                  System.out.println("Build -- stage 4 - 100pct");                  System.out.println("Build -- stage 4 - 100pct");
433                                    
434                  Map<Short,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();                  Map<Short,HundredePctBean> hundredePct = db.get100PctList();
435                  for (Address addr : alleAdresser) {                  for (Address addr : alleAdresser) {
436                          if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                                                  if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                        
437                                  continue;                                  continue;
# Line 415  public class AddressSearch { Line 474  public class AddressSearch {
474                                  stats.ikkeDaekketCount++;                                  stats.ikkeDaekketCount++;
475                          }                          }
476                  }                                }              
477                    stats.totalCount = alleAdresser.size();
478                                    
479                                    
480                  stats.elapsed = stop-start1;                              stats.elapsed = stop-start1;            
481                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
482                                    
483                    System.out.println("Build: totalCount: " + stats.totalCount);
484                  System.out.println("Build: direkteCount: " + stats.direkteCount);                  System.out.println("Build: direkteCount: " + stats.direkteCount);
485                  System.out.println("Build: extendedCount: " + stats.extendedCount);                  System.out.println("Build: extendedCount: " + stats.extendedCount);
486                  System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);                  System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
# Line 434  public class AddressSearch { Line 495  public class AddressSearch {
495                  return stats;                  return stats;
496          }          }
497                    
498            public DatabaseLayer getDatabaseLayer() {
499                    return db;
500            }
501            
502          public void clear() {          public void clear() {
503                  searchPostnrVejnavnGadeid.clear();                  searchPostnrVejnavnGadeid.clear();
504                  searchGadeidentAdresser.clear();                  searchGadeidentAdresser.clear();
# Line 497  public class AddressSearch { Line 562  public class AddressSearch {
562                  return result;                  return result;
563          }          }
564                    
565            public List<Address> get100PctAddresses() {
566                    List<Address> result = new ArrayList<Address>(120000);
567                    for (Address a : alleAdresser) {
568                            if ( a.daekningsType == DaekningsType.DAEKNING_100PCT) {
569                                    result.add(a);
570                            }
571                    }
572                    Collections.sort(result );
573                    return result;
574            }
575            
576          ///////////////////////////////////////////////////////////          ///////////////////////////////////////////////////////////
577          private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {          private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {
578                  String inject;                  String inject;
# Line 512  public class AddressSearch { Line 588  public class AddressSearch {
588                  vejnavn = vejnavn.toLowerCase();                  vejnavn = vejnavn.toLowerCase();
589                  HashSet<String> aliasSet = new HashSet<String>();                  HashSet<String> aliasSet = new HashSet<String>();
590                  aliasSet.add(vejnavn);                  aliasSet.add(vejnavn);
591                                                    
                 aliasSet.add(vejnavn.replace("u", "ü") );  
                 aliasSet.add(vejnavn.replace("ü", "u") );  
                   
592                  aliasSet.add(vejnavn.replace("alle", "allé") );                  aliasSet.add(vejnavn.replace("alle", "allé") );
593                  aliasSet.add(vejnavn.replace("allé", "alle") );                                  aliasSet.add(vejnavn.replace("allé", "alle") );                
594                                    
# Line 547  public class AddressSearch { Line 620  public class AddressSearch {
620                  aliasSet.add(vejnavn.replace("st.", "store") );                  aliasSet.add(vejnavn.replace("st.", "store") );
621                                    
622                  aliasSet.add(vejnavn.replace("søndre", "sdr") );                  aliasSet.add(vejnavn.replace("søndre", "sdr") );
623                  aliasSet.add(vejnavn.replace("sdr", "søndre") );                  aliasSet.add(vejnavn.replace("sdr", "søndre") );              
624                    aliasSet.add(vejnavn.replace("sønder", "sdr") );
625                    aliasSet.add(vejnavn.replace("sdr", "sønder") );
626    
627                                    
628                  aliasSet.add(vejnavn.replace("nørre", "nr") );                  aliasSet.add(vejnavn.replace("nørre", "nr") );
# Line 556  public class AddressSearch { Line 631  public class AddressSearch {
631                  aliasSet.add(vejnavn.replace("nordre", "ndr") );                  aliasSet.add(vejnavn.replace("nordre", "ndr") );
632                  aliasSet.add(vejnavn.replace("ndr", "nordre") );                  aliasSet.add(vejnavn.replace("ndr", "nordre") );
633                                    
634                    
635                    aliasSet.add(vejnavn.replace("vestre", "vester") );
636                    aliasSet.add(vejnavn.replace("vester", "vestre") );
637                    
638                    aliasSet.add(vejnavn.replace("søndre", "sønder") );
639                    aliasSet.add(vejnavn.replace("sønder", "søndre") );
640                    
641                    aliasSet.add(vejnavn.replace("østre", "øster") );
642                    aliasSet.add(vejnavn.replace("øster", "østre") );
643                    
644                  aliasSet.add(vejnavn.replace("borgmester", "borgm") );                  aliasSet.add(vejnavn.replace("borgmester", "borgm") );
645                  aliasSet.add(vejnavn.replace("borgm", "borgmester") );                  aliasSet.add(vejnavn.replace("borgm", "borgmester") );
646                                    
# Line 573  public class AddressSearch { Line 658  public class AddressSearch {
658                  aliasSet.add(vejnavn.replace("john", "j") );                  aliasSet.add(vejnavn.replace("john", "j") );
659                  aliasSet.add(vejnavn.replace("thomas", "th") );                  aliasSet.add(vejnavn.replace("thomas", "th") );
660                  aliasSet.add(vejnavn.replace("thorvald", "th") );                  aliasSet.add(vejnavn.replace("thorvald", "th") );
661                    aliasSet.add(vejnavn.replace("frederik", "fr") );
662                    aliasSet.add(vejnavn.replace("frederiks", "fr") );
663                                    
664                                    
665                  aliasSet.add(vejnavn.replace("christian", "chr") );                  aliasSet.add(vejnavn.replace("christian", "chr") );
666                    aliasSet.add(vejnavn.replace("christians", "chr") );
667                  aliasSet.add(vejnavn.replace("kristian", "kr") );                  aliasSet.add(vejnavn.replace("kristian", "kr") );
668                    aliasSet.add(vejnavn.replace("kristians", "kr") );
669    
670                    aliasSet.add(vejnavn.replace("mylius", "myl") );
671                    aliasSet.add(vejnavn.replace("myl", "mylius") );
672                                    
673                                    
674                  // alternative stavninger                  // alternative stavninger
# Line 624  public class AddressSearch { Line 716  public class AddressSearch {
716                  aliasSet.add(vejnavn.replace("vej", "vejen") );                  aliasSet.add(vejnavn.replace("vej", "vejen") );
717                  aliasSet.add(vejnavn.replace("vejen", "vej") );                  aliasSet.add(vejnavn.replace("vejen", "vej") );
718                                    
719                    aliasSet.add(vejnavn.replace("v", "vej") );//Vi kan have vejnavne i DB der bare slutter på v istedet for vej
720                    
721                  aliasSet.add(vejnavn.replace("alle", "all") );                  aliasSet.add(vejnavn.replace("alle", "all") );
722                  aliasSet.add(vejnavn.replace("allé", "all") );                  aliasSet.add(vejnavn.replace("allé", "all") );
723                  aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo                  aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
# Line 634  public class AddressSearch { Line 728  public class AddressSearch {
728                                    
729                  aliasSet.add(vejnavn.replace("plads", "pl") );                  aliasSet.add(vejnavn.replace("plads", "pl") );
730                  aliasSet.add(vejnavn.replace("vænget", "vænge") );                  aliasSet.add(vejnavn.replace("vænget", "vænge") );
731                    
732                    aliasSet.add(vejnavn.replace("boulevard", "blvd") );
733                    aliasSet.add(vejnavn.replace("blvd", "boulevard") );
734    
735                    aliasSet.add(vejnavn.replace("boulevard", "boule") );
736                    aliasSet.add(vejnavn.replace("boule", "boulevard") );
737                                    
738                    aliasSet.add(vejnavn.replace("kronborg", "krbg") ); //Krbg ladegårdsvej, 3000
739                    aliasSet.add(vejnavn.replace("krbg", "kronborg") );
740                                    
741                  // Opbyg æøå varianter over alle fundne aliaser                  // Opbyg æøå varianter over alle fundne aliaser
742                                    
# Line 661  public class AddressSearch { Line 763  public class AddressSearch {
763                          //danske tegn 3                          //danske tegn 3
764                          aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );                          aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
765                          aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );                          aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
766                            
767                            
768                            //udenlandsketegn
769                            aliasSet.add(vejnavn.replace("u", "ü") );
770                            aliasSet.add(vejnavn.replace("ü", "u") );
771                            
772                            aliasSet.add(vejnavn.replace("ä", "æ") );
773                            aliasSet.add(vejnavn.replace("æ", "ä") );
774                            
775                            aliasSet.add(vejnavn.replace("ö", "ø") );
776                            aliasSet.add(vejnavn.replace("ø", "ö") );
777                  }                  }
778                                    
779                  return aliasSet;                  return aliasSet;
# Line 672  public class AddressSearch { Line 785  public class AddressSearch {
785                    
786          public Set<Entry<String,Integer>> getVejnavne(short postnr) {          public Set<Entry<String,Integer>> getVejnavne(short postnr) {
787                  Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr);                  Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr);
788                  TreeMap<String,Integer> newMap = new TreeMap<String,Integer>();                  
789                  for (Entry<String,Integer> entry : map.entrySet() ) {                  TreeMap<String,Integer> newMap = new TreeMap<String,Integer>( map );//Lav et nyt TreeMap for at sikre sortering
                         newMap.put(entry.getKey(), entry.getValue());  
                 }  
790                                    
791                  return newMap.entrySet();                  return newMap.entrySet();
792          }          }
Legend:
Removed from v.2534  
changed lines
  Added in v.2759
  ViewVC Help
Powered by ViewVC 1.1.20