/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2552 by torben, Fri May 22 06:38:54 2015 UTC revision 2775 by torben, Thu Nov 19 15:29:36 2015 UTC
# Line 17  import java.util.concurrent.ConcurrentHa Line 17  import java.util.concurrent.ConcurrentHa
17    
18  import org.apache.commons.lang3.StringUtils;  import org.apache.commons.lang3.StringUtils;
19    
20    import com.jcabi.log.Logger;
21    
22  import dk.daoas.daoadresseservice.admin.ServiceConfig;  import dk.daoas.daoadresseservice.admin.ServiceConfig;
23  import dk.daoas.daoadresseservice.beans.Address;  import dk.daoas.daoadresseservice.beans.Address;
24  import dk.daoas.daoadresseservice.beans.AliasBean;  import dk.daoas.daoadresseservice.beans.AliasBean;
# Line 27  import dk.daoas.daoadresseservice.beans. Line 29  import dk.daoas.daoadresseservice.beans.
29  import dk.daoas.daoadresseservice.beans.SearchResult;  import dk.daoas.daoadresseservice.beans.SearchResult;
30  import dk.daoas.daoadresseservice.beans.SearchResult.Status;  import dk.daoas.daoadresseservice.beans.SearchResult.Status;
31  import dk.daoas.daoadresseservice.db.DatabaseLayer;  import dk.daoas.daoadresseservice.db.DatabaseLayer;
32    import dk.daoas.daoadresseservice.util.DaoUtils;
33  import dk.daoas.daoadresseservice.util.DeduplicateHelper;  import dk.daoas.daoadresseservice.util.DeduplicateHelper;
34  import dk.daoas.daoadresseservice.util.NaturalOrderComparator;  import dk.daoas.daoadresseservice.util.NaturalOrderComparator;
35    
# Line 41  public class AddressSearch { Line 44  public class AddressSearch {
44                    
45          private DataStatisticsBean stats = new DataStatisticsBean();          private DataStatisticsBean stats = new DataStatisticsBean();
46                    
47          ServiceConfig config;          private DatabaseLayer db;
48            
49                    
50          StreetnameHelper levenshteinHelper;          StreetnameHelper levenshteinHelper;
51          StreetnameHelper googleHelper;          StreetnameHelper googleHelper;
52          StreetnameHelper osmHelper;          StreetnameHelper osmHelper;
53                    
54                    
55          public AddressSearch(ServiceConfig config) {          public AddressSearch(DatabaseLayer db, ServiceConfig config) {
56                  this.config = config;                  
57                    this.db = db;
58                                    
59                  levenshteinHelper = new LevenshteinStreetnameHelper( this );                  levenshteinHelper = new LevenshteinStreetnameHelper( this );
60                  googleHelper = new GoogleStreetnameHelper( config );                  googleHelper = new GoogleStreetnameHelper( config );
61                  osmHelper = new OSMStreetnameHelper( config );                  osmHelper = new OSMStreetnameHelper( config );
62          }          }
63                    
64            public Address getAddressSafe(int gadeid, String husnr)  throws Exception {
65                    
66                    Map<String,Address> gade = searchGadeidentAdresser.get(gadeid);
67                    
68                    if (gade == null) {
69                            throw new Exception("GadeID ikke fundet");
70                    }
71                    
72                    Address addr = gade.get(husnr);
73                    
74                    if (addr == null) {
75                            throw new Exception("Adresse ikke ikke fundet");
76                    }
77                                    
78                    return addr;
79            }
80            
81                    
82          public SearchResult search(String postnrStr, String adresse)  {          public SearchResult search(String postnrStr, String adresse)  {
83                                    
# Line 66  public class AddressSearch { Line 88  public class AddressSearch {
88                  SearchRequest request = new SearchRequest();                  SearchRequest request = new SearchRequest();
89                  SearchResult result = new SearchResult();                  SearchResult result = new SearchResult();
90                                    
   
                 String helperSearchKey = "";  
91                                    
92                  try {                  try {
93                          request.postnr = Short.parseShort(postnrStr);                          request.postnr = Short.parseShort(postnrStr);
# Line 109  public class AddressSearch { Line 129  public class AddressSearch {
129                          return result;                                            return result;                  
130                  }                  }
131                                    
132                  Integer gadeident =  request.streetNames.get(result.vasketVejnavn);                  // LookupStreetname er en indkapsling af alm + levenstein + google + osm
133                    Integer gadeident = lookupStretname(request, result, true);
134                                    
135                                    
136                  if ( gadeident == null) {                  /*
137                          helperSearchKey = "" + request.postnr + "/" + result.vasketVejnavn;                   * Hvis der ikke er direkte hits, prøver vi at skære ord af vejnavn
138                          gadeident = helperCache.get(helperSearchKey);                   *
139                  }                   * <strike>Denne sektion er MEGET experimental da den øger antallet af kald til google/OSM væsentligt</strike>*/
                   
140                  if (gadeident == null) {                  if (gadeident == null) {
141                          String vej = levenshteinHelper.proposeStreetName(request, result);                          final int MAX_TRIES = 4;
142                          if (vej != null) {                          
143                                  gadeident =  request.streetNames.get(vej);                          String vejnavnParts[] = request.vejnavn.split(" ");
144                          }                          
145                  }                          for (int i=1; i<=MAX_TRIES && i<vejnavnParts.length; i++) {
146                                                    String subVejnavn = DaoUtils.joinHelper(vejnavnParts, i);
147                                                    
148                  // Brug OpenStreetMap før vi prøver google                                  request.vejnavn = subVejnavn;
149                  // For google har en request limit, det har OSM ikke!                                  result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
150                  if ( gadeident == null) {                                  
151                          String vej = osmHelper.proposeStreetName(request, result);                                                gadeident = lookupStretname(request, result, false);//prøv opslag MEN UDEN GOOGLE/OSM !!!
152                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);                                  
153                  }                                  //hvis vi fandt vejen ud fra substrengen
154                                                    if (gadeident != null) {
155                  if ( gadeident == null) {                                          break;
156                          String vej = googleHelper.proposeStreetName(request, result);                                            }                      
157                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);                                  
158                                    //hvis vi ikke fandt kopierer vi vejnavn fra split igen
159                                    request.vejnavn = result.splitResult.vej;
160                                    result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
161                            }                      
162                  }                  }
163                                    
164    
# Line 184  public class AddressSearch { Line 208  public class AddressSearch {
208    
209                  return result;                  return result;
210          }          }
211    
212    
213            private Integer lookupStretname(SearchRequest request, SearchResult result, boolean useExternal) {
214                    String helperSearchKey = "";
215                    
216                    Integer gadeident =  request.streetNames.get(result.vasketVejnavn);
217                    
218                    
219                    if ( gadeident == null) {
220                            helperSearchKey = "" + request.postnr + "/" + result.vasketVejnavn;
221                            gadeident = helperCache.get(helperSearchKey);
222                    }
223                    
224                    if (gadeident == null) {
225                            String vej = levenshteinHelper.proposeStreetName(request, result);
226                            if (vej != null) {
227                                    gadeident =  request.streetNames.get(vej);
228                            }
229                    }
230                    
231                    
232                    // Brug OpenStreetMap før vi prøver google
233                    // For google har en request limit, det har OSM ikke!
234                    if ( gadeident == null && useExternal) {
235                            String vej = osmHelper.proposeStreetName(request, result);              
236                            gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
237                    }
238                    
239                    if ( gadeident == null && useExternal) {
240                            String vej = googleHelper.proposeStreetName(request, result);          
241                            gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
242                    }
243                    return gadeident;
244            }
245                    
246          private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) {          private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) {
247                  if (vej == null)                  if (vej == null)
# Line 213  public class AddressSearch { Line 271  public class AddressSearch {
271                  long start1 = System.currentTimeMillis();                  long start1 = System.currentTimeMillis();
272                  System.out.println("Build -- stage 1");                  System.out.println("Build -- stage 1");
273                                    
274                  alleAdresser = DatabaseLayer.getAllAdresses();                  alleAdresser = db.getAllAdresses();
275                                    
276                                    
277                  /* Mapper mellem db Row ID og adresse noden */                  /* Mapper mellem db Row ID og adresse noden */
# Line 264  public class AddressSearch { Line 322  public class AddressSearch {
322                  System.out.println("Build -- stage 2 alias tabel");                  System.out.println("Build -- stage 2 alias tabel");
323                                    
324                  int vaskCount = 0;                  int vaskCount = 0;
325                  List<AliasBean> aliasList = DatabaseLayer.getAliasList();                  List<AliasBean> aliasList = db.getAliasList();
326                  for (AliasBean alias : aliasList) {                  for (AliasBean alias : aliasList) {
327                          Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);                          Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
328                                                    
# Line 301  public class AddressSearch { Line 359  public class AddressSearch {
359                  DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>();                  DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>();
360                  DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>();                  DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>();
361                                    
362                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();                  List<ExtendedBean> extDao = db.getExtendedAdresslist();
363                  for (ExtendedBean eb : extDao) {                  for (ExtendedBean eb : extDao) {
364                                                    
365                          Address orgAddress = idAddressMap.get(eb.orgId);                                                  Address orgAddress = idAddressMap.get(eb.orgId);                        
# Line 375  public class AddressSearch { Line 433  public class AddressSearch {
433                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );
434                  System.out.println("Build -- stage 4 - 100pct");                  System.out.println("Build -- stage 4 - 100pct");
435                                    
436                  Map<Short,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();                  Map<Short,HundredePctBean> hundredePct = db.get100PctList();
437                  for (Address addr : alleAdresser) {                  for (Address addr : alleAdresser) {
438                          if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                                                  if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                        
439                                  continue;                                  continue;
# Line 400  public class AddressSearch { Line 458  public class AddressSearch {
458                                    
459                  ////////////////////////////////////////////////////////////////////////////////////                  ////////////////////////////////////////////////////////////////////////////////////
460                  long stop = System.currentTimeMillis();                  long stop = System.currentTimeMillis();
461                  System.out.println("Build, stage3 elapsed: " + (stop-start4) );                  System.out.println("Build, stage4 elapsed: " + (stop-start4) );
462                  System.out.println("Build -- Gathering statistics");                  System.out.println("Build -- Gathering statistics");
463                                                                    
464                  for (Address addr : alleAdresser) {                  for (Address addr : alleAdresser) {
# Line 418  public class AddressSearch { Line 476  public class AddressSearch {
476                                  stats.ikkeDaekketCount++;                                  stats.ikkeDaekketCount++;
477                          }                          }
478                  }                                }              
479                    stats.totalCount = alleAdresser.size();
480                                    
481                                    
482                  stats.elapsed = stop-start1;                              stats.elapsed = stop-start1;            
483                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
484                                    
485                    System.out.println("Build: totalCount: " + stats.totalCount);
486                  System.out.println("Build: direkteCount: " + stats.direkteCount);                  System.out.println("Build: direkteCount: " + stats.direkteCount);
487                  System.out.println("Build: extendedCount: " + stats.extendedCount);                  System.out.println("Build: extendedCount: " + stats.extendedCount);
488                  System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);                  System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
# Line 437  public class AddressSearch { Line 497  public class AddressSearch {
497                  return stats;                  return stats;
498          }          }
499                    
500            public DatabaseLayer getDatabaseLayer() {
501                    return db;
502            }
503            
504          public void clear() {          public void clear() {
505                  searchPostnrVejnavnGadeid.clear();                  searchPostnrVejnavnGadeid.clear();
506                  searchGadeidentAdresser.clear();                  searchGadeidentAdresser.clear();
# Line 459  public class AddressSearch { Line 523  public class AddressSearch {
523                                  return ".." + targetAddress.rute;                                  return ".." + targetAddress.rute;
524                          } else if (eb.afstand < 0.701) {                          } else if (eb.afstand < 0.701) {
525                                  return "..." + targetAddress.rute;                                  return "..." + targetAddress.rute;
526                          } else if (eb.afstand < 0.501) {                          } else if (eb.afstand < 1.001) {
527                                  return "...." + targetAddress.rute;                                  return "...." + targetAddress.rute;
528                          }                          }
529                          break;                                            break;                  
# Line 485  public class AddressSearch { Line 549  public class AddressSearch {
549                                  return "...." + targetAddress.rute;                                  return "...." + targetAddress.rute;
550                          }                          }
551                          break;                          break;
552                    default:
553                            System.out.println("Ukendt transport type: " + eb );
554                  }                                }              
555                  return null;                  return null;
556          }          }
# Line 500  public class AddressSearch { Line 566  public class AddressSearch {
566                  return result;                  return result;
567          }          }
568                    
569            public List<Address> get100PctAddresses() {
570                    List<Address> result = new ArrayList<Address>(120000);
571                    for (Address a : alleAdresser) {
572                            if ( a.daekningsType == DaekningsType.DAEKNING_100PCT) {
573                                    result.add(a);
574                            }
575                    }
576                    Collections.sort(result );
577                    return result;
578            }
579            
580          ///////////////////////////////////////////////////////////          ///////////////////////////////////////////////////////////
581          private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {          private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {
582                  String inject;                  String inject;
# Line 515  public class AddressSearch { Line 592  public class AddressSearch {
592                  vejnavn = vejnavn.toLowerCase();                  vejnavn = vejnavn.toLowerCase();
593                  HashSet<String> aliasSet = new HashSet<String>();                  HashSet<String> aliasSet = new HashSet<String>();
594                  aliasSet.add(vejnavn);                  aliasSet.add(vejnavn);
595                                                    
                 aliasSet.add(vejnavn.replace("u", "ü") );  
                 aliasSet.add(vejnavn.replace("ü", "u") );  
                   
                 aliasSet.add(vejnavn.replace("ä", "æ") );  
                 aliasSet.add(vejnavn.replace("æ", "ä") );  
                   
596                  aliasSet.add(vejnavn.replace("alle", "allé") );                  aliasSet.add(vejnavn.replace("alle", "allé") );
597                  aliasSet.add(vejnavn.replace("allé", "alle") );                                  aliasSet.add(vejnavn.replace("allé", "alle") );                
598                                    
# Line 544  public class AddressSearch { Line 615  public class AddressSearch {
615                  aliasSet.add(vejnavn.replace("gl", "gammel") );                  aliasSet.add(vejnavn.replace("gl", "gammel") );
616                  aliasSet.add(vejnavn.replace("gammel", "gl") );                  aliasSet.add(vejnavn.replace("gammel", "gl") );
617                                    
618                    aliasSet.add(vejnavn.replace("gl", "gamle") );
619                    aliasSet.add(vejnavn.replace("gamle", "gl") );
620                    
621                  aliasSet.add(vejnavn.replace("lille", "ll") );                  aliasSet.add(vejnavn.replace("lille", "ll") );
622                  aliasSet.add(vejnavn.replace("ll ", "lille") );                  aliasSet.add(vejnavn.replace("ll ", "lille") );
623                  aliasSet.add(vejnavn.replace("ll.", "lille") );                  aliasSet.add(vejnavn.replace("ll.", "lille") );
# Line 553  public class AddressSearch { Line 627  public class AddressSearch {
627                  aliasSet.add(vejnavn.replace("st.", "store") );                  aliasSet.add(vejnavn.replace("st.", "store") );
628                                    
629                  aliasSet.add(vejnavn.replace("søndre", "sdr") );                  aliasSet.add(vejnavn.replace("søndre", "sdr") );
630                  aliasSet.add(vejnavn.replace("sdr", "søndre") );                  aliasSet.add(vejnavn.replace("sdr", "søndre") );              
631                    aliasSet.add(vejnavn.replace("sønder", "sdr") );
632                    aliasSet.add(vejnavn.replace("sdr", "sønder") );
633    
634                                    
635                  aliasSet.add(vejnavn.replace("nørre", "nr") );                  aliasSet.add(vejnavn.replace("nørre", "nr") );
# Line 589  public class AddressSearch { Line 665  public class AddressSearch {
665                  aliasSet.add(vejnavn.replace("john", "j") );                  aliasSet.add(vejnavn.replace("john", "j") );
666                  aliasSet.add(vejnavn.replace("thomas", "th") );                  aliasSet.add(vejnavn.replace("thomas", "th") );
667                  aliasSet.add(vejnavn.replace("thorvald", "th") );                  aliasSet.add(vejnavn.replace("thorvald", "th") );
668                    aliasSet.add(vejnavn.replace("frederik", "fr") );
669                    aliasSet.add(vejnavn.replace("frederiks", "fr") );
670                                    
671                                    
672                  aliasSet.add(vejnavn.replace("christian", "chr") );                  aliasSet.add(vejnavn.replace("christian", "chr") );
673                    aliasSet.add(vejnavn.replace("christians", "chr") );
674                  aliasSet.add(vejnavn.replace("kristian", "kr") );                  aliasSet.add(vejnavn.replace("kristian", "kr") );
675                    aliasSet.add(vejnavn.replace("kristians", "kr") );
676    
677                    aliasSet.add(vejnavn.replace("mylius", "myl") );
678                    aliasSet.add(vejnavn.replace("myl", "mylius") );
679                                    
680                                    
681                  // alternative stavninger                  // alternative stavninger
# Line 652  public class AddressSearch { Line 735  public class AddressSearch {
735                                    
736                  aliasSet.add(vejnavn.replace("plads", "pl") );                  aliasSet.add(vejnavn.replace("plads", "pl") );
737                  aliasSet.add(vejnavn.replace("vænget", "vænge") );                  aliasSet.add(vejnavn.replace("vænget", "vænge") );
738                    
739                    aliasSet.add(vejnavn.replace("boulevard", "blvd") );
740                    aliasSet.add(vejnavn.replace("blvd", "boulevard") );
741    
742                    aliasSet.add(vejnavn.replace("boulevard", "boule") );
743                    aliasSet.add(vejnavn.replace("boule", "boulevard") );
744                                    
745                    aliasSet.add(vejnavn.replace("kronborg", "krbg") ); //Krbg ladegårdsvej, 3000
746                    aliasSet.add(vejnavn.replace("krbg", "kronborg") );
747                                    
748                  // Opbyg æøå varianter over alle fundne aliaser                  // Opbyg æøå varianter over alle fundne aliaser
749                                    
# Line 679  public class AddressSearch { Line 770  public class AddressSearch {
770                          //danske tegn 3                          //danske tegn 3
771                          aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );                          aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
772                          aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );                          aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
773                            
774                            
775                            //udenlandsketegn
776                            aliasSet.add(vejnavn.replace("u", "ü") );
777                            aliasSet.add(vejnavn.replace("ü", "u") );
778                            
779                            aliasSet.add(vejnavn.replace("ä", "æ") );
780                            aliasSet.add(vejnavn.replace("æ", "ä") );
781                            
782                            aliasSet.add(vejnavn.replace("ö", "ø") );
783                            aliasSet.add(vejnavn.replace("ø", "ö") );
784                  }                  }
785                                    
786                  return aliasSet;                  return aliasSet;
# Line 690  public class AddressSearch { Line 792  public class AddressSearch {
792                    
793          public Set<Entry<String,Integer>> getVejnavne(short postnr) {          public Set<Entry<String,Integer>> getVejnavne(short postnr) {
794                  Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr);                  Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr);
795                  TreeMap<String,Integer> newMap = new TreeMap<String,Integer>();                  
796                  for (Entry<String,Integer> entry : map.entrySet() ) {                  TreeMap<String,Integer> newMap = new TreeMap<String,Integer>( map );//Lav et nyt TreeMap for at sikre sortering
                         newMap.put(entry.getKey(), entry.getValue());  
                 }  
797                                    
798                  return newMap.entrySet();                  return newMap.entrySet();
799          }          }

Legend:
Removed from v.2552  
changed lines
  Added in v.2775

  ViewVC Help
Powered by ViewVC 1.1.20