/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2534 by torben, Mon May 11 07:24:54 2015 UTC revision 2599 by torben, Mon Jul 13 11:10:28 2015 UTC
# Line 27  import dk.daoas.daoadresseservice.beans. Line 27  import dk.daoas.daoadresseservice.beans.
27  import dk.daoas.daoadresseservice.beans.SearchResult;  import dk.daoas.daoadresseservice.beans.SearchResult;
28  import dk.daoas.daoadresseservice.beans.SearchResult.Status;  import dk.daoas.daoadresseservice.beans.SearchResult.Status;
29  import dk.daoas.daoadresseservice.db.DatabaseLayer;  import dk.daoas.daoadresseservice.db.DatabaseLayer;
30    import dk.daoas.daoadresseservice.util.DaoUtils;
31  import dk.daoas.daoadresseservice.util.DeduplicateHelper;  import dk.daoas.daoadresseservice.util.DeduplicateHelper;
32  import dk.daoas.daoadresseservice.util.NaturalOrderComparator;  import dk.daoas.daoadresseservice.util.NaturalOrderComparator;
33    
# Line 66  public class AddressSearch { Line 67  public class AddressSearch {
67                  SearchRequest request = new SearchRequest();                  SearchRequest request = new SearchRequest();
68                  SearchResult result = new SearchResult();                  SearchResult result = new SearchResult();
69                                    
   
                 String helperSearchKey = "";  
70                                    
71                  try {                  try {
72                          request.postnr = Short.parseShort(postnrStr);                          request.postnr = Short.parseShort(postnrStr);
# Line 95  public class AddressSearch { Line 94  public class AddressSearch {
94                          return result;                          return result;
95                  }                  }
96                                    
97                  request.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );                  result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
98                                    
99    
100                  if (request.vasketVejnavn.indexOf("pakkebo") > -1                  if (result.vasketVejnavn.indexOf("pakkebo") > -1
101                                  || request.vasketVejnavn.indexOf("pakkepost") > -1                                  || result.vasketVejnavn.indexOf("pakkepost") > -1
102                                  || request.vasketVejnavn.indexOf("døgnpost") > -1                                  || result.vasketVejnavn.indexOf("postbo") > -1   // postbox/postboks
103                                  || request.vasketVejnavn.indexOf("døgnbo") > -1                                  || result.vasketVejnavn.indexOf("døgnpost") > -1
104                                  || request.vasketVejnavn.equals("id")                                  || result.vasketVejnavn.indexOf("døgnbo") > -1 // døgnbox // døgnboks
105                                    || result.vasketVejnavn.equals("id")
106                                  ) {                                  ) {
107                          result.status = Status.ERROR_POSTBOX;                          result.status = Status.ERROR_POSTBOX;
108                          return result;                                            return result;                  
109                  }                  }
110                                    
111                  Integer gadeident =  request.streetNames.get(request.vasketVejnavn);                  // LookupStreetname er en indkapsling af alm + levenstein + google + osm
112                                    Integer gadeident = lookupStretname(request, result, true);
113                                    
                 if ( gadeident == null) {  
                         helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn;  
                         gadeident = helperCache.get(helperSearchKey);  
                 }  
114                                    
115                    /*
116                     * Hvis der ikke er direkte hits, prøver vi at skære ord af vejnavn
117                     *
118                     * <strike>Denne sektion er MEGET experimental da den øger antallet af kald til google/OSM væsentligt</strike>*/
119                  if (gadeident == null) {                  if (gadeident == null) {
120                          String vej = levenshteinHelper.proposeStreetName(request, result);                          final int MAX_TRIES = 4;
121                          if (vej != null) {                          
122                                  gadeident =  request.streetNames.get(vej);                          String vejnavnParts[] = request.vejnavn.split(" ");
123                          }                          
124                  }                          for (int i=1; i<=MAX_TRIES && i<vejnavnParts.length; i++) {
125                                                    String subVejnavn = DaoUtils.joinHelper(vejnavnParts, i);
126                                                    
127                  // Brug OpenStreetMap før vi prøver google                                  request.vejnavn = subVejnavn;
128                  // For google har en request limit, det har OSM ikke!                                  result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
129                  if ( gadeident == null) {                                  
130                          String vej = osmHelper.proposeStreetName(request, result);                                                gadeident = lookupStretname(request, result, false);//prøv opslag MEN UDEN GOOGLE/OSM !!!
131                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);                                  
132                  }                                  //hvis vi fandt vejen ud fra substrengen
133                                                    if (gadeident != null) {
134                  if ( gadeident == null) {                                          break;
135                          String vej = googleHelper.proposeStreetName(request, result);                                            }                      
136                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);                                  
137                                    //hvis vi ikke fandt kopierer vi vejnavn fra split igen
138                                    request.vejnavn = result.splitResult.vej;
139                                    result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
140                            }                      
141                  }                  }
142                                    
143    
# Line 183  public class AddressSearch { Line 187  public class AddressSearch {
187    
188                  return result;                  return result;
189          }          }
190    
191    
192            private Integer lookupStretname(SearchRequest request, SearchResult result, boolean useExternal) {
193                    String helperSearchKey = "";
194                    
195                    Integer gadeident =  request.streetNames.get(result.vasketVejnavn);
196                    
197                    
198                    if ( gadeident == null) {
199                            helperSearchKey = "" + request.postnr + "/" + result.vasketVejnavn;
200                            gadeident = helperCache.get(helperSearchKey);
201                    }
202                    
203                    if (gadeident == null) {
204                            String vej = levenshteinHelper.proposeStreetName(request, result);
205                            if (vej != null) {
206                                    gadeident =  request.streetNames.get(vej);
207                            }
208                    }
209                    
210                    
211                    // Brug OpenStreetMap før vi prøver google
212                    // For google har en request limit, det har OSM ikke!
213                    if ( gadeident == null && useExternal) {
214                            String vej = osmHelper.proposeStreetName(request, result);              
215                            gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
216                    }
217                    
218                    if ( gadeident == null && useExternal) {
219                            String vej = googleHelper.proposeStreetName(request, result);          
220                            gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
221                    }
222                    return gadeident;
223            }
224                    
225          private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) {          private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) {
226                  if (vej == null)                  if (vej == null)
# Line 198  public class AddressSearch { Line 236  public class AddressSearch {
236                                    
237          }          }
238                    
239          public Map<String,Integer> getStretsByPostal(int zip) {          public Map<String,Integer> getStretsByPostal(short zip) {
240                  return searchPostnrVejnavnGadeid.get(zip);                  return searchPostnrVejnavnGadeid.get(zip);
241          }          }
242    
# Line 357  public class AddressSearch { Line 395  public class AddressSearch {
395                                  orgAddress.dbkBane = targetAddress.dbkBane;                                  orgAddress.dbkBane = targetAddress.dbkBane;
396                                                                    
397                                  /* Sådan gør den gamle service */                                  /* Sådan gør den gamle service */
398                                  orgAddress.kommunekode = targetAddress.kommunekode;                                  /* 20150520 THN- hvis vi bibeholder de originale kommune+vejkoder kan vi bruge DAVID til join i databasen*/
399                                  orgAddress.vejkode = targetAddress.vejkode;                                  //orgAddress.kommunekode = targetAddress.kommunekode;
400                                    //orgAddress.vejkode = targetAddress.vejkode;
401                                    
402                                                                    
403                                  orgAddress.distributor = targetAddress.distributor;                                  orgAddress.distributor = targetAddress.distributor;
404                          }                          }
# Line 415  public class AddressSearch { Line 455  public class AddressSearch {
455                                  stats.ikkeDaekketCount++;                                  stats.ikkeDaekketCount++;
456                          }                          }
457                  }                                }              
458                    stats.totalCount = alleAdresser.size();
459                                    
460                                    
461                  stats.elapsed = stop-start1;                              stats.elapsed = stop-start1;            
462                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
463                                    
464                    System.out.println("Build: totalCount: " + stats.totalCount);
465                  System.out.println("Build: direkteCount: " + stats.direkteCount);                  System.out.println("Build: direkteCount: " + stats.direkteCount);
466                  System.out.println("Build: extendedCount: " + stats.extendedCount);                  System.out.println("Build: extendedCount: " + stats.extendedCount);
467                  System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);                  System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
# Line 512  public class AddressSearch { Line 554  public class AddressSearch {
554                  vejnavn = vejnavn.toLowerCase();                  vejnavn = vejnavn.toLowerCase();
555                  HashSet<String> aliasSet = new HashSet<String>();                  HashSet<String> aliasSet = new HashSet<String>();
556                  aliasSet.add(vejnavn);                  aliasSet.add(vejnavn);
557                                                    
                 aliasSet.add(vejnavn.replace("u", "ü") );  
                 aliasSet.add(vejnavn.replace("ü", "u") );  
                   
558                  aliasSet.add(vejnavn.replace("alle", "allé") );                  aliasSet.add(vejnavn.replace("alle", "allé") );
559                  aliasSet.add(vejnavn.replace("allé", "alle") );                                  aliasSet.add(vejnavn.replace("allé", "alle") );                
560                                    
# Line 547  public class AddressSearch { Line 586  public class AddressSearch {
586                  aliasSet.add(vejnavn.replace("st.", "store") );                  aliasSet.add(vejnavn.replace("st.", "store") );
587                                    
588                  aliasSet.add(vejnavn.replace("søndre", "sdr") );                  aliasSet.add(vejnavn.replace("søndre", "sdr") );
589                  aliasSet.add(vejnavn.replace("sdr", "søndre") );                  aliasSet.add(vejnavn.replace("sdr", "søndre") );              
590                    aliasSet.add(vejnavn.replace("sønder", "sdr") );
591                    aliasSet.add(vejnavn.replace("sdr", "sønder") );
592    
593                                    
594                  aliasSet.add(vejnavn.replace("nørre", "nr") );                  aliasSet.add(vejnavn.replace("nørre", "nr") );
# Line 556  public class AddressSearch { Line 597  public class AddressSearch {
597                  aliasSet.add(vejnavn.replace("nordre", "ndr") );                  aliasSet.add(vejnavn.replace("nordre", "ndr") );
598                  aliasSet.add(vejnavn.replace("ndr", "nordre") );                  aliasSet.add(vejnavn.replace("ndr", "nordre") );
599                                    
600                    
601                    aliasSet.add(vejnavn.replace("vestre", "vester") );
602                    aliasSet.add(vejnavn.replace("vester", "vestre") );
603                    
604                    aliasSet.add(vejnavn.replace("søndre", "sønder") );
605                    aliasSet.add(vejnavn.replace("sønder", "søndre") );
606                    
607                    aliasSet.add(vejnavn.replace("østre", "øster") );
608                    aliasSet.add(vejnavn.replace("øster", "østre") );
609                    
610                  aliasSet.add(vejnavn.replace("borgmester", "borgm") );                  aliasSet.add(vejnavn.replace("borgmester", "borgm") );
611                  aliasSet.add(vejnavn.replace("borgm", "borgmester") );                  aliasSet.add(vejnavn.replace("borgm", "borgmester") );
612                                    
# Line 573  public class AddressSearch { Line 624  public class AddressSearch {
624                  aliasSet.add(vejnavn.replace("john", "j") );                  aliasSet.add(vejnavn.replace("john", "j") );
625                  aliasSet.add(vejnavn.replace("thomas", "th") );                  aliasSet.add(vejnavn.replace("thomas", "th") );
626                  aliasSet.add(vejnavn.replace("thorvald", "th") );                  aliasSet.add(vejnavn.replace("thorvald", "th") );
627                    aliasSet.add(vejnavn.replace("frederik", "fr") );
628                    aliasSet.add(vejnavn.replace("frederiks", "fr") );
629                                    
630                                    
631                  aliasSet.add(vejnavn.replace("christian", "chr") );                  aliasSet.add(vejnavn.replace("christian", "chr") );
632                    aliasSet.add(vejnavn.replace("christians", "chr") );
633                  aliasSet.add(vejnavn.replace("kristian", "kr") );                  aliasSet.add(vejnavn.replace("kristian", "kr") );
634                    aliasSet.add(vejnavn.replace("kristians", "kr") );
635                                    
636                                    
637                  // alternative stavninger                  // alternative stavninger
# Line 624  public class AddressSearch { Line 679  public class AddressSearch {
679                  aliasSet.add(vejnavn.replace("vej", "vejen") );                  aliasSet.add(vejnavn.replace("vej", "vejen") );
680                  aliasSet.add(vejnavn.replace("vejen", "vej") );                  aliasSet.add(vejnavn.replace("vejen", "vej") );
681                                    
682                    aliasSet.add(vejnavn.replace("v", "vej") );//Vi kan have vejnavne i DB der bare slutter på v istedet for vej
683                    
684                  aliasSet.add(vejnavn.replace("alle", "all") );                  aliasSet.add(vejnavn.replace("alle", "all") );
685                  aliasSet.add(vejnavn.replace("allé", "all") );                  aliasSet.add(vejnavn.replace("allé", "all") );
686                  aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo                  aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
# Line 634  public class AddressSearch { Line 691  public class AddressSearch {
691                                    
692                  aliasSet.add(vejnavn.replace("plads", "pl") );                  aliasSet.add(vejnavn.replace("plads", "pl") );
693                  aliasSet.add(vejnavn.replace("vænget", "vænge") );                  aliasSet.add(vejnavn.replace("vænget", "vænge") );
694                    
695                    aliasSet.add(vejnavn.replace("boulevard", "blvd") );
696                    aliasSet.add(vejnavn.replace("blvd", "boulevard") );
697    
698                    aliasSet.add(vejnavn.replace("boulevard", "boule") );
699                    aliasSet.add(vejnavn.replace("boule", "boulevard") );
700                                    
701                    aliasSet.add(vejnavn.replace("kronborg", "krbg") ); //Krbg ladegårdsvej, 3000
702                    aliasSet.add(vejnavn.replace("krbg", "kronborg") );
703                                    
704                  // Opbyg æøå varianter over alle fundne aliaser                  // Opbyg æøå varianter over alle fundne aliaser
705                                    
# Line 661  public class AddressSearch { Line 726  public class AddressSearch {
726                          //danske tegn 3                          //danske tegn 3
727                          aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );                          aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
728                          aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );                          aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
729                            
730                            
731                            //udenlandsketegn
732                            aliasSet.add(vejnavn.replace("u", "ü") );
733                            aliasSet.add(vejnavn.replace("ü", "u") );
734                            
735                            aliasSet.add(vejnavn.replace("ä", "æ") );
736                            aliasSet.add(vejnavn.replace("æ", "ä") );
737                            
738                            aliasSet.add(vejnavn.replace("ö", "ø") );
739                            aliasSet.add(vejnavn.replace("ø", "ö") );
740                  }                  }
741                                    
742                  return aliasSet;                  return aliasSet;
Legend:
Removed from v.2534  
changed lines
  Added in v.2599
  ViewVC Help
Powered by ViewVC 1.1.20