/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2362 by torben, Tue Feb 24 11:29:57 2015 UTC revision 2395 by torben, Fri Feb 27 09:39:05 2015 UTC
# Line 12  import java.util.Map; Line 12  import java.util.Map;
12  import java.util.Set;  import java.util.Set;
13  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
14    
15    import org.apache.commons.lang3.StringUtils;
16    
17  import dk.daoas.daoadresseservice.admin.ServiceConfig;  import dk.daoas.daoadresseservice.admin.ServiceConfig;
18  import dk.daoas.daoadresseservice.beans.Address;  import dk.daoas.daoadresseservice.beans.Address;
19    import dk.daoas.daoadresseservice.beans.AliasBean;
20  import dk.daoas.daoadresseservice.beans.DataStatisticsBean;  import dk.daoas.daoadresseservice.beans.DataStatisticsBean;
21  import dk.daoas.daoadresseservice.beans.ExtendedBean;  import dk.daoas.daoadresseservice.beans.ExtendedBean;
22  import dk.daoas.daoadresseservice.beans.HundredePctBean;  import dk.daoas.daoadresseservice.beans.HundredePctBean;
# Line 62  public class AdressSearch { Line 65  public class AdressSearch {
65                  }                  }
66                                    
67                                    
68                  result.splitReult = AddressUtils.splitAdresse(adresse);                  result.splitResult = AddressUtils.splitAdresse(adresse);
69                                                                                                    
70                                    
71                  if (result.splitReult.husnr.length() == 0) {                  if (result.splitResult.husnr.length() == 0) {
72                          result.status = Status.ERROR_MISSING_HOUSENUMBER;                          result.status = Status.ERROR_MISSING_HOUSENUMBER;
73                          return result;                          return result;
74                  }                  }
75                                    
76                  String vasketVejnavn = AddressUtils.vaskVejnavn( result.splitReult.vej );                  String vasketVejnavn = AddressUtils.vaskVejnavn( result.splitResult.vej );
77                                    
78                  Long gadeident =  postnrVeje.get(vasketVejnavn);                  Long gadeident =  postnrVeje.get(vasketVejnavn);
79                                    
# Line 80  public class AdressSearch { Line 83  public class AdressSearch {
83                          gadeident = helperCache.get(helperSearchKey);                          gadeident = helperCache.get(helperSearchKey);
84                  }                  }
85                                    
86                    if (gadeident == null) {
87                            String best = getbestLevenshteinDistance(vasketVejnavn, postnrVeje);
88                            if (best != null) {
89                                    result.levenshtein = true;
90                                    gadeident =  postnrVeje.get(best);
91                            }
92                    }
93                    
94                                    
95                    // Brug OpenStreetMap før vi prøver google
96                    // For google har en request limit, det har OSM ikke!
97                  if ( gadeident == null) {                  if ( gadeident == null) {
98                          if (config.useGoogle) {                          if (config.useOpenStreetMaps) {
99                                  result.googleVej = GeocodeHelper.googleHelper(config, postnr, result.splitReult.vej );                                  result.osmVej = GeocodeHelper.openstreetmapHelper(config, postnr, result.splitResult.vej );
100                                  result.google = true;                                  result.osm = true;
101                                                                    
102                                  if (result.googleVej != null) {                                  gadeident = helperWrapper(result.osmVej, postnrVeje, helperSearchKey);
                                         String googleVasket = AddressUtils.vaskVejnavn( result.googleVej );  
                                         gadeident =  postnrVeje.get(googleVasket);  
                                           
                                         if (gadeident != null) {  
                                                 helperCache.put(helperSearchKey, gadeident);  
                                         }  
                                 }  
103                          }                          }
104                  }                  }
105                                    
106                  if ( gadeident == null) {                  if ( gadeident == null) {
107                          if (config.useOpenStreetMaps) {                          if (config.useGoogle) {
108                                  result.osmVej = GeocodeHelper.openstreetmapHelper(postnr, result.splitReult.vej );                                  result.googleVej = GeocodeHelper.googleHelper(config, postnr, result.splitResult.vej );
109                                  result.osm = true;                                  result.google = true;
110                                                                    
111                                  if (result.osmVej != null) {                                  gadeident = helperWrapper(result.googleVej, postnrVeje, helperSearchKey);                              
                                         String osmVasket = AddressUtils.vaskVejnavn( result.osmVej );  
                                         gadeident =  postnrVeje.get(osmVasket);  
                                           
                                         if (gadeident != null) {  
                                                 helperCache.put(helperSearchKey, gadeident);  
                                         }  
                                 }  
112                          }                          }
113                  }                  }
114                                    
115    
116                    
117                  if (gadeident == null) {                                          if (gadeident == null) {                        
118                          result.status = Status.ERROR_UNKNOWN_STREETNAME;                          result.status = Status.ERROR_UNKNOWN_STREETNAME;
119                          return result;                          return result;
120                  }                  }
121                                    
122                    
123                  Map<String, Address> gade = searchGadeidentAdresser.get(gadeident);                  Map<String, Address> gade = searchGadeidentAdresser.get(gadeident);
124                  if (gade == null) { //Denne søgning må ikke fejle                  if (gade == null) { //Denne søgning må ikke fejle
125                          result.status = Status.ERROR_INTERNAL;                          result.status = Status.ERROR_INTERNAL;
# Line 125  public class AdressSearch { Line 127  public class AdressSearch {
127                  }                  }
128                                    
129                                    
130                  String husnrSearch = "" + result.splitReult.husnr + result.splitReult.litra;                  String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra;
131                  Address addr = gade.get(husnrSearch);                  Address addr = gade.get(husnrSearch);
132    
133                  if (addr == null) {                  if (addr == null) {
# Line 135  public class AdressSearch { Line 137  public class AdressSearch {
137                                    
138                  result.address = addr;                  result.address = addr;
139                                    
140                  if (addr.distributor.equals("LUKKET")) {                                          
141                    if ( StringUtils.equals(addr.distributor, "LUKKET") ) {                
142                          result.status = Status.STATUS_NOT_COVERED; //Skal vi have en special status til Lukkede adresser ?                          result.status = Status.STATUS_NOT_COVERED; //Skal vi have en special status til Lukkede adresser ?
143                          return result;                          return result;
144                  }                                                }                              
# Line 151  public class AdressSearch { Line 154  public class AdressSearch {
154                  return result;                  return result;
155          }          }
156                    
157            private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) {
158                    if (vej == null)
159                            return null;
160                    
161                    String vejVasket = AddressUtils.vaskVejnavn( vej );
162                    Long gadeident =  postnrVeje.get(vejVasket);
163                    
164                    if (gadeident != null) {
165                            helperCache.put(helperSearchKey, gadeident);
166                    }
167                    return gadeident;
168                    
169            }
170            
171    
172    
173            
174                    
175          public void buildSearchStructures() throws SQLException{          public void buildSearchStructures() throws SQLException{
176                  searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();                  searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();
# Line 198  public class AdressSearch { Line 218  public class AdressSearch {
218                          gade.put(husnrSearch, a);                                                gade.put(husnrSearch, a);                      
219                  }                  }
220                                    
                   
221                  ////////////////////////////////////////////////////////////////////////////////////////                  ////////////////////////////////////////////////////////////////////////////////////////
222                  long start2 = System.currentTimeMillis();                  long start2 = System.currentTimeMillis();
223                  System.out.println("Build, stage1 elapsed: " + (start2-start1) );                  System.out.println("Build, stage1 elapsed: " + (start2-start1) );
224                  System.out.println("Build -- stage 2 udvidet dækning");                  System.out.println("Build -- stage 2 alias tabel");
225                    
226                    int vaskCount = 0;
227                    List<AliasBean> aliasList = DatabaseLayer.getAliasList();
228                    for (AliasBean alias : aliasList) {
229                            Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
230                            
231                            if (postnrVeje == null) {
232                                    //Burde ikke kunne ske - men better safe than sorry
233                                    continue;
234                            }
235                            
236                            String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);
237                            String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);
238                            
239                            Long gadeident = postnrVeje.get(vasketVej);
240                            if (gadeident == null) {
241                                    //Kender ikke den oprindelige vej
242                                    continue;
243                            }
244                            
245                            Long aliasIdent = postnrVeje.get(vasketAlias);
246                            
247                            if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet
248                                    postnrVeje.put(vasketAlias, gadeident);
249                                    vaskCount++;
250                            }
251                            
252                    }
253                    System.out.println("Anvendte " + vaskCount + " aliaser fra databasen");
254                    
255                    
256                    ////////////////////////////////////////////////////////////////////////////////////////
257                    long start3 = System.currentTimeMillis();
258                    System.out.println("Build, stage2 elapsed: " + (start3-start2) );
259                    System.out.println("Build -- stage 3 udvidet dækning");
260                                    
261                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();
262                  for (ExtendedBean eb : extDao) {                  for (ExtendedBean eb : extDao) {
# Line 259  public class AdressSearch { Line 313  public class AdressSearch {
313                  idAddressMap = null;                  idAddressMap = null;
314                                    
315                  //////////////////////////////////////////////////////////////////////////////////////                  //////////////////////////////////////////////////////////////////////////////////////
316                  long start3 = System.currentTimeMillis();                  long start4 = System.currentTimeMillis();
317                  System.out.println("Build, stage2 elapsed: " + (start3-start2) );                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );
318                  System.out.println("Build -- stage 3 - 100pct");                  System.out.println("Build -- stage 4 - 100pct");
319                                    
320                  Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();                  Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();
321                  for (Address addr : alleAdresser) {                  for (Address addr : alleAdresser) {
# Line 288  public class AdressSearch { Line 342  public class AdressSearch {
342                                    
343                  ////////////////////////////////////////////////////////////////////////////////////                  ////////////////////////////////////////////////////////////////////////////////////
344                  long stop = System.currentTimeMillis();                  long stop = System.currentTimeMillis();
345                  System.out.println("Build, stage3 elapsed: " + (stop-start3) );                  System.out.println("Build, stage3 elapsed: " + (stop-start4) );
346                  System.out.println("Build -- Gathering statistics");                  System.out.println("Build -- Gathering statistics");
347                                                                    
348                  for (Address addr : alleAdresser) {                  for (Address addr : alleAdresser) {
# Line 333  public class AdressSearch { Line 387  public class AdressSearch {
387          }          }
388                    
389                    
390            private String getbestLevenshteinDistance(String vasketVejnavn, Map<String,Long> postnrVeje) {
391                    for(String vej : postnrVeje.keySet()) {
392                            if ( StringUtils.getLevenshteinDistance(vasketVejnavn, vej) == 1) {
393                                    System.out.println("Levenstein: " + vasketVejnavn + "->" + vej);
394                                    return vej;
395                            }
396                    }
397                    
398                    return null;
399            }
400            
401          private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {          private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {
402    
403                  // ///////////////////////////////////////////////////////////////////                  // ///////////////////////////////////////////////////////////////////
# Line 411  public class AdressSearch { Line 476  public class AdressSearch {
476                  aliasSet.add(vejnavn.replace("dr.", "dronningens") );                  aliasSet.add(vejnavn.replace("dr.", "dronningens") );
477                  aliasSet.add(vejnavn.replace("dr ", "dronningens") );                  aliasSet.add(vejnavn.replace("dr ", "dronningens") );
478                                    
479                    aliasSet.add(vejnavn.replace("dronning", "dr") );
480                    aliasSet.add(vejnavn.replace("dr.", "dronning") );
481                    aliasSet.add(vejnavn.replace("dr ", "dronning") );
482                    
483                    aliasSet.add(vejnavn.replace("kng", "kongen") );
484                    aliasSet.add(vejnavn.replace("kongen", "kng") );
485                    
486                  aliasSet.add(vejnavn.replace("kvt", "kvarter") );                  aliasSet.add(vejnavn.replace("kvt", "kvarter") );
487                  aliasSet.add(vejnavn.replace("kvarter", "kvt") );                  aliasSet.add(vejnavn.replace("kvarter", "kvt") );
488                                    
# Line 442  public class AdressSearch { Line 514  public class AdressSearch {
514                  aliasSet.add(vejnavn.replace("skt", "sct") );                  aliasSet.add(vejnavn.replace("skt", "sct") );
515                  aliasSet.add(vejnavn.replace("sct", "skt") );                  aliasSet.add(vejnavn.replace("sct", "skt") );
516                                    
517                    
518                    //alternative måder at stave vej/gade/alle
519                  aliasSet.add(vejnavn.replace("vej", "ve") );                  aliasSet.add(vejnavn.replace("vej", "ve") );
520                  aliasSet.add(vejnavn.replace("vej", "vj") );                  aliasSet.add(vejnavn.replace("vej", "vj") );
521                    aliasSet.add(vejnavn.replace("vej", "v") );
522                                    
523                  aliasSet.add(vejnavn.replace("alle", "all") );                  aliasSet.add(vejnavn.replace("alle", "all") );
524                  aliasSet.add(vejnavn.replace("allé", "all") );                  aliasSet.add(vejnavn.replace("allé", "all") );
525                    aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
526                    aliasSet.add(vejnavn.replace("allé", "allú") );
527                    
528                    aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo
529                    
530                                    
531                  // Opbyg æøå varianter over alle fundne aliaser                  // Opbyg æøå varianter over alle fundne aliaser
532                                    
Legend:
Removed from v.2362  
changed lines
  Added in v.2395
  ViewVC Help
Powered by ViewVC 1.1.20