/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2285 by torben, Fri Feb 13 15:58:36 2015 UTC revision 2403 by torben, Fri Feb 27 11:40:08 2015 UTC
# Line 1  Line 1 
1  package dk.daoas.daoadresseservice;  package dk.daoas.daoadresseservice;
2    
3  import java.sql.SQLException;  import java.sql.SQLException;
4    import java.text.SimpleDateFormat;
5    import java.util.ArrayList;
6    import java.util.Collections;
7    import java.util.Date;
8  import java.util.HashMap;  import java.util.HashMap;
9    import java.util.HashSet;
10  import java.util.List;  import java.util.List;
11  import java.util.Map;  import java.util.Map;
12    import java.util.Set;
13  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
14    
15  import dk.daoas.daoadresseservice.AddressUtils.SplitResult;  import org.apache.commons.lang3.StringUtils;
16    
17    import dk.daoas.daoadresseservice.admin.ServiceConfig;
18  import dk.daoas.daoadresseservice.beans.Address;  import dk.daoas.daoadresseservice.beans.Address;
19    import dk.daoas.daoadresseservice.beans.AliasBean;
20    import dk.daoas.daoadresseservice.beans.DataStatisticsBean;
21  import dk.daoas.daoadresseservice.beans.ExtendedBean;  import dk.daoas.daoadresseservice.beans.ExtendedBean;
22  import dk.daoas.daoadresseservice.beans.HundredePctBean;  import dk.daoas.daoadresseservice.beans.HundredePctBean;
23  import dk.daoas.daoadresseservice.beans.SearchResult;  import dk.daoas.daoadresseservice.beans.SearchResult;
# Line 16  import dk.daoas.daoadresseservice.db.Dat Line 26  import dk.daoas.daoadresseservice.db.Dat
26    
27  public class AdressSearch {  public class AdressSearch {
28    
29          Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;                private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;      
30          Map<Long,  Map<String,Address>> searchGadeidentAdresser;          private Map<Long,  Map<String,Address>> searchGadeidentAdresser;
31    
32          List<Address> alleAdresser;          private List<Address> alleAdresser;
33            
34            private Map<String,Long> helperCache;
35                    
36            private DataStatisticsBean stats = new DataStatisticsBean();
37                    
38          Map<Integer,HundredePctBean> hundredePct;          ServiceConfig config;
39            
40            public AdressSearch(ServiceConfig config) {
41                    this.config = config;
42            }
43                    
44                    
45          public SearchResult search(String postnrStr, String adresse)  {          public SearchResult search(String postnrStr, String adresse)  {
46                    
47                    SearchResult result = new SearchResult();
48                    
49                  int postnr=0;                  int postnr=0;
50    
51                    String helperSearchKey = "";
52                                    
53                  try {                  try {
54                          postnr = Integer.parseInt(postnrStr);                          postnr = Integer.parseInt(postnrStr);
55                  } catch (Exception E) {                  } catch (Exception E) {
56                          return new SearchResult(Status.ERROR_UNKNOWN_POSTAL);                          result.status = Status.ERROR_UNKNOWN_POSTAL;
57                            return result;
58                  }                                }              
59                                    
60                  Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(postnr);                                      Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(postnr);                    
61                                    
62                  if (postnrVeje == null) {                  if (postnrVeje == null) {
63                          return new SearchResult(Status.ERROR_UNKNOWN_POSTAL);                          result.status = Status.ERROR_UNKNOWN_POSTAL;
64                            return result;
65                  }                  }
66                                    
                 SplitResult split = AddressUtils.splitAdresse(adresse);  
                 String vasketVejnavn = AddressUtils.vaskVejnavn( split.vej );  
67                                    
68                  if (split.husnr.length() == 0) {                  result.splitResult = AddressUtils.splitAdresse(adresse);
69                          return new SearchResult(Status.ERROR_MISSING_HOUSENUMBER);                                                                        
70                    
71                    if (result.splitResult.husnr.length() == 0) {
72                            result.status = Status.ERROR_MISSING_HOUSENUMBER;
73                            return result;
74                  }                  }
75                                    
76                    String vasketVejnavn = AddressUtils.vaskVejnavn( result.splitResult.vej );
77                    
78                  Long gadeident =  postnrVeje.get(vasketVejnavn);                  Long gadeident =  postnrVeje.get(vasketVejnavn);
79                    
80                    
81                    if ( gadeident == null) {
82                            helperSearchKey = "" + postnr + "/" + vasketVejnavn;
83                            gadeident = helperCache.get(helperSearchKey);
84                    }
85                    
86                  if (gadeident == null) {                  if (gadeident == null) {
87                          return new SearchResult(Status.ERROR_UNKNOWN_STREETNAME);                          String best = getbestLevenshteinDistance(vasketVejnavn, postnrVeje);
88                  }                                if (best != null) {
89                                    result.levenshtein = true;
90                                    gadeident =  postnrVeje.get(best);
91                            }
92                    }
93                    
94                                    
95                  Map<String, Address> gade =  searchGadeidentAdresser.get(gadeident); //Denne søgning må ikke fejle                  // Brug OpenStreetMap før vi prøver google
96                    // For google har en request limit, det har OSM ikke!
97                    if ( gadeident == null) {
98                            if (config.useOpenStreetMaps) {
99                                    result.osmVej = GeocodeHelper.openstreetmapHelper(config, postnr, result.splitResult.vej );
100                                    result.osm = true;
101                                    
102                                    gadeident = helperWrapper(result.osmVej, postnrVeje, helperSearchKey);
103                            }
104                    }
105                    
106                    if ( gadeident == null) {
107                            if (config.useGoogle) {
108                                    result.googleVej = GeocodeHelper.googleHelper(config, postnr, result.splitResult.vej );
109                                    result.google = true;
110                                    
111                                    gadeident = helperWrapper(result.googleVej, postnrVeje, helperSearchKey);                              
112                            }
113                    }
114                    
115    
116                    
117                    if (gadeident == null) {                        
118                            result.status = Status.ERROR_UNKNOWN_STREETNAME;
119                            return result;
120                    }
121                    
122                    result.gadeident = gadeident;
123                                    
124                                    
125                  String husnrSearch = "" + split.husnr + split.litra;                  Map<String, Address> gade = searchGadeidentAdresser.get(gadeident);
126                    if (gade == null) { //Denne søgning må ikke fejle
127                            result.status = Status.ERROR_INTERNAL;
128                            return result;                  
129                    }
130                    
131                    
132                    String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra;
133                  Address addr = gade.get(husnrSearch);                  Address addr = gade.get(husnrSearch);
134    
135                  if (addr == null) {                  if (addr == null) {
136                          return new SearchResult(Status.ERROR_UNKNOWN_ADDRESSPOINT);                          result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;
137                            return result;
138                  }                  }
139                                    
140                    result.address = addr;
141                    
142                    
143                    if ( StringUtils.equals(addr.distributor, "LUKKET") ) {                
144                            result.status = Status.STATUS_NOT_COVERED; //Skal vi have en special status til Lukkede adresser ?
145                            return result;
146                    }                              
147                    
148                  if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {                  if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
149                          return new SearchResult(Status.STATUS_NOT_COVERED);                          result.status = Status.STATUS_NOT_COVERED;
150                            return result;
151                  }                  }
152    
153                    
154                    result.status = Status.STATUS_OK;
155    
156                    return result;
157            }
158            
159            private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) {
160                    if (vej == null)
161                            return null;
162                                    
163                  if (addr.distributor.equals("LUKKET")) {                  String vejVasket = AddressUtils.vaskVejnavn( vej );
164                          return new SearchResult(Status.STATUS_NOT_COVERED); //Skal vi have en special status til Lukkede adresser ?                  Long gadeident =  postnrVeje.get(vejVasket);
165                    
166                    if (gadeident != null) {
167                            helperCache.put(helperSearchKey, gadeident);
168                  }                  }
169                                                    return gadeident;
170                                    
                 return new SearchResult(addr);  
171          }          }
172                    
173    
174    
175            
176                    
177          public void buildSearchStructures() throws SQLException{          public void buildSearchStructures() throws SQLException{
178                  searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();                  searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();
179                  searchGadeidentAdresser = new HashMap<Long,  Map<String,Address>>();                  searchGadeidentAdresser = new HashMap<Long,  Map<String,Address>>();
180                                                    helperCache = new ConcurrentHashMap<String,Long>();
181                    
182                    long start1 = System.currentTimeMillis();
183                  System.out.println("Build -- stage 1");                  System.out.println("Build -- stage 1");
184                                    
185                  alleAdresser = DatabaseLayer.getAllAdresses();                  alleAdresser = DatabaseLayer.getAllAdresses();
186                                    
187                    
188                  /* Mapper mellem db Row ID og adresse noden */                  /* Mapper mellem db Row ID og adresse noden */
189                  Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );                  Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
190                                    
# Line 97  public class AdressSearch { Line 200  public class AdressSearch {
200                                                    
201                          String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);                          String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
202                          Long gadeident = postnrVeje.get(vasketVejnavn);                          Long gadeident = postnrVeje.get(vasketVejnavn);
203                          if (gadeident == null) {                          if (gadeident == null) {                                
204                                  postnrVeje.put(vasketVejnavn, a.gadeid);                                  //postnrVeje.put(vasketVejnavn, a.gadeid);
205                                    
206                                    gadeident = a.gadeid;
207                                    
208                                    Set<String> aliaser = findVejAliaser(a.vejnavn);
209                                    for(String alias : aliaser) {
210                                            String vasketAlias = AddressUtils.vaskVejnavn(alias);
211                                            postnrVeje.put(vasketAlias, gadeident);
212                                    }                              
213                          }                          }
214                                                    
215                          Map<String, Address> gade =  searchGadeidentAdresser.get(a.gadeid);                          Map<String, Address> gade =  searchGadeidentAdresser.get(gadeident);
216                          if (gade == null) {                          if (gade == null) {
217                                  gade = new HashMap<String, Address>();                                  gade = new HashMap<String, Address>();
218                                  searchGadeidentAdresser.put(a.gadeid, gade);                                  searchGadeidentAdresser.put(gadeident, gade);
219                          }                          }
220                          String husnrSearch = "" + a.husnr + a.husnrbogstav;                          String husnrSearch = "" + a.husnr + a.husnrbogstav;
221                          gade.put(husnrSearch, a);                          gade.put(husnrSearch, a);                      
222                  }                  }
223                                    
224                    ////////////////////////////////////////////////////////////////////////////////////////
225                    long start2 = System.currentTimeMillis();
226                    System.out.println("Build, stage1 elapsed: " + (start2-start1) );
227                    System.out.println("Build -- stage 2 alias tabel");
228                    
229                    int vaskCount = 0;
230                    List<AliasBean> aliasList = DatabaseLayer.getAliasList();
231                    for (AliasBean alias : aliasList) {
232                            Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
233                            
234                            if (postnrVeje == null) {
235                                    //Burde ikke kunne ske - men better safe than sorry
236                                    continue;
237                            }
238                            
239                            String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);
240                            String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);
241                            
242                            Long gadeident = postnrVeje.get(vasketVej);
243                            if (gadeident == null) {
244                                    //Kender ikke den oprindelige vej
245                                    continue;
246                            }
247                            
248                            Long aliasIdent = postnrVeje.get(vasketAlias);
249                            
250                            if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet
251                                    postnrVeje.put(vasketAlias, gadeident);
252                                    vaskCount++;
253                            }
254                            
255                    }
256                    System.out.println("Anvendte " + vaskCount + " aliaser fra databasen");
257                    
258                                    
259                  ////////////////////////////////////////////////////////////////////////////////////////                  ////////////////////////////////////////////////////////////////////////////////////////
260                  System.out.println("Build -- stage 2 udvidet dækning");                  long start3 = System.currentTimeMillis();
261                    System.out.println("Build, stage2 elapsed: " + (start3-start2) );
262                    System.out.println("Build -- stage 3 udvidet dækning");
263                                    
264                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();
265                  for (ExtendedBean eb : extDao) {                  for (ExtendedBean eb : extDao) {
# Line 163  public class AdressSearch { Line 310  public class AdressSearch {
310                                                                    
311                                  orgAddress.distributor = targetAddress.distributor;                                  orgAddress.distributor = targetAddress.distributor;
312                          }                          }
   
                           
313                  }                  }
314                    
315                    // nu skal vi ikke bruge idAddressMap længere
316                    idAddressMap = null;
317                    
318                  //////////////////////////////////////////////////////////////////////////////////////                  //////////////////////////////////////////////////////////////////////////////////////
319                  System.out.println("Build -- stage 3 - 100pct");                  long start4 = System.currentTimeMillis();
320                    System.out.println("Build, stage3 elapsed: " + (start4-start3) );
321                    System.out.println("Build -- stage 4 - 100pct");
322                                    
323                  hundredePct = DatabaseLayer.get100PctList();                  Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();
324                  for (Address addr : alleAdresser) {                  for (Address addr : alleAdresser) {
325                          if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                          if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                        
326                                  continue;                                  continue;
327                          }                          }
328                                                    
# Line 192  public class AdressSearch { Line 343  public class AdressSearch {
343                          addr.distributor = bean.distributor;                          addr.distributor = bean.distributor;
344                  }                  }
345                                    
346                    ////////////////////////////////////////////////////////////////////////////////////
347                    long stop = System.currentTimeMillis();
348                    System.out.println("Build, stage3 elapsed: " + (stop-start4) );
349                    System.out.println("Build -- Gathering statistics");
350                                    
351                    for (Address addr : alleAdresser) {
352                            switch (addr.daekningsType) {
353                            case DAEKNING_DIREKTE:
354                                    stats.direkteCount++;
355                                    break;
356                            case DAEKNING_UDVIDET:
357                                    stats.extendedCount++;
358                                    break;
359                            case DAEKNING_100PCT:
360                                    stats.hundredePctCount++;
361                                    break;
362                            default:
363                                    stats.ikkeDaekketCount++;
364                            }
365                    }              
366                    
367                    
368                    stats.elapsed = stop-start1;            
369                    stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
370                    
371                    System.out.println("Build: direkteCount: " + stats.direkteCount);
372                    System.out.println("Build: extendedCount: " + stats.extendedCount);
373                    System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
374                    System.out.println("Build: ikkeDaekketCount: " + stats.ikkeDaekketCount);
375                    
376                    System.out.println("Build: Total Elapsed: " + (stop-start1) );
377                  System.out.println("Build Completed");                  System.out.println("Build Completed");
378                                    
379          }          }
380                    
381            public DataStatisticsBean getStatistics() {
382                    return stats;
383            }
384            
385            public void clear() {
386                    searchPostnrVejnavnGadeid.clear();
387                    searchGadeidentAdresser.clear();
388                    alleAdresser.clear();
389                    helperCache.clear();
390            }
391            
392            
393            private String getbestLevenshteinDistance(String vasketVejnavn, Map<String,Long> postnrVeje) {
394                    for(String vej : postnrVeje.keySet()) {
395                            if ( StringUtils.getLevenshteinDistance(vasketVejnavn, vej) == 1) {
396                                    System.out.println("Levenstein: " + vasketVejnavn + "->" + vej);
397                                    return vej;
398                            }
399                    }
400                    
401                    return null;
402            }
403                    
404          private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {          private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {
405    
# Line 236  public class AdressSearch { Line 440  public class AdressSearch {
440                          break;                          break;
441                  }                                }              
442                  return null;                  return null;
443          }                }
444            
445            public List<Address> getNonCoveredAddresses() {
446                    List<Address> result = new ArrayList<Address>(60000);
447                    for (Address a : alleAdresser) {
448                            if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
449                                    result.add(a);
450                            }
451                    }
452                    Collections.sort(result );
453                    return result;
454            }
455                    
456          ///////////////////////////////////////////////////////////          ///////////////////////////////////////////////////////////
457          private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {          private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {
# Line 249  public class AdressSearch { Line 464  public class AdressSearch {
464                  return AddressUtils.injectIntoBk(targetAddress.koreliste, inject);                  return AddressUtils.injectIntoBk(targetAddress.koreliste, inject);
465          }          }
466                    
467            private Set<String> findVejAliaser(String vejnavn) {
468                    vejnavn = vejnavn.toLowerCase();
469                    HashSet<String> aliasSet = new HashSet<String>();
470                    aliasSet.add(vejnavn);
471                    
472                    aliasSet.add(vejnavn.replace("u", "ü") );
473                    aliasSet.add(vejnavn.replace("ü", "u") );
474                    
475                    aliasSet.add(vejnavn.replace("alle", "allé") );
476                    aliasSet.add(vejnavn.replace("allé", "alle") );                
477                    
478                    aliasSet.add(vejnavn.replace("dronningens", "dr") );
479                    aliasSet.add(vejnavn.replace("dr.", "dronningens") );
480                    aliasSet.add(vejnavn.replace("dr ", "dronningens") );
481                    
482                    aliasSet.add(vejnavn.replace("dronning", "dr") );
483                    aliasSet.add(vejnavn.replace("dr.", "dronning") );
484                    aliasSet.add(vejnavn.replace("dr ", "dronning") );
485                    
486                    aliasSet.add(vejnavn.replace("kng", "kongen") );
487                    aliasSet.add(vejnavn.replace("kongen", "kng") );
488                    
489                    aliasSet.add(vejnavn.replace("kvt", "kvarter") );
490                    aliasSet.add(vejnavn.replace("kvarter", "kvt") );
491                    
492                    aliasSet.add(vejnavn.replace("gl", "gammel") );
493                    aliasSet.add(vejnavn.replace("gammel", "gl") );
494                    
495                    aliasSet.add(vejnavn.replace("lille", "ll") );
496                    aliasSet.add(vejnavn.replace("ll ", "lille") );
497                    aliasSet.add(vejnavn.replace("ll.", "lille") );
498                    
499                    aliasSet.add(vejnavn.replace("store", "st") );
500                    aliasSet.add(vejnavn.replace("st ", "store") );
501                    aliasSet.add(vejnavn.replace("st.", "store") );
502                    
503                    aliasSet.add(vejnavn.replace("søndre", "sdr") );
504                    aliasSet.add(vejnavn.replace("sdr", "søndre") );
505    
506                    
507                    aliasSet.add(vejnavn.replace("nørre", "nr") );
508                    aliasSet.add(vejnavn.replace("nr", "nørre") );
509                    
510                    aliasSet.add(vejnavn.replace("nordre", "ndr") );
511                    aliasSet.add(vejnavn.replace("ndr", "nordre") );
512                                    
513                    aliasSet.add(vejnavn.replace("sankt", "skt") );
514                    aliasSet.add(vejnavn.replace("sankt", "sct") );
515                    aliasSet.add(vejnavn.replace("skt", "sankt") );
516                    
517                    aliasSet.add(vejnavn.replace("skt", "sct") );
518                    aliasSet.add(vejnavn.replace("sct", "skt") );
519                    
520                    
521                    aliasSet.add(vejnavn.replace("john", "j") ); //john f kennedy -> j f kennedy
522                    
523                    
524                    //alternative måder at stave vej/gade/alle
525                    aliasSet.add(vejnavn.replace("vej", "ve") );
526                    aliasSet.add(vejnavn.replace("vej", "vj") );
527                    aliasSet.add(vejnavn.replace("vej", "v") );
528                    aliasSet.add(vejnavn.replace("vej", "vejen") );
529                    aliasSet.add(vejnavn.replace("vejen", "vej") );
530                    
531                    aliasSet.add(vejnavn.replace("alle", "all") );
532                    aliasSet.add(vejnavn.replace("allé", "all") );
533                    aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
534                    aliasSet.add(vejnavn.replace("allé", "allú") );
535                    
536                    aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo
537                    
538                    aliasSet.add(vejnavn.replace("plads", "pl") );
539                    aliasSet.add(vejnavn.replace("vænget", "vænge") );
540                    
541                    
542                    // Opbyg æøå varianter over alle fundne aliaser
543                    
544                    @SuppressWarnings("unchecked")
545                    HashSet<String> variants = (HashSet<String>) aliasSet.clone();
546                    
547                    for (String vVejnavn : variants) {                                      
548                            // danske tegn 1
549                            aliasSet.add( vVejnavn.replace("æ", "ae") );
550                            aliasSet.add( vVejnavn.replace("ø", "oe") );
551                            aliasSet.add( vVejnavn.replace("å", "aa") );
552                            aliasSet.add( vVejnavn.replace("ae", "æ") );
553                            aliasSet.add( vVejnavn.replace("oe", "ø") );
554                            aliasSet.add( vVejnavn.replace("aa", "å") );
555                            
556                            //danske tegn 2
557                            aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );
558                            aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );
559                            aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") );
560                            aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );
561                            aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );
562                            aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );
563                            
564                            //danske tegn 3
565                            aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
566                            aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
567                    }
568                    
569                    return aliasSet;
570            }
571            
572                    
573  }  }
Legend:
Removed from v.2285  
changed lines
  Added in v.2403
  ViewVC Help
Powered by ViewVC 1.1.20