/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2274 by torben, Fri Feb 13 11:48:23 2015 UTC revision 2383 by torben, Thu Feb 26 11:25:26 2015 UTC
# Line 1  Line 1 
1  package dk.daoas.daoadresseservice;  package dk.daoas.daoadresseservice;
2    
3  import java.sql.SQLException;  import java.sql.SQLException;
4    import java.text.SimpleDateFormat;
5    import java.util.ArrayList;
6    import java.util.Collections;
7    import java.util.Date;
8  import java.util.HashMap;  import java.util.HashMap;
9    import java.util.HashSet;
10  import java.util.List;  import java.util.List;
11  import java.util.Map;  import java.util.Map;
12    import java.util.Set;
13  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
14    
15  import dk.daoas.daoadresseservice.AddressUtils.SplitResult;  import org.apache.commons.lang3.StringUtils;
16  import dk.daoas.daoadresseservice.SearchResult.Status;  
17    import dk.daoas.daoadresseservice.admin.ServiceConfig;
18    import dk.daoas.daoadresseservice.beans.Address;
19    import dk.daoas.daoadresseservice.beans.DataStatisticsBean;
20    import dk.daoas.daoadresseservice.beans.ExtendedBean;
21    import dk.daoas.daoadresseservice.beans.HundredePctBean;
22    import dk.daoas.daoadresseservice.beans.SearchResult;
23    import dk.daoas.daoadresseservice.beans.SearchResult.Status;
24  import dk.daoas.daoadresseservice.db.DatabaseLayer;  import dk.daoas.daoadresseservice.db.DatabaseLayer;
25    
26  public class AdressSearch {  public class AdressSearch {
27    
28          Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;                private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;      
29          Map<Long,  Map<String,Address>> searchGadeidentAdresser;          private Map<Long,  Map<String,Address>> searchGadeidentAdresser;
30    
31          List<Address> alleAdresser;          private List<Address> alleAdresser;
32            
33            private Map<String,Long> helperCache;
34            
35            private DataStatisticsBean stats = new DataStatisticsBean();
36            
37            ServiceConfig config;
38                    
39          /* Mapper mellem db Row ID og adresse noden */          public AdressSearch(ServiceConfig config) {
40          Map<Integer,Address> idAddressMap;                  this.config = config;
41            }
42                    
43                    
44          public SearchResult search(String postnrStr, String adresse)  {          public SearchResult search(String postnrStr, String adresse)  {
45                    
46                    SearchResult result = new SearchResult();
47                    
48                  int postnr=0;                  int postnr=0;
49    
50                    String helperSearchKey = "";
51                                    
52                  try {                  try {
53                          postnr = Integer.parseInt(postnrStr);                          postnr = Integer.parseInt(postnrStr);
54                  } catch (Exception E) {                  } catch (Exception E) {
55                          return new SearchResult(Status.ERROR_UNKNOWN_POSTAL);                          result.status = Status.ERROR_UNKNOWN_POSTAL;
56                            return result;
57                  }                                }              
58                                    
59                  Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(postnr);                                      Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(postnr);                    
60                                    
61                  if (postnrVeje == null) {                  if (postnrVeje == null) {
62                          return new SearchResult(Status.ERROR_UNKNOWN_POSTAL);                          result.status = Status.ERROR_UNKNOWN_POSTAL;
63                            return result;
64                  }                  }
65                                    
                 SplitResult split = AddressUtils.splitAdresse(adresse);  
                 String vasketVejnavn = AddressUtils.vaskVejnavn( split.vej );  
66                                    
67                  if (split.husnr.length() == 0) {                  result.splitResult = AddressUtils.splitAdresse(adresse);
68                          return new SearchResult(Status.ERROR_MISSING_HOUSENUMBER);                                                                        
69                    
70                    if (result.splitResult.husnr.length() == 0) {
71                            result.status = Status.ERROR_MISSING_HOUSENUMBER;
72                            return result;
73                  }                  }
74                                    
75                    String vasketVejnavn = AddressUtils.vaskVejnavn( result.splitResult.vej );
76                    
77                  Long gadeident =  postnrVeje.get(vasketVejnavn);                  Long gadeident =  postnrVeje.get(vasketVejnavn);
                 if (gadeident == null) {  
                         return new SearchResult(Status.ERROR_UNKNOWN_STREETNAME);  
                 }        
78                                    
79                  Map<String, Address> gade =  searchGadeidentAdresser.get(gadeident); //Denne søgning må ikke fejle                  
80                    if ( gadeident == null) {
81                            helperSearchKey = "" + postnr + "/" + vasketVejnavn;
82                            gadeident = helperCache.get(helperSearchKey);
83                    }
84                    
85                    
86                    // Brug OpenStreetMap før vi prøver google
87                    // For google har en request limit, det har OSM ikke!
88                    if ( gadeident == null) {
89                            if (config.useOpenStreetMaps) {
90                                    result.osmVej = GeocodeHelper.openstreetmapHelper(config, postnr, result.splitResult.vej );
91                                    result.osm = true;
92                                    
93                                    if (result.osmVej != null) {
94                                            String osmVasket = AddressUtils.vaskVejnavn( result.osmVej );
95                                            gadeident =  postnrVeje.get(osmVasket);
96                                            
97                                            if (gadeident != null) {
98                                                    helperCache.put(helperSearchKey, gadeident);
99                                            }
100                                    }
101                            }
102                    }
103                    
104                    if ( gadeident == null) {
105                            if (config.useGoogle) {
106                                    result.googleVej = GeocodeHelper.googleHelper(config, postnr, result.splitResult.vej );
107                                    result.google = true;
108                                    
109                                    if (result.googleVej != null) {
110                                            String googleVasket = AddressUtils.vaskVejnavn( result.googleVej );
111                                            gadeident =  postnrVeje.get(googleVasket);
112                                            
113                                            if (gadeident != null) {
114                                                    helperCache.put(helperSearchKey, gadeident);
115                                            }
116                                    }
117                            }
118                    }
119                    
120    
121                    
122                    if (gadeident == null) {                        
123                            result.status = Status.ERROR_UNKNOWN_STREETNAME;
124                            return result;
125                    }
126                    
127                    Map<String, Address> gade = searchGadeidentAdresser.get(gadeident);
128                    if (gade == null) { //Denne søgning må ikke fejle
129                            result.status = Status.ERROR_INTERNAL;
130                            return result;                  
131                    }
132                                    
133                                    
134                  String husnrSearch = "" + split.husnr + split.litra;                  String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra;
135                  Address addr = gade.get(husnrSearch);                  Address addr = gade.get(husnrSearch);
136    
137                  if (addr == null) {                  if (addr == null) {
138                          return new SearchResult(Status.ERROR_UNKNOWN_ADDRESSPOINT);                          result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;
139                            return result;
140                  }                  }
                                   
141                                    
142                  return new SearchResult(addr);                  result.address = addr;
143                    
144                    
145                    if ( StringUtils.equals(addr.distributor, "LUKKET") ) {                
146                            result.status = Status.STATUS_NOT_COVERED; //Skal vi have en special status til Lukkede adresser ?
147                            return result;
148                    }                              
149                    
150                    if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
151                            result.status = Status.STATUS_NOT_COVERED;
152                            return result;
153                    }
154    
155                    
156                    result.status = Status.STATUS_OK;
157    
158                    return result;
159          }          }
160                    
161                    
162          public void buildSearchStructures() throws SQLException{          public void buildSearchStructures() throws SQLException{
163                  searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();                  searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();
164                  searchGadeidentAdresser = new HashMap<Long,  Map<String,Address>>();                  searchGadeidentAdresser = new HashMap<Long,  Map<String,Address>>();
165                  idAddressMap = new HashMap<Integer,Address>();                  helperCache = new ConcurrentHashMap<String,Long>();
166                    
167                    long start1 = System.currentTimeMillis();
168                    System.out.println("Build -- stage 1");
169                                    
170                  alleAdresser = DatabaseLayer.getAllAdresses();                  alleAdresser = DatabaseLayer.getAllAdresses();
171                    
172                    
173                    /* Mapper mellem db Row ID og adresse noden */
174                    Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
175                    
176                  for (Address a : alleAdresser) {                  for (Address a : alleAdresser) {
177                          idAddressMap.put(a.id, a);                          idAddressMap.put(a.id, a);
178                                                    
# Line 78  public class AdressSearch { Line 183  public class AdressSearch {
183                                  searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);                                  searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);
184                          }                          }
185                                                    
186                          Long gadeident = postnrVeje.get(a.vasketVejnavn);                          String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
187                            Long gadeident = postnrVeje.get(vasketVejnavn);
188                          if (gadeident == null) {                          if (gadeident == null) {
189                                  postnrVeje.put(a.vasketVejnavn, a.gadeid);                                  //postnrVeje.put(vasketVejnavn, a.gadeid);
190                                    
191                                    Set<String> aliaser = findVejAliaser(a.vejnavn);
192                                    for(String alias : aliaser) {
193                                            String vasketAlias = AddressUtils.vaskVejnavn(alias);
194                                            postnrVeje.put(vasketAlias, a.gadeid);  
195                                    }
196                                    
197                          }                          }
198                                                    
199                          Map<String, Address> gade =  searchGadeidentAdresser.get(a.gadeid);                          Map<String, Address> gade =  searchGadeidentAdresser.get(a.gadeid);
# Line 89  public class AdressSearch { Line 202  public class AdressSearch {
202                                  searchGadeidentAdresser.put(a.gadeid, gade);                                  searchGadeidentAdresser.put(a.gadeid, gade);
203                          }                          }
204                          String husnrSearch = "" + a.husnr + a.husnrbogstav;                          String husnrSearch = "" + a.husnr + a.husnrbogstav;
205                          gade.put(husnrSearch, a);                          gade.put(husnrSearch, a);                      
206                                                                                            }
207                    
208                    
209                    ////////////////////////////////////////////////////////////////////////////////////////
210                    long start2 = System.currentTimeMillis();
211                    System.out.println("Build, stage1 elapsed: " + (start2-start1) );
212                    System.out.println("Build -- stage 2 udvidet dækning");
213                    
214                    List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();
215                    for (ExtendedBean eb : extDao) {
216                            
217                            Address orgAddress = idAddressMap.get(eb.orgId);                        
218                            if (orgAddress == null)
219                                    continue;
220                            
221                            Address targetAddress = idAddressMap.get(eb.targetId);
222                            if (targetAddress == null)
223                                    continue;
224                                                    
225                            if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) {
226                                    continue;
227                            }                      
228                            
229                            if (targetAddress.distributor.equals("LUKKET")) {
230                                    continue;
231                            }
232                            
233                            orgAddress.extTarget = targetAddress;
234                            orgAddress.extAfstand = eb.afstand;
235    
236                            boolean covered = false;
237                            if (targetAddress.distributor.equals("DAO")) {
238                                    orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);                              
239                                    if (orgAddress.rute != null) {
240                                            orgAddress.koreliste = targetAddress.koreliste;
241                                            covered = true;
242                                    }
243                            }
244                            
245                            if (targetAddress.distributor.equals("BK")) {
246                                    orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);                              
247                                    if (orgAddress.koreliste != null) {
248                                            orgAddress.rute = targetAddress.rute;
249                                            covered = true;
250                                    }
251                            }
252                            
253                            if (covered) { //Kopier resten af felterne
254                                    orgAddress.daekningsType = DaekningsType.DAEKNING_UDVIDET;
255                                    orgAddress.dbkBane = targetAddress.dbkBane;
256                                    
257                                    /* Sådan gør den gamle service */
258                                    orgAddress.kommunekode = targetAddress.kommunekode;
259                                    orgAddress.vejkode = targetAddress.vejkode;
260                                    
261                                    orgAddress.distributor = targetAddress.distributor;
262                            }
263                  }                  }
264                                    
265                    // nu skal vi ikke bruge idAddressMap længere
266                    idAddressMap = null;
267                    
268                    //////////////////////////////////////////////////////////////////////////////////////
269                    long start3 = System.currentTimeMillis();
270                    System.out.println("Build, stage2 elapsed: " + (start3-start2) );
271                    System.out.println("Build -- stage 3 - 100pct");
272                    
273                    Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();
274                    for (Address addr : alleAdresser) {
275                            if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                        
276                                    continue;
277                            }
278                            
279                            if (addr.distributor != null && addr.distributor.equals("LUKKET")) {
280                                    continue;
281                            }
282                            
283                            
284                            HundredePctBean bean = hundredePct.get(addr.postnr);
285                            if (bean == null) {
286                                    continue;
287                            }
288                            
289                            addr.daekningsType = DaekningsType.DAEKNING_100PCT;
290                            addr.rute = bean.rute;
291                            addr.koreliste = bean.koreliste;
292                            addr.dbkBane = bean.dbkBane;
293                            addr.distributor = bean.distributor;
294                    }
295                    
296                    ////////////////////////////////////////////////////////////////////////////////////
297                    long stop = System.currentTimeMillis();
298                    System.out.println("Build, stage3 elapsed: " + (stop-start3) );
299                    System.out.println("Build -- Gathering statistics");
300                                    
301                    for (Address addr : alleAdresser) {
302                            switch (addr.daekningsType) {
303                            case DAEKNING_DIREKTE:
304                                    stats.direkteCount++;
305                                    break;
306                            case DAEKNING_UDVIDET:
307                                    stats.extendedCount++;
308                                    break;
309                            case DAEKNING_100PCT:
310                                    stats.hundredePctCount++;
311                                    break;
312                            default:
313                                    stats.ikkeDaekketCount++;
314                            }
315                    }              
316                    
317                    
318                    stats.elapsed = stop-start1;            
319                    stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
320                    
321                    System.out.println("Build: direkteCount: " + stats.direkteCount);
322                    System.out.println("Build: extendedCount: " + stats.extendedCount);
323                    System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
324                    System.out.println("Build: ikkeDaekketCount: " + stats.ikkeDaekketCount);
325                    
326                    System.out.println("Build: Total Elapsed: " + (stop-start1) );
327                    System.out.println("Build Completed");
328                    
329            }
330            
331            public DataStatisticsBean getStatistics() {
332                    return stats;
333            }
334            
335            public void clear() {
336                    searchPostnrVejnavnGadeid.clear();
337                    searchGadeidentAdresser.clear();
338                    alleAdresser.clear();
339                    helperCache.clear();
340            }
341            
342            
343            private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {
344    
345                    // ///////////////////////////////////////////////////////////////////
346                    switch( eb.transport) {
347                    case "cykel":
348                            if (eb.afstand < 0.151) {
349                                    return "." + targetAddress.rute;
350                            } else if (eb.afstand < 0.501) {
351                                    return ".." + targetAddress.rute;
352                            } else if (eb.afstand < 0.701) {
353                                    return "..." + targetAddress.rute;
354                            } else if (eb.afstand < 0.501) {
355                                    return "...." + targetAddress.rute;
356                            }
357                            break;                  
358                    case "scooter":
359                            if (eb.afstand < 0.151) {
360                                    return "." + targetAddress.rute;
361                            } else if (eb.afstand < 0.801) {
362                                    return ".." + targetAddress.rute;
363                            } else if (eb.afstand < 1.201) {
364                                    return "..." + targetAddress.rute;
365                            } else if (eb.afstand < 2.101) {
366                                    return "...." + targetAddress.rute;
367                            }
368                            break;                          
369                    case "bil":
370                            if (eb.afstand < 0.151) {
371                                    return "." + targetAddress.rute;
372                            } else if (eb.afstand < 1.001) {
373                                    return ".." + targetAddress.rute;
374                            } else if (eb.afstand < 1.601) {
375                                    return "..." + targetAddress.rute;
376                            } else if (eb.afstand < 2.601) {
377                                    return "...." + targetAddress.rute;
378                            }
379                            break;
380                    }              
381                    return null;
382            }
383            
384            public List<Address> getNonCoveredAddresses() {
385                    List<Address> result = new ArrayList<Address>(60000);
386                    for (Address a : alleAdresser) {
387                            if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
388                                    result.add(a);
389                            }
390                    }
391                    Collections.sort(result );
392                    return result;
393          }          }
394                    
395            ///////////////////////////////////////////////////////////
396            private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {
397                    String inject;
398                    if (eb.afstand <= 0.500) {
399                            inject = ".";
400                    } else {
401                            inject = "..";
402                    }
403                    return AddressUtils.injectIntoBk(targetAddress.koreliste, inject);
404            }
405            
406            private Set<String> findVejAliaser(String vejnavn) {
407                    vejnavn = vejnavn.toLowerCase();
408                    HashSet<String> aliasSet = new HashSet<String>();
409                    aliasSet.add(vejnavn);
410                    
411                    aliasSet.add(vejnavn.replace("u", "ü") );
412                    aliasSet.add(vejnavn.replace("ü", "u") );
413                    
414                    aliasSet.add(vejnavn.replace("alle", "allé") );
415                    aliasSet.add(vejnavn.replace("allé", "alle") );                
416                    
417                    aliasSet.add(vejnavn.replace("dronningens", "dr") );
418                    aliasSet.add(vejnavn.replace("dr.", "dronningens") );
419                    aliasSet.add(vejnavn.replace("dr ", "dronningens") );
420                    
421                    aliasSet.add(vejnavn.replace("kvt", "kvarter") );
422                    aliasSet.add(vejnavn.replace("kvarter", "kvt") );
423                    
424                    aliasSet.add(vejnavn.replace("gl", "gammel") );
425                    aliasSet.add(vejnavn.replace("gammel", "gl") );
426                    
427                    aliasSet.add(vejnavn.replace("lille", "ll") );
428                    aliasSet.add(vejnavn.replace("ll ", "lille") );
429                    aliasSet.add(vejnavn.replace("ll.", "lille") );
430                    
431                    aliasSet.add(vejnavn.replace("store", "st") );
432                    aliasSet.add(vejnavn.replace("st ", "store") );
433                    aliasSet.add(vejnavn.replace("st.", "store") );
434                    
435                    aliasSet.add(vejnavn.replace("søndre", "sdr") );
436                    aliasSet.add(vejnavn.replace("sdr", "søndre") );
437    
438                    
439                    aliasSet.add(vejnavn.replace("nørre", "nr") );
440                    aliasSet.add(vejnavn.replace("nr", "nørre") );
441                    
442                    aliasSet.add(vejnavn.replace("nordre", "ndr") );
443                    aliasSet.add(vejnavn.replace("ndr", "nordre") );
444                                    
445                    aliasSet.add(vejnavn.replace("sankt", "skt") );
446                    aliasSet.add(vejnavn.replace("sankt", "sct") );
447                    aliasSet.add(vejnavn.replace("skt", "sankt") );
448                    
449                    aliasSet.add(vejnavn.replace("skt", "sct") );
450                    aliasSet.add(vejnavn.replace("sct", "skt") );
451                    
452                    
453                    //alternative måder at stave vej/gade/alle
454                    aliasSet.add(vejnavn.replace("vej", "ve") );
455                    aliasSet.add(vejnavn.replace("vej", "vj") );
456                    
457                    aliasSet.add(vejnavn.replace("alle", "all") );
458                    aliasSet.add(vejnavn.replace("allé", "all") );
459                    aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
460                    aliasSet.add(vejnavn.replace("allé", "allú") );
461                    
462                    aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo
463                    
464                    
465                    // Opbyg æøå varianter over alle fundne aliaser
466                    
467                    @SuppressWarnings("unchecked")
468                    HashSet<String> variants = (HashSet<String>) aliasSet.clone();
469                    
470                    for (String vVejnavn : variants) {                                      
471                            // danske tegn 1
472                            aliasSet.add( vVejnavn.replace("æ", "ae") );
473                            aliasSet.add( vVejnavn.replace("ø", "oe") );
474                            aliasSet.add( vVejnavn.replace("å", "aa") );
475                            aliasSet.add( vVejnavn.replace("ae", "æ") );
476                            aliasSet.add( vVejnavn.replace("oe", "ø") );
477                            aliasSet.add( vVejnavn.replace("aa", "å") );
478                            
479                            //danske tegn 2
480                            aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );
481                            aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );
482                            aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") );
483                            aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );
484                            aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );
485                            aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );
486                            
487                            //danske tegn 3
488                            aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
489                            aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
490                    }
491                    
492                    return aliasSet;
493            }
494            
495            
496  }  }
Legend:
Removed from v.2274  
changed lines
  Added in v.2383
  ViewVC Help
Powered by ViewVC 1.1.20