/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2558 by torben, Fri May 22 12:06:22 2015 UTC revision 2783 by torben, Thu Nov 26 12:28:27 2015 UTC
# Line 34  import dk.daoas.daoadresseservice.util.N Line 34  import dk.daoas.daoadresseservice.util.N
34  public class AddressSearch {  public class AddressSearch {
35    
36          private Map<Short, Map<String,Integer>> searchPostnrVejnavnGadeid;                private Map<Short, Map<String,Integer>> searchPostnrVejnavnGadeid;      
37          private Map<Integer,  Map<String,Address>> searchGadeidentAdresser;          private Map<Integer,  Map<Short, Map<String,Address>>> searchGadeidentAdresser; // Gadeident -> husnrumre -> litra
38            
39    
40          private List<Address> alleAdresser;          private List<Address> alleAdresser;
41                    
# Line 42  public class AddressSearch { Line 43  public class AddressSearch {
43                    
44          private DataStatisticsBean stats = new DataStatisticsBean();          private DataStatisticsBean stats = new DataStatisticsBean();
45                    
46          ServiceConfig config;          private DatabaseLayer db;
47            
48                    
49          StreetnameHelper levenshteinHelper;          StreetnameHelper levenshteinHelper;
50            StreetnameHelper metaphoneHelper;
51          StreetnameHelper googleHelper;          StreetnameHelper googleHelper;
52          StreetnameHelper osmHelper;          StreetnameHelper osmHelper;
53                    
54                    
55          public AddressSearch(ServiceConfig config) {          public AddressSearch(DatabaseLayer db, ServiceConfig config) {
56                  this.config = config;                  
57                    this.db = db;
58                                    
59                  levenshteinHelper = new LevenshteinStreetnameHelper( this );                  levenshteinHelper = new LevenshteinStreetnameHelper( this );
60                    metaphoneHelper = new DoubleMetaphoneStreetnameHelper(config);
61                  googleHelper = new GoogleStreetnameHelper( config );                  googleHelper = new GoogleStreetnameHelper( config );
62                  osmHelper = new OSMStreetnameHelper( config );                  osmHelper = new OSMStreetnameHelper( config );
63          }          }
64                    
65            public Address getAddressSafe(int gadeid, short husnr, String litra)  throws Exception {
66                    
67                    Map<Short, Map<String,Address>> gade = searchGadeidentAdresser.get(gadeid);
68                    
69                    if (gade == null) {
70                            throw new Exception("GadeID ikke fundet");
71                    }
72                    
73                    Map<String,Address> litraList = gade.get(husnr);
74                    
75                    Address addr = litraList.get(litra);
76                    
77                    if (addr == null) {
78                            throw new Exception("Adresse ikke ikke fundet");
79                    }
80                                    
81                    return addr;
82            }
83            
84                    
85          public SearchResult search(String postnrStr, String adresse)  {          public SearchResult search(String postnrStr, String adresse)  {
86                                    
# Line 150  public class AddressSearch { Line 174  public class AddressSearch {
174                  result.gadeident = gadeident;                  result.gadeident = gadeident;
175                                    
176                                    
177                  Map<String, Address> gade = searchGadeidentAdresser.get(gadeident);                  Map<Short, Map<String,Address>> gade = searchGadeidentAdresser.get(gadeident);
178                  if (gade == null) { //Denne søgning må ikke fejle                  if (gade == null) { //Denne søgning må ikke fejle
179                          result.status = Status.ERROR_INTERNAL;                          result.status = Status.ERROR_INTERNAL;
180                          return result;                                            return result;                  
# Line 158  public class AddressSearch { Line 182  public class AddressSearch {
182                                    
183                                    
184                  //Kunne evt klares med Iterables.get fra Guava/Collections                  //Kunne evt klares med Iterables.get fra Guava/Collections
185                  Address firstAddress = gade.values().iterator().next();                  Address firstAddress = gade.values().iterator().next().values().iterator().next(); //Første husnr -> første litra
186                  result.vej = firstAddress.vejnavn;                  result.vej = firstAddress.vejnavn;
187                                    
188                  String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra;                  short husnrSearch = Short.parseShort(result.splitResult.husnr );                
189                  Address addr = gade.get(husnrSearch);                  Map<String,Address> litraList = gade.get(husnrSearch);
190                    
191    
192                  if (addr == null) {                  if (litraList == null) { //Husnr ikke fundet
193                          result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;                          result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;
194                          return result;                          return result;
195                  }                  }
196                                    
197                    Address addr = litraList.get( result.splitResult.litra );
198                    
199                    if (addr == null) {
200                            //husnr fundet men litra blev ikke fundet
201                            result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;
202                            return result;                  
203                    }
204                    
205                  result.address = addr;                  result.address = addr;
206                                    
207                                    
# Line 207  public class AddressSearch { Line 240  public class AddressSearch {
240                          }                          }
241                  }                  }
242                                    
243                    if (gadeident == null) {
244                            String vej = levenshteinHelper.proposeStreetName(request, result);
245                            if (vej != null) {
246                                    gadeident =  request.streetNames.get(vej);
247                            }
248                    }
249                    
250                                    
251                  // Brug OpenStreetMap før vi prøver google                  // Brug OpenStreetMap før vi prøver google
252                  // For google har en request limit, det har OSM ikke!                  // For google har en request limit, det har OSM ikke!
# Line 244  public class AddressSearch { Line 284  public class AddressSearch {
284                    
285          public void buildSearchStructures() throws SQLException{          public void buildSearchStructures() throws SQLException{
286                  searchPostnrVejnavnGadeid = new HashMap<Short, Map<String,Integer>>();                  searchPostnrVejnavnGadeid = new HashMap<Short, Map<String,Integer>>();
287                  searchGadeidentAdresser = new HashMap<Integer,  Map<String,Address>>();                  searchGadeidentAdresser = new HashMap<Integer,  Map<Short, Map<String,Address>>>();
288                  helperCache = new ConcurrentHashMap<String,Integer>();                  helperCache = new ConcurrentHashMap<String,Integer>();
289                                    
290                  long start1 = System.currentTimeMillis();                  long start1 = System.currentTimeMillis();
291                  System.out.println("Build -- stage 1");                  System.out.println("Build -- stage 1");
292                                    
293                  alleAdresser = DatabaseLayer.getAllAdresses();                  alleAdresser = db.getAllAdresses();
294                                    
295                                    
296                  /* Mapper mellem db Row ID og adresse noden */                  /* Mapper mellem db Row ID og adresse noden */
297                  Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );                  Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
298                  DeduplicateHelper<String> aliasHelper = new DeduplicateHelper<String>();                  DeduplicateHelper<String> aliasHelper = new DeduplicateHelper<String>();
                 DeduplicateHelper<String> husnrHelper = new DeduplicateHelper<String>();  
299                                    
300                  for (Address a : alleAdresser) {                  for (Address a : alleAdresser) {
301                          idAddressMap.put(a.id, a);                          idAddressMap.put(a.id, a);
# Line 285  public class AddressSearch { Line 324  public class AddressSearch {
324                                  }                                                                }                              
325                          }                          }
326                                                    
327                          Map<String, Address> gade =  searchGadeidentAdresser.get(gadeident);                          Map<Short, Map<String,Address>> gade =  searchGadeidentAdresser.get(gadeident);
328                          if (gade == null) {                          if (gade == null) {
329                                  gade = new HashMap<String, Address>();                                  gade = new TreeMap<Short, Map<String,Address>>();
330                                  searchGadeidentAdresser.put(gadeident, gade);                                  searchGadeidentAdresser.put(gadeident, gade);
331                          }                          }
332                          String husnrSearch = "" + a.husnr + a.husnrbogstav;                          
333                          husnrSearch = husnrHelper.getInstance(husnrSearch);                          Map<String,Address> litraList = gade.get(a.husnr);
334                          gade.put(husnrSearch, a);                                                if (litraList == null) {
335                                    litraList = new HashMap<String,Address>();
336                                    gade.put(a.husnr, litraList);
337                            }
338                            
339                            litraList.put(a.husnrbogstav, a);                      
340                  }                  }
341                                    
342                  ////////////////////////////////////////////////////////////////////////////////////////                  ////////////////////////////////////////////////////////////////////////////////////////
# Line 301  public class AddressSearch { Line 345  public class AddressSearch {
345                  System.out.println("Build -- stage 2 alias tabel");                  System.out.println("Build -- stage 2 alias tabel");
346                                    
347                  int vaskCount = 0;                  int vaskCount = 0;
348                  List<AliasBean> aliasList = DatabaseLayer.getAliasList();                  List<AliasBean> aliasList = db.getAliasList();
349                  for (AliasBean alias : aliasList) {                  for (AliasBean alias : aliasList) {
350                          Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);                          Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
351                                                    
# Line 338  public class AddressSearch { Line 382  public class AddressSearch {
382                  DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>();                  DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>();
383                  DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>();                  DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>();
384                                    
385                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();                  List<ExtendedBean> extDao = db.getExtendedAdresslist();
386                  for (ExtendedBean eb : extDao) {                  for (ExtendedBean eb : extDao) {
387                                                    
388                          Address orgAddress = idAddressMap.get(eb.orgId);                                                  Address orgAddress = idAddressMap.get(eb.orgId);                        
# Line 412  public class AddressSearch { Line 456  public class AddressSearch {
456                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );
457                  System.out.println("Build -- stage 4 - 100pct");                  System.out.println("Build -- stage 4 - 100pct");
458                                    
459                  Map<Short,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();                  Map<Short,HundredePctBean> hundredePct = db.get100PctList();
460                  for (Address addr : alleAdresser) {                  for (Address addr : alleAdresser) {
461                          if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                                                  if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                        
462                                  continue;                                  continue;
# Line 437  public class AddressSearch { Line 481  public class AddressSearch {
481                                    
482                  ////////////////////////////////////////////////////////////////////////////////////                  ////////////////////////////////////////////////////////////////////////////////////
483                  long stop = System.currentTimeMillis();                  long stop = System.currentTimeMillis();
484                  System.out.println("Build, stage3 elapsed: " + (stop-start4) );                  System.out.println("Build, stage4 elapsed: " + (stop-start4) );
485                  System.out.println("Build -- Gathering statistics");                  System.out.println("Build -- Gathering statistics");
486                                                                    
487                  for (Address addr : alleAdresser) {                  for (Address addr : alleAdresser) {
# Line 455  public class AddressSearch { Line 499  public class AddressSearch {
499                                  stats.ikkeDaekketCount++;                                  stats.ikkeDaekketCount++;
500                          }                          }
501                  }                                }              
502                    stats.totalCount = alleAdresser.size();
503                                    
504                                    
505                  stats.elapsed = stop-start1;                              stats.elapsed = stop-start1;            
506                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
507                                    
508                    System.out.println("Build: totalCount: " + stats.totalCount);
509                  System.out.println("Build: direkteCount: " + stats.direkteCount);                  System.out.println("Build: direkteCount: " + stats.direkteCount);
510                  System.out.println("Build: extendedCount: " + stats.extendedCount);                  System.out.println("Build: extendedCount: " + stats.extendedCount);
511                  System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);                  System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
# Line 474  public class AddressSearch { Line 520  public class AddressSearch {
520                  return stats;                  return stats;
521          }          }
522                    
523            public DatabaseLayer getDatabaseLayer() {
524                    return db;
525            }
526            
527          public void clear() {          public void clear() {
528                  searchPostnrVejnavnGadeid.clear();                  searchPostnrVejnavnGadeid.clear();
529                  searchGadeidentAdresser.clear();                  searchGadeidentAdresser.clear();
# Line 496  public class AddressSearch { Line 546  public class AddressSearch {
546                                  return ".." + targetAddress.rute;                                  return ".." + targetAddress.rute;
547                          } else if (eb.afstand < 0.701) {                          } else if (eb.afstand < 0.701) {
548                                  return "..." + targetAddress.rute;                                  return "..." + targetAddress.rute;
549                          } else if (eb.afstand < 0.501) {                          } else if (eb.afstand < 1.001) {
550                                  return "...." + targetAddress.rute;                                  return "...." + targetAddress.rute;
551                          }                          }
552                          break;                                            break;                  
# Line 522  public class AddressSearch { Line 572  public class AddressSearch {
572                                  return "...." + targetAddress.rute;                                  return "...." + targetAddress.rute;
573                          }                          }
574                          break;                          break;
575                    default:
576                            System.out.println("Ukendt transport type: " + eb );
577                  }                                }              
578                  return null;                  return null;
579          }          }
# Line 537  public class AddressSearch { Line 589  public class AddressSearch {
589                  return result;                  return result;
590          }          }
591                    
592            public List<Address> get100PctAddresses() {
593                    List<Address> result = new ArrayList<Address>(120000);
594                    for (Address a : alleAdresser) {
595                            if ( a.daekningsType == DaekningsType.DAEKNING_100PCT) {
596                                    result.add(a);
597                            }
598                    }
599                    Collections.sort(result );
600                    return result;
601            }
602            
603          ///////////////////////////////////////////////////////////          ///////////////////////////////////////////////////////////
604          private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {          private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {
605                  String inject;                  String inject;
# Line 575  public class AddressSearch { Line 638  public class AddressSearch {
638                  aliasSet.add(vejnavn.replace("gl", "gammel") );                  aliasSet.add(vejnavn.replace("gl", "gammel") );
639                  aliasSet.add(vejnavn.replace("gammel", "gl") );                  aliasSet.add(vejnavn.replace("gammel", "gl") );
640                                    
641                    aliasSet.add(vejnavn.replace("gl", "gamle") );
642                    aliasSet.add(vejnavn.replace("gamle", "gl") );
643                    
644                  aliasSet.add(vejnavn.replace("lille", "ll") );                  aliasSet.add(vejnavn.replace("lille", "ll") );
645                  aliasSet.add(vejnavn.replace("ll ", "lille") );                  aliasSet.add(vejnavn.replace("ll ", "lille") );
646                  aliasSet.add(vejnavn.replace("ll.", "lille") );                  aliasSet.add(vejnavn.replace("ll.", "lille") );
# Line 584  public class AddressSearch { Line 650  public class AddressSearch {
650                  aliasSet.add(vejnavn.replace("st.", "store") );                  aliasSet.add(vejnavn.replace("st.", "store") );
651                                    
652                  aliasSet.add(vejnavn.replace("søndre", "sdr") );                  aliasSet.add(vejnavn.replace("søndre", "sdr") );
653                  aliasSet.add(vejnavn.replace("sdr", "søndre") );                  aliasSet.add(vejnavn.replace("sdr", "søndre") );              
654                    aliasSet.add(vejnavn.replace("sønder", "sdr") );
655                    aliasSet.add(vejnavn.replace("sdr", "sønder") );
656    
657                                    
658                  aliasSet.add(vejnavn.replace("nørre", "nr") );                  aliasSet.add(vejnavn.replace("nørre", "nr") );
# Line 620  public class AddressSearch { Line 688  public class AddressSearch {
688                  aliasSet.add(vejnavn.replace("john", "j") );                  aliasSet.add(vejnavn.replace("john", "j") );
689                  aliasSet.add(vejnavn.replace("thomas", "th") );                  aliasSet.add(vejnavn.replace("thomas", "th") );
690                  aliasSet.add(vejnavn.replace("thorvald", "th") );                  aliasSet.add(vejnavn.replace("thorvald", "th") );
691                    aliasSet.add(vejnavn.replace("frederik", "fr") );
692                    aliasSet.add(vejnavn.replace("frederiks", "fr") );
693                                    
694                                    
695                  aliasSet.add(vejnavn.replace("christian", "chr") );                  aliasSet.add(vejnavn.replace("christian", "chr") );
696                    aliasSet.add(vejnavn.replace("christians", "chr") );
697                  aliasSet.add(vejnavn.replace("kristian", "kr") );                  aliasSet.add(vejnavn.replace("kristian", "kr") );
698                    aliasSet.add(vejnavn.replace("kristians", "kr") );
699    
700                    aliasSet.add(vejnavn.replace("mylius", "myl") );
701                    aliasSet.add(vejnavn.replace("myl", "mylius") );
702                    
703                    aliasSet.add(vejnavn.replace("ludvig", "ludv") );
704                    aliasSet.add(vejnavn.replace("ludv", "ludvig") );
705                                    
706                                    
707                  // alternative stavninger                  // alternative stavninger
# Line 683  public class AddressSearch { Line 761  public class AddressSearch {
761                                    
762                  aliasSet.add(vejnavn.replace("plads", "pl") );                  aliasSet.add(vejnavn.replace("plads", "pl") );
763                  aliasSet.add(vejnavn.replace("vænget", "vænge") );                  aliasSet.add(vejnavn.replace("vænget", "vænge") );
764                    
765                    aliasSet.add(vejnavn.replace("boulevard", "blvd") );
766                    aliasSet.add(vejnavn.replace("blvd", "boulevard") );
767    
768                    aliasSet.add(vejnavn.replace("boulevard", "boule") );
769                    aliasSet.add(vejnavn.replace("boule", "boulevard") );
770                                    
771                    aliasSet.add(vejnavn.replace("kronborg", "krbg") ); //Krbg ladegårdsvej, 3000
772                    aliasSet.add(vejnavn.replace("krbg", "kronborg") );
773                                    
774                  // Opbyg æøå varianter over alle fundne aliaser                  // Opbyg æøå varianter over alle fundne aliaser
775                                    
# Line 732  public class AddressSearch { Line 818  public class AddressSearch {
818                    
819          public Set<Entry<String,Integer>> getVejnavne(short postnr) {          public Set<Entry<String,Integer>> getVejnavne(short postnr) {
820                  Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr);                  Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr);
821                  TreeMap<String,Integer> newMap = new TreeMap<String,Integer>();                  
822                  for (Entry<String,Integer> entry : map.entrySet() ) {                  TreeMap<String,Integer> newMap = new TreeMap<String,Integer>( map );//Lav et nyt TreeMap for at sikre sortering
                         newMap.put(entry.getKey(), entry.getValue());  
                 }  
823                                    
824                  return newMap.entrySet();                  return newMap.entrySet();
825          }          }
826                    
827          public Set<String> getHusnumre(int gadeid) {          public Set<String> getHusnumre(int gadeid) {
828                                                                    
829                  Map<String, Address> gade = searchGadeidentAdresser.get(gadeid);                  Map<Short,Map<String, Address>> gade = searchGadeidentAdresser.get(gadeid);
830                                    
831                  Set<String> set = new TreeSet<String>( new NaturalOrderComparator<String>() );                  Set<String> set = new TreeSet<String>( new NaturalOrderComparator<String>() );
832                  set.addAll( gade.keySet() );                  for(Map<String,Address> litraList : gade.values()) {
833                            for (Address a: litraList.values()) {
834                                    set.add( a.husnr + a.husnrbogstav );                            
835                            }
836                    }
837                                    
838                  return set;                  return set;
839          }          }
840                    
841          public Address getAdresse(int gadeid, String husnr) {          public Address getAdresse(int gadeid, String husnrStr) {
842                    
843                    short husnr = Short.parseShort( husnrStr.replaceAll("\\d","") );
844                    String litra =  husnrStr.replaceAll("^\\d", "");
845                                    
846                  Map<String, Address> gade = searchGadeidentAdresser.get(gadeid);                  Map<Short,Map<String, Address>> gade = searchGadeidentAdresser.get(gadeid);
847                  return gade.get(husnr);                  Map<String, Address> litraList = gade.get(husnr);
848                    return litraList.get(litra);
849                                    
850          }          }
851                                    
Legend:
Removed from v.2558  
changed lines
  Added in v.2783
  ViewVC Help
Powered by ViewVC 1.1.20