/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2821 by torben, Tue Jan 19 10:02:51 2016 UTC revision 2966 by torben, Mon Mar 7 20:40:40 2016 UTC
# Line 34  import dk.daoas.daoadresseservice.util.N Line 34  import dk.daoas.daoadresseservice.util.N
34  public class AddressSearch {  public class AddressSearch {
35    
36          private Map<Short, Map<String,Integer>> searchPostnrVejnavnGadeid;                private Map<Short, Map<String,Integer>> searchPostnrVejnavnGadeid;      
37          private Map<Integer,  Map<Short, Map<String,Address>>> searchGadeidentAdresser; // Gadeident -> husnrumre -> litra          private Map<Integer,  Map<Short, List<Address>>> searchGadeidentAdresser; // Gadeident -> husnrumre -> litra
38                    
39            private ArrayList<Address> ikkeDaekkedeAdresser = new ArrayList<Address>(60000);
40          private List<Address> alleAdresser;          private ArrayList<Address> hundredePctAdresser = new ArrayList<Address>(120000);
41                    
42          private Map<String,Integer> helperCache;          private Map<String,Integer> helperCache;
43                    
# Line 58  public class AddressSearch { Line 58  public class AddressSearch {
58                  this.db = db;                  this.db = db;
59                  this.config = config;                  this.config = config;
60                                    
61                  levenshteinHelper = new LevenshteinStreetnameHelper( this );                  levenshteinHelper = new LevenshteinStreetnameHelper();
62                  metaphoneHelper = new DoubleMetaphoneStreetnameHelper(config);                  metaphoneHelper = new DoubleMetaphoneStreetnameHelper(config);
63                  googleHelper = new GoogleStreetnameHelper( config );                  googleHelper = new GoogleStreetnameHelper( config );
64                  osmHelper = new OSMStreetnameHelper( config );                  osmHelper = new OSMStreetnameHelper( config );
# Line 66  public class AddressSearch { Line 66  public class AddressSearch {
66                    
67          public Address getAddressSafe(int gadeid, short husnr, String litra)  throws Exception {          public Address getAddressSafe(int gadeid, short husnr, String litra)  throws Exception {
68                                    
69                  Map<Short, Map<String,Address>> gade = searchGadeidentAdresser.get(gadeid);                  Map<Short, List<Address>> gade = searchGadeidentAdresser.get(gadeid);
70                                    
71                  if (gade == null) {                  if (gade == null) {
72                          throw new Exception("GadeID ikke fundet");                          throw new Exception("GadeID ikke fundet");
73                  }                  }
74                                    
75                  Map<String,Address> litraList = gade.get(husnr);                  List<Address> litraList = gade.get(husnr);
76                                    
77                  Address addr = litraList.get(litra);                  Address addr = null;
78                    for(Address a : litraList) {
79                            if (a.husnrbogstav.equals(litra) ) {
80                                    addr = a;
81                                    break;
82                            }
83                    }
84                                    
85                  if (addr == null) {                  if (addr == null) {
86                          throw new Exception("Adresse ikke ikke fundet");                          throw new Exception("Adresse ikke ikke fundet");
# Line 181  public class AddressSearch { Line 187  public class AddressSearch {
187                  result.gadeident = gadeident;                  result.gadeident = gadeident;
188                                    
189                                    
190                  Map<Short, Map<String,Address>> gade = searchGadeidentAdresser.get(gadeident);                  Map<Short, List<Address>> gade = searchGadeidentAdresser.get(gadeident);
191                  if (gade == null) { //Denne søgning må ikke fejle                  if (gade == null) { //Denne søgning må ikke fejle
192                          result.status = Status.ERROR_INTERNAL;                          result.status = Status.ERROR_INTERNAL;
193                          return result;                                            return result;                  
194                  }                  }
195                                    
196                                    
197                    
198                  //Kunne evt klares med Iterables.get fra Guava/Collections                  //Kunne evt klares med Iterables.get fra Guava/Collections
199                  Address firstAddress = gade.values().iterator().next().values().iterator().next(); //Første husnr -> første litra                  Address firstAddress = gade.values().iterator().next().get(0); //Første husnr -> første litra
200                  result.vej = firstAddress.vejnavn;                  result.vej = firstAddress.vejnavn;
201                                    
202                  short husnrSearch = Short.parseShort(result.splitResult.husnr );                                  short husnrSearch = Short.parseShort(result.splitResult.husnr );                
203                  Map<String,Address> litraList = gade.get(husnrSearch);                  List<Address> litraList = gade.get(husnrSearch);
204                                    
205    
206                  if (litraList == null) { //Husnr ikke fundet                  if (litraList == null) { //Husnr ikke fundet
207                                                    
208                          if (naermesteHusnr) {                          if (naermesteHusnr) {
209                                  TreeMap<Short, Map<String,Address>> gadeTreeMap = (TreeMap<Short, Map<String,Address>>) gade;                                  TreeMap<Short, List<Address>> gadeTreeMap = (TreeMap<Short, List<Address>>) gade;
210                                  result.anvendtHusnr = NearestShortTreeMap.getNearestKey(husnrSearch, gadeTreeMap);                                  result.anvendtHusnr = NearestShortTreeMap.getNearestKey(husnrSearch, gadeTreeMap);
211                                                                    
212                                  result.nearestHusnr = true;                                  result.nearestHusnr = true;
# Line 212  public class AddressSearch { Line 219  public class AddressSearch {
219                          }                          }
220                  }                  }
221                                    
222                  Address addr = litraList.get( result.splitResult.litra );                  Address addr  = null;
223                    for(Address a : litraList) {
224                            if ( a.husnrbogstav.equals( result.splitResult.litra ) ) {
225                                    addr = a;
226                                    break;
227                            }
228                    }
229                                    
230                  if (addr == null) { //litra ikke fundet                  if (addr == null) { //litra ikke fundet
231                          if (config.nearestLitra == true || naermesteHusnr == true) {                          if (config.nearestLitra == true || naermesteHusnr == true) {
232                                  result.nearestLitra = true;                                  result.nearestLitra = true;
233                                  addr = litraList.values().iterator().next();                                                              addr = litraList.get(0);                                
234                          } else {                          } else {
235                                  //husnr fundet men litra blev ikke fundet                                  //husnr fundet men litra blev ikke fundet
236                                  result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;                                  result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;
# Line 307  public class AddressSearch { Line 320  public class AddressSearch {
320                    
321          public void buildSearchStructures() throws SQLException{          public void buildSearchStructures() throws SQLException{
322                  searchPostnrVejnavnGadeid = new HashMap<Short, Map<String,Integer>>();                  searchPostnrVejnavnGadeid = new HashMap<Short, Map<String,Integer>>();
323                  searchGadeidentAdresser = new HashMap<Integer,  Map<Short, Map<String,Address>>>();                  searchGadeidentAdresser = new HashMap<Integer,  Map<Short, List<Address>>>();
324                  helperCache = new ConcurrentHashMap<String,Integer>();                  helperCache = new ConcurrentHashMap<String,Integer>();
325                                    
326                  // //////////////////////                  // //////////////////////
# Line 316  public class AddressSearch { Line 329  public class AddressSearch {
329                  long start1 = System.currentTimeMillis();                  long start1 = System.currentTimeMillis();
330                  System.out.println("Build -- stage 1");                  System.out.println("Build -- stage 1");
331                                    
332                  alleAdresser = db.getAllAdresses();                  List<Address> alleAdresser = db.getAllAdresses();
333                                    
334                                    
335                  /* Mapper mellem db Row ID og adresse noden - skal bruges i stage3*/                  /* Mapper mellem db Row ID og adresse noden - skal bruges i stage3*/
# Line 328  public class AddressSearch { Line 341  public class AddressSearch {
341                                    
342                  AliasGenerator aliasGenerator = new AliasGenerator();                  AliasGenerator aliasGenerator = new AliasGenerator();
343                                    
344                    ArrayList<ArrayList<Address>> litraListCache = new ArrayList<ArrayList<Address>>();
345                                    
346                  for (Address a : alleAdresser) {                  for (Address a : alleAdresser) {
347                          idAddressMap.put(a.id, a);                          idAddressMap.put(a.id, a);
# Line 357  public class AddressSearch { Line 371  public class AddressSearch {
371                          }                          }
372                                                    
373                                                    
374                          Map<Short, Map<String,Address>> gade =  searchGadeidentAdresser.get(gadeident);                          Map<Short, List<Address>> gade =  searchGadeidentAdresser.get(gadeident);
375                          if (gade == null) {                          if (gade == null) {
376                                  gade = new TreeMap<Short, Map<String,Address>>();                                  gade = new TreeMap<Short, List<Address> >();
377                                  searchGadeidentAdresser.put(gadeident, gade);                                  searchGadeidentAdresser.put(gadeident, gade);
378                          }                          }
379                                                    
380                          Map<String,Address> litraList = gade.get(a.husnr);                          List<Address> litraList = gade.get(a.husnr);
381                          if (litraList == null) {                          if (litraList == null) {
382                                  litraList = new HashMap<String,Address>();                                  litraList = new ArrayList<Address>();
383                                  gade.put(a.husnr, litraList);                                  gade.put(a.husnr, litraList);
384                                    
385                                    litraListCache.add( (ArrayList<Address>) litraList);
386                          }                          }
387                                                    litraList.add(a);                      
388                          litraList.put(a.husnrbogstav, a);                                        }
389                    
390                    for (ArrayList<Address> list: litraListCache) {
391                            list.trimToSize();
392                  }                  }
393                                    
394                                    
395                  aliasGenerator.clear();  //frigiv hukommelse inden stage2                  litraListCache.clear(); //frigiv hukommelse inden stage2
396                  aliasGenerator = null;                  aliasGenerator.clear();  
397                  shortHelper.clear();                  shortHelper.clear();
                 shortHelper = null;  
398                  intHelper.clear();                  intHelper.clear();
                 intHelper = null;  
399                                                                    
400    
401                  ////////////////////////////////////////////////////////////////////////////////////////                  ////////////////////////////////////////////////////////////////////////////////////////
# Line 433  public class AddressSearch { Line 450  public class AddressSearch {
450                          if (orgAddress == null)                          if (orgAddress == null)
451                                  continue;                                  continue;
452                                                    
453                          if (orgAddress.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                          /*if (orgAddress.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
454                                  //kan være at adressen er blevet markeret dækket og - find-nærmeste data ikke er opdateret i mellemtiden                                  //kan være at adressen er blevet markeret dækket og - find-nærmeste data ikke er opdateret i mellemtiden
455                                  continue;                                  continue;
456                          }                          }*/
457                                                    
458                          Address targetAddress = idAddressMap.get(eb.targetId);                          Address targetAddress = idAddressMap.get(eb.targetId);
459                          if (targetAddress == null) {                          if (targetAddress == null) {
# Line 459  public class AddressSearch { Line 476  public class AddressSearch {
476    
477                          boolean covered = false;                          boolean covered = false;
478                          if (targetAddress.distributor.equals("DAO")) {                          if (targetAddress.distributor.equals("DAO")) {
479                                  orgAddress.ruteMandag = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);                                  orgAddress.routingMandag.rute = calculateExtendedDaoRoute(eb, targetAddress);  
480                                  orgAddress.ruteMandag = ruteHelper.getInstance(orgAddress.ruteMandag);                                  orgAddress.routingMandag.rute = ruteHelper.getInstance(orgAddress.routingMandag.rute);
481                                                                    
482                                  if (orgAddress.ruteMandag != null) {                                  if (orgAddress.routingMandag.rute != null) {
483                                          orgAddress.korelisteMandag = targetAddress.korelisteMandag;                                          orgAddress.routingMandag.koreliste = targetAddress.routingMandag.koreliste;
484                                          covered = true;                                          covered = true;
485                                  }                                  }
486                          }                          }
487                                                    
488                          if (targetAddress.distributor.equals("BK")) {                          if (targetAddress.distributor.equals("BK")) {
489                                  orgAddress.korelisteMandag = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);                                  orgAddress.routingMandag.koreliste = calculateExtendedBkKoreliste(eb, targetAddress);
490                                  orgAddress.korelisteMandag = korelisteHelper.getInstance(orgAddress.korelisteMandag);                                  orgAddress.routingMandag.koreliste = korelisteHelper.getInstance(orgAddress.routingMandag.koreliste);
491                                                                    
492                                  if (orgAddress.korelisteMandag != null) {                                  if (orgAddress.routingMandag.koreliste != null) {
493                                          orgAddress.ruteMandag = targetAddress.ruteMandag;                                          orgAddress.routingMandag.rute = targetAddress.routingMandag.rute;
494                                          covered = true;                                          covered = true;
495                                  }                                  }
496                          }                          }
# Line 519  public class AddressSearch { Line 536  public class AddressSearch {
536                          }                          }
537                                                    
538                          addr.daekningsType = DaekningsType.DAEKNING_100PCT;                          addr.daekningsType = DaekningsType.DAEKNING_100PCT;
539                          addr.ruteMandag = bean.rute;                          addr.routingMandag.rute = bean.rute;
540                          addr.korelisteMandag = bean.koreliste;                          addr.routingMandag.koreliste = bean.koreliste;
541                          addr.dbkBane = bean.dbkBane;                          addr.dbkBane = bean.dbkBane;
542                          addr.distributor = bean.distributor;                          addr.distributor = bean.distributor;
543                  }                  }
# Line 539  public class AddressSearch { Line 556  public class AddressSearch {
556                                  stats.extendedCount++;                                  stats.extendedCount++;
557                                  break;                                  break;
558                          case DAEKNING_100PCT:                          case DAEKNING_100PCT:
559                                    hundredePctAdresser.add(addr);
560                                  stats.hundredePctCount++;                                  stats.hundredePctCount++;
561                                  break;                                  break;
562                          default:                          default:
563                                    ikkeDaekkedeAdresser.add(addr);
564                                  stats.ikkeDaekketCount++;                                  stats.ikkeDaekketCount++;
565                          }                          }
566                  }                                }              
567                  stats.totalCount = alleAdresser.size();                  stats.totalCount = alleAdresser.size();
568                                    
569                    ikkeDaekkedeAdresser.trimToSize();
570                    hundredePctAdresser.trimToSize();
571                    Collections.sort( ikkeDaekkedeAdresser ); //Bruger Comparable interfacet
572                    Collections.sort( hundredePctAdresser );
573    
574                                    
575                  stats.elapsed = stop-start1;                              stats.elapsed = stop-start1;            
576                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
# Line 573  public class AddressSearch { Line 597  public class AddressSearch {
597          public void clear() {          public void clear() {
598                  searchPostnrVejnavnGadeid.clear();                  searchPostnrVejnavnGadeid.clear();
599                  searchGadeidentAdresser.clear();                  searchGadeidentAdresser.clear();
                 alleAdresser.clear();  
600                  helperCache.clear();                  helperCache.clear();
601          }          }
602                    
603                    
604          private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {          private String calculateExtendedDaoRoute(ExtendedBean eb, Address targetAddress) {
605                  if (targetAddress.ruteMandag == null) { //hvis targetAdress.rute er null så er adressen ikke dækket alligevel                  if (targetAddress.routingMandag.rute == null) { //hvis targetAdress.rute er null så er adressen ikke dækket alligevel
606                          return null;                          return null;
607                  }                  }
608    
# Line 587  public class AddressSearch { Line 610  public class AddressSearch {
610                  switch( eb.transport) {                  switch( eb.transport) {
611                  case "cykel":                  case "cykel":
612                          if (eb.afstand < 0.151) {                          if (eb.afstand < 0.151) {
613                                  return "." + targetAddress.ruteMandag;                                  return "." + targetAddress.routingMandag.rute;
614                          } else if (eb.afstand < 0.501) {                          } else if (eb.afstand < 0.501) {
615                                  return ".." + targetAddress.ruteMandag;                                  return ".." + targetAddress.routingMandag.rute;
616                          } else if (eb.afstand < 0.701) {                          } else if (eb.afstand < 0.701) {
617                                  return "..." + targetAddress.ruteMandag;                                  return "..." + targetAddress.routingMandag.rute;
618                          } else if (eb.afstand < 1.001) {                          } else if (eb.afstand < 1.001) {
619                                  return "...." + targetAddress.ruteMandag;                                  return "...." + targetAddress.routingMandag.rute;
620                          }                          }
621                          break;                                            break;                  
622                  case "scooter":                  case "scooter":
623                          if (eb.afstand < 0.151) {                          if (eb.afstand < 0.151) {
624                                  return "." + targetAddress.ruteMandag;                                  return "." + targetAddress.routingMandag.rute;
625                          } else if (eb.afstand < 0.801) {                          } else if (eb.afstand < 0.801) {
626                                  return ".." + targetAddress.ruteMandag;                                  return ".." + targetAddress.routingMandag.rute;
627                          } else if (eb.afstand < 1.201) {                          } else if (eb.afstand < 1.201) {
628                                  return "..." + targetAddress.ruteMandag;                                  return "..." + targetAddress.routingMandag.rute;
629                          } else if (eb.afstand < 2.101) {                          } else if (eb.afstand < 2.101) {
630                                  return "...." + targetAddress.ruteMandag;                                  return "...." + targetAddress.routingMandag.rute;
631                          }                          }
632                          break;                                                    break;                          
633                  case "bil":                  case "bil":
634                          if (eb.afstand < 0.151) {                          if (eb.afstand < 0.151) {
635                                  return "." + targetAddress.ruteMandag;                                  return "." + targetAddress.routingMandag.rute;
636                          } else if (eb.afstand < 1.001) {                          } else if (eb.afstand < 1.001) {
637                                  return ".." + targetAddress.ruteMandag;                                  return ".." + targetAddress.routingMandag.rute;
638                          } else if (eb.afstand < 1.601) {                          } else if (eb.afstand < 1.601) {
639                                  return "..." + targetAddress.ruteMandag;                                  return "..." + targetAddress.routingMandag.rute;
640                          } else if (eb.afstand < 2.601) {                          } else if (eb.afstand < 2.601) {
641                                  return "...." + targetAddress.ruteMandag;                                  return "...." + targetAddress.routingMandag.rute;
642                          }                          }
643                          break;                          break;
644                  default:                  default:
# Line 625  public class AddressSearch { Line 648  public class AddressSearch {
648          }          }
649                    
650          public List<Address> getNonCoveredAddresses() {          public List<Address> getNonCoveredAddresses() {
651                  List<Address> result = new ArrayList<Address>(60000);                  return ikkeDaekkedeAdresser;
                 for (Address a : alleAdresser) {  
                         if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {  
                                 result.add(a);  
                         }  
                 }  
                 Collections.sort(result );  
                 return result;  
652          }          }
653                    
654          public List<Address> get100PctAddresses() {          public List<Address> get100PctAddresses() {
655                  List<Address> result = new ArrayList<Address>(120000);                  return hundredePctAdresser;
                 for (Address a : alleAdresser) {  
                         if ( a.daekningsType == DaekningsType.DAEKNING_100PCT) {  
                                 result.add(a);  
                         }  
                 }  
                 Collections.sort(result );  
                 return result;  
656          }          }
657                    
658          ///////////////////////////////////////////////////////////          ///////////////////////////////////////////////////////////
659          private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {          private String calculateExtendedBkKoreliste(ExtendedBean eb, Address targetAddress) {
660                    if (targetAddress.routingMandag.rute == null) { //hvis targetAdress.rute er null så er adressen ikke dækket alligevel
661                            return null;
662                    }
663                    
664                  String inject;                  String inject;
665                  if (eb.afstand <= 0.500) {                  if (eb.afstand <= 0.500) {
666                          inject = ".";                          inject = ".";
667                  } else {                  } else {
668                          inject = "..";                          inject = "..";
669                  }                  }
670                  return AddressUtils.injectIntoBk(targetAddress.korelisteMandag, inject);                  return AddressUtils.injectIntoBk(targetAddress.routingMandag.koreliste, inject);
671          }          }
672                    
673                    
# Line 672  public class AddressSearch { Line 685  public class AddressSearch {
685                    
686          public Set<String> getHusnumre(int gadeid) {          public Set<String> getHusnumre(int gadeid) {
687                                                                    
688                  Map<Short,Map<String, Address>> gade = searchGadeidentAdresser.get(gadeid);                  Map<Short, List<Address>> gade = searchGadeidentAdresser.get(gadeid);
689                                    
690                  Set<String> set = new TreeSet<String>( new NaturalOrderComparator<String>() );                  Set<String> set = new TreeSet<String>( new NaturalOrderComparator<String>() );
691                  for(Map<String,Address> litraList : gade.values()) {                  for(List<Address> litraList : gade.values()) {
692                          for (Address a: litraList.values()) {                          for (Address a: litraList) {
693                                  set.add( a.husnr + a.husnrbogstav );                                                              set.add( a.husnr + a.husnrbogstav );                            
694                          }                          }
695                  }                  }
# Line 688  public class AddressSearch { Line 701  public class AddressSearch {
701                  short husnr = Short.parseShort( husnrStr.replaceAll("[^\\d]","") );                  short husnr = Short.parseShort( husnrStr.replaceAll("[^\\d]","") );
702                  String litra =  husnrStr.replaceAll("\\d", "");                          String litra =  husnrStr.replaceAll("\\d", "");        
703                                    
704                  Map<Short,Map<String, Address>> gade = searchGadeidentAdresser.get(gadeid);                  Map<Short,List<Address>> gade = searchGadeidentAdresser.get(gadeid);
705                  Map<String, Address> litraList = gade.get(husnr);                  List<Address> litraList = gade.get(husnr);
706                  return litraList.get(litra);                  
707                    for(Address addr : litraList) {
708                            if (addr.husnrbogstav.equals(litra)) {
709                                    return addr;
710                            }
711                    }
712                    
713                    return null;
714                                    
715          }          }
716                                    
Legend:
Removed from v.2821  
changed lines
  Added in v.2966
  ViewVC Help
Powered by ViewVC 1.1.20