/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2821 by torben, Tue Jan 19 10:02:51 2016 UTC revision 2967 by torben, Mon Mar 7 20:50:57 2016 UTC
# Line 18  import org.apache.commons.lang3.StringUt Line 18  import org.apache.commons.lang3.StringUt
18    
19  import dk.daoas.daoadresseservice.admin.ServiceConfig;  import dk.daoas.daoadresseservice.admin.ServiceConfig;
20  import dk.daoas.daoadresseservice.beans.Address;  import dk.daoas.daoadresseservice.beans.Address;
21    import dk.daoas.daoadresseservice.beans.Address.RoutingInfo;
22  import dk.daoas.daoadresseservice.beans.AliasBean;  import dk.daoas.daoadresseservice.beans.AliasBean;
23  import dk.daoas.daoadresseservice.beans.DataStatisticsBean;  import dk.daoas.daoadresseservice.beans.DataStatisticsBean;
24  import dk.daoas.daoadresseservice.beans.ExtendedBean;  import dk.daoas.daoadresseservice.beans.ExtendedBean;
# Line 34  import dk.daoas.daoadresseservice.util.N Line 35  import dk.daoas.daoadresseservice.util.N
35  public class AddressSearch {  public class AddressSearch {
36    
37          private Map<Short, Map<String,Integer>> searchPostnrVejnavnGadeid;                private Map<Short, Map<String,Integer>> searchPostnrVejnavnGadeid;      
38          private Map<Integer,  Map<Short, Map<String,Address>>> searchGadeidentAdresser; // Gadeident -> husnrumre -> litra          private Map<Integer,  Map<Short, List<Address>>> searchGadeidentAdresser; // Gadeident -> husnrumre -> litra
39                    
40            private ArrayList<Address> ikkeDaekkedeAdresser = new ArrayList<Address>(60000);
41          private List<Address> alleAdresser;          private ArrayList<Address> hundredePctAdresser = new ArrayList<Address>(120000);
42                    
43          private Map<String,Integer> helperCache;          private Map<String,Integer> helperCache;
44                    
# Line 58  public class AddressSearch { Line 59  public class AddressSearch {
59                  this.db = db;                  this.db = db;
60                  this.config = config;                  this.config = config;
61                                    
62                  levenshteinHelper = new LevenshteinStreetnameHelper( this );                  levenshteinHelper = new LevenshteinStreetnameHelper();
63                  metaphoneHelper = new DoubleMetaphoneStreetnameHelper(config);                  metaphoneHelper = new DoubleMetaphoneStreetnameHelper(config);
64                  googleHelper = new GoogleStreetnameHelper( config );                  googleHelper = new GoogleStreetnameHelper( config );
65                  osmHelper = new OSMStreetnameHelper( config );                  osmHelper = new OSMStreetnameHelper( config );
# Line 66  public class AddressSearch { Line 67  public class AddressSearch {
67                    
68          public Address getAddressSafe(int gadeid, short husnr, String litra)  throws Exception {          public Address getAddressSafe(int gadeid, short husnr, String litra)  throws Exception {
69                                    
70                  Map<Short, Map<String,Address>> gade = searchGadeidentAdresser.get(gadeid);                  Map<Short, List<Address>> gade = searchGadeidentAdresser.get(gadeid);
71                                    
72                  if (gade == null) {                  if (gade == null) {
73                          throw new Exception("GadeID ikke fundet");                          throw new Exception("GadeID ikke fundet");
74                  }                  }
75                                    
76                  Map<String,Address> litraList = gade.get(husnr);                  List<Address> litraList = gade.get(husnr);
77                                    
78                  Address addr = litraList.get(litra);                  Address addr = null;
79                    for(Address a : litraList) {
80                            if (a.husnrbogstav.equals(litra) ) {
81                                    addr = a;
82                                    break;
83                            }
84                    }
85                                    
86                  if (addr == null) {                  if (addr == null) {
87                          throw new Exception("Adresse ikke ikke fundet");                          throw new Exception("Adresse ikke ikke fundet");
# Line 181  public class AddressSearch { Line 188  public class AddressSearch {
188                  result.gadeident = gadeident;                  result.gadeident = gadeident;
189                                    
190                                    
191                  Map<Short, Map<String,Address>> gade = searchGadeidentAdresser.get(gadeident);                  Map<Short, List<Address>> gade = searchGadeidentAdresser.get(gadeident);
192                  if (gade == null) { //Denne søgning må ikke fejle                  if (gade == null) { //Denne søgning må ikke fejle
193                          result.status = Status.ERROR_INTERNAL;                          result.status = Status.ERROR_INTERNAL;
194                          return result;                                            return result;                  
195                  }                  }
196                                    
197                                    
198                    
199                  //Kunne evt klares med Iterables.get fra Guava/Collections                  //Kunne evt klares med Iterables.get fra Guava/Collections
200                  Address firstAddress = gade.values().iterator().next().values().iterator().next(); //Første husnr -> første litra                  Address firstAddress = gade.values().iterator().next().get(0); //Første husnr -> første litra
201                  result.vej = firstAddress.vejnavn;                  result.vej = firstAddress.vejnavn;
202                                    
203                  short husnrSearch = Short.parseShort(result.splitResult.husnr );                                  short husnrSearch = Short.parseShort(result.splitResult.husnr );                
204                  Map<String,Address> litraList = gade.get(husnrSearch);                  List<Address> litraList = gade.get(husnrSearch);
205                                    
206    
207                  if (litraList == null) { //Husnr ikke fundet                  if (litraList == null) { //Husnr ikke fundet
208                                                    
209                          if (naermesteHusnr) {                          if (naermesteHusnr) {
210                                  TreeMap<Short, Map<String,Address>> gadeTreeMap = (TreeMap<Short, Map<String,Address>>) gade;                                  TreeMap<Short, List<Address>> gadeTreeMap = (TreeMap<Short, List<Address>>) gade;
211                                  result.anvendtHusnr = NearestShortTreeMap.getNearestKey(husnrSearch, gadeTreeMap);                                  result.anvendtHusnr = NearestShortTreeMap.getNearestKey(husnrSearch, gadeTreeMap);
212                                                                    
213                                  result.nearestHusnr = true;                                  result.nearestHusnr = true;
# Line 212  public class AddressSearch { Line 220  public class AddressSearch {
220                          }                          }
221                  }                  }
222                                    
223                  Address addr = litraList.get( result.splitResult.litra );                  Address addr  = null;
224                    for(Address a : litraList) {
225                            if ( a.husnrbogstav.equals( result.splitResult.litra ) ) {
226                                    addr = a;
227                                    break;
228                            }
229                    }
230                                    
231                  if (addr == null) { //litra ikke fundet                  if (addr == null) { //litra ikke fundet
232                          if (config.nearestLitra == true || naermesteHusnr == true) {                          if (config.nearestLitra == true || naermesteHusnr == true) {
233                                  result.nearestLitra = true;                                  result.nearestLitra = true;
234                                  addr = litraList.values().iterator().next();                                                              addr = litraList.get(0);                                
235                          } else {                          } else {
236                                  //husnr fundet men litra blev ikke fundet                                  //husnr fundet men litra blev ikke fundet
237                                  result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;                                  result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;
# Line 307  public class AddressSearch { Line 321  public class AddressSearch {
321                    
322          public void buildSearchStructures() throws SQLException{          public void buildSearchStructures() throws SQLException{
323                  searchPostnrVejnavnGadeid = new HashMap<Short, Map<String,Integer>>();                  searchPostnrVejnavnGadeid = new HashMap<Short, Map<String,Integer>>();
324                  searchGadeidentAdresser = new HashMap<Integer,  Map<Short, Map<String,Address>>>();                  searchGadeidentAdresser = new HashMap<Integer,  Map<Short, List<Address>>>();
325                  helperCache = new ConcurrentHashMap<String,Integer>();                  helperCache = new ConcurrentHashMap<String,Integer>();
326                                    
327                  // //////////////////////                  // //////////////////////
# Line 316  public class AddressSearch { Line 330  public class AddressSearch {
330                  long start1 = System.currentTimeMillis();                  long start1 = System.currentTimeMillis();
331                  System.out.println("Build -- stage 1");                  System.out.println("Build -- stage 1");
332                                    
333                  alleAdresser = db.getAllAdresses();                  List<Address> alleAdresser = db.getAllAdresses();
334                                    
335                                    
336                  /* Mapper mellem db Row ID og adresse noden - skal bruges i stage3*/                  /* Mapper mellem db Row ID og adresse noden - skal bruges i stage3*/
# Line 328  public class AddressSearch { Line 342  public class AddressSearch {
342                                    
343                  AliasGenerator aliasGenerator = new AliasGenerator();                  AliasGenerator aliasGenerator = new AliasGenerator();
344                                    
345                    ArrayList<ArrayList<Address>> litraListCache = new ArrayList<ArrayList<Address>>();
346                                    
347                  for (Address a : alleAdresser) {                  for (Address a : alleAdresser) {
348                          idAddressMap.put(a.id, a);                          idAddressMap.put(a.id, a);
# Line 357  public class AddressSearch { Line 372  public class AddressSearch {
372                          }                          }
373                                                    
374                                                    
375                          Map<Short, Map<String,Address>> gade =  searchGadeidentAdresser.get(gadeident);                          Map<Short, List<Address>> gade =  searchGadeidentAdresser.get(gadeident);
376                          if (gade == null) {                          if (gade == null) {
377                                  gade = new TreeMap<Short, Map<String,Address>>();                                  gade = new TreeMap<Short, List<Address> >();
378                                  searchGadeidentAdresser.put(gadeident, gade);                                  searchGadeidentAdresser.put(gadeident, gade);
379                          }                          }
380                                                    
381                          Map<String,Address> litraList = gade.get(a.husnr);                          List<Address> litraList = gade.get(a.husnr);
382                          if (litraList == null) {                          if (litraList == null) {
383                                  litraList = new HashMap<String,Address>();                                  litraList = new ArrayList<Address>();
384                                  gade.put(a.husnr, litraList);                                  gade.put(a.husnr, litraList);
385                                    
386                                    litraListCache.add( (ArrayList<Address>) litraList);
387                          }                          }
388                                                    litraList.add(a);                      
389                          litraList.put(a.husnrbogstav, a);                                        }
390                    
391                    for (ArrayList<Address> list: litraListCache) {
392                            list.trimToSize();
393                  }                  }
394                                    
395                                    
396                  aliasGenerator.clear();  //frigiv hukommelse inden stage2                  litraListCache.clear(); //frigiv hukommelse inden stage2
397                  aliasGenerator = null;                  aliasGenerator.clear();  
398                  shortHelper.clear();                  shortHelper.clear();
                 shortHelper = null;  
399                  intHelper.clear();                  intHelper.clear();
                 intHelper = null;  
400                                                                    
401    
402                  ////////////////////////////////////////////////////////////////////////////////////////                  ////////////////////////////////////////////////////////////////////////////////////////
# Line 433  public class AddressSearch { Line 451  public class AddressSearch {
451                          if (orgAddress == null)                          if (orgAddress == null)
452                                  continue;                                  continue;
453                                                    
454                          if (orgAddress.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                          /*if (orgAddress.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
455                                  //kan være at adressen er blevet markeret dækket og - find-nærmeste data ikke er opdateret i mellemtiden                                  //kan være at adressen er blevet markeret dækket og - find-nærmeste data ikke er opdateret i mellemtiden
456                                  continue;                                  continue;
457                          }                          }*/
458                                                    
459                          Address targetAddress = idAddressMap.get(eb.targetId);                          Address targetAddress = idAddressMap.get(eb.targetId);
460                          if (targetAddress == null) {                          if (targetAddress == null) {
# Line 459  public class AddressSearch { Line 477  public class AddressSearch {
477    
478                          boolean covered = false;                          boolean covered = false;
479                          if (targetAddress.distributor.equals("DAO")) {                          if (targetAddress.distributor.equals("DAO")) {
480                                  orgAddress.ruteMandag = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);                                  orgAddress.routingMandag.rute = calculateExtendedDaoRoute(eb, targetAddress.routingMandag);    
481                                  orgAddress.ruteMandag = ruteHelper.getInstance(orgAddress.ruteMandag);                                  orgAddress.routingMandag.rute = ruteHelper.getInstance(orgAddress.routingMandag.rute);
482                                                                    
483                                  if (orgAddress.ruteMandag != null) {                                  if (orgAddress.routingMandag.rute != null) {
484                                          orgAddress.korelisteMandag = targetAddress.korelisteMandag;                                          orgAddress.routingMandag.koreliste = targetAddress.routingMandag.koreliste;
485                                          covered = true;                                          covered = true;
486                                  }                                  }
487                          }                          }
488                                                    
489                          if (targetAddress.distributor.equals("BK")) {                          if (targetAddress.distributor.equals("BK")) {
490                                  orgAddress.korelisteMandag = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);                                  orgAddress.routingMandag.koreliste = calculateExtendedBkKoreliste(eb, targetAddress.routingMandag);
491                                  orgAddress.korelisteMandag = korelisteHelper.getInstance(orgAddress.korelisteMandag);                                  orgAddress.routingMandag.koreliste = korelisteHelper.getInstance(orgAddress.routingMandag.koreliste);
492                                                                    
493                                  if (orgAddress.korelisteMandag != null) {                                  if (orgAddress.routingMandag.koreliste != null) {
494                                          orgAddress.ruteMandag = targetAddress.ruteMandag;                                          orgAddress.routingMandag.rute = targetAddress.routingMandag.rute;
495                                          covered = true;                                          covered = true;
496                                  }                                  }
497                          }                          }
# Line 519  public class AddressSearch { Line 537  public class AddressSearch {
537                          }                          }
538                                                    
539                          addr.daekningsType = DaekningsType.DAEKNING_100PCT;                          addr.daekningsType = DaekningsType.DAEKNING_100PCT;
540                          addr.ruteMandag = bean.rute;                          addr.routingMandag.rute = bean.rute;
541                          addr.korelisteMandag = bean.koreliste;                          addr.routingMandag.koreliste = bean.koreliste;
542                          addr.dbkBane = bean.dbkBane;                          addr.dbkBane = bean.dbkBane;
543                          addr.distributor = bean.distributor;                          addr.distributor = bean.distributor;
544                  }                  }
# Line 539  public class AddressSearch { Line 557  public class AddressSearch {
557                                  stats.extendedCount++;                                  stats.extendedCount++;
558                                  break;                                  break;
559                          case DAEKNING_100PCT:                          case DAEKNING_100PCT:
560                                    hundredePctAdresser.add(addr);
561                                  stats.hundredePctCount++;                                  stats.hundredePctCount++;
562                                  break;                                  break;
563                          default:                          default:
564                                    ikkeDaekkedeAdresser.add(addr);
565                                  stats.ikkeDaekketCount++;                                  stats.ikkeDaekketCount++;
566                          }                          }
567                  }                                }              
568                  stats.totalCount = alleAdresser.size();                  stats.totalCount = alleAdresser.size();
569                                    
570                    ikkeDaekkedeAdresser.trimToSize();
571                    hundredePctAdresser.trimToSize();
572                    Collections.sort( ikkeDaekkedeAdresser ); //Bruger Comparable interfacet
573                    Collections.sort( hundredePctAdresser );
574    
575                                    
576                  stats.elapsed = stop-start1;                              stats.elapsed = stop-start1;            
577                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
# Line 573  public class AddressSearch { Line 598  public class AddressSearch {
598          public void clear() {          public void clear() {
599                  searchPostnrVejnavnGadeid.clear();                  searchPostnrVejnavnGadeid.clear();
600                  searchGadeidentAdresser.clear();                  searchGadeidentAdresser.clear();
                 alleAdresser.clear();  
601                  helperCache.clear();                  helperCache.clear();
602          }          }
603                    
604                    
605          private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {          private String calculateExtendedDaoRoute(ExtendedBean eb, RoutingInfo targetRoute) {
606                  if (targetAddress.ruteMandag == null) { //hvis targetAdress.rute er null så er adressen ikke dækket alligevel                  if (targetRoute.rute == null) { //hvis targetAdress.rute er null så er adressen ikke dækket alligevel
607                          return null;                          return null;
608                  }                  }
609    
# Line 587  public class AddressSearch { Line 611  public class AddressSearch {
611                  switch( eb.transport) {                  switch( eb.transport) {
612                  case "cykel":                  case "cykel":
613                          if (eb.afstand < 0.151) {                          if (eb.afstand < 0.151) {
614                                  return "." + targetAddress.ruteMandag;                                  return "." + targetRoute.rute;
615                          } else if (eb.afstand < 0.501) {                          } else if (eb.afstand < 0.501) {
616                                  return ".." + targetAddress.ruteMandag;                                  return ".." + targetRoute.rute;
617                          } else if (eb.afstand < 0.701) {                          } else if (eb.afstand < 0.701) {
618                                  return "..." + targetAddress.ruteMandag;                                  return "..." + targetRoute.rute;
619                          } else if (eb.afstand < 1.001) {                          } else if (eb.afstand < 1.001) {
620                                  return "...." + targetAddress.ruteMandag;                                  return "...." + targetRoute.rute;
621                          }                          }
622                          break;                                            break;                  
623                  case "scooter":                  case "scooter":
624                          if (eb.afstand < 0.151) {                          if (eb.afstand < 0.151) {
625                                  return "." + targetAddress.ruteMandag;                                  return "." + targetRoute.rute;
626                          } else if (eb.afstand < 0.801) {                          } else if (eb.afstand < 0.801) {
627                                  return ".." + targetAddress.ruteMandag;                                  return ".." + targetRoute.rute;
628                          } else if (eb.afstand < 1.201) {                          } else if (eb.afstand < 1.201) {
629                                  return "..." + targetAddress.ruteMandag;                                  return "..." + targetRoute.rute;
630                          } else if (eb.afstand < 2.101) {                          } else if (eb.afstand < 2.101) {
631                                  return "...." + targetAddress.ruteMandag;                                  return "...." + targetRoute.rute;
632                          }                          }
633                          break;                                                    break;                          
634                  case "bil":                  case "bil":
635                          if (eb.afstand < 0.151) {                          if (eb.afstand < 0.151) {
636                                  return "." + targetAddress.ruteMandag;                                  return "." + targetRoute.rute;
637                          } else if (eb.afstand < 1.001) {                          } else if (eb.afstand < 1.001) {
638                                  return ".." + targetAddress.ruteMandag;                                  return ".." + targetRoute.rute;
639                          } else if (eb.afstand < 1.601) {                          } else if (eb.afstand < 1.601) {
640                                  return "..." + targetAddress.ruteMandag;                                  return "..." + targetRoute.rute;
641                          } else if (eb.afstand < 2.601) {                          } else if (eb.afstand < 2.601) {
642                                  return "...." + targetAddress.ruteMandag;                                  return "...." + targetRoute.rute;
643                          }                          }
644                          break;                          break;
645                  default:                  default:
# Line 625  public class AddressSearch { Line 649  public class AddressSearch {
649          }          }
650                    
651          public List<Address> getNonCoveredAddresses() {          public List<Address> getNonCoveredAddresses() {
652                  List<Address> result = new ArrayList<Address>(60000);                  return ikkeDaekkedeAdresser;
                 for (Address a : alleAdresser) {  
                         if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {  
                                 result.add(a);  
                         }  
                 }  
                 Collections.sort(result );  
                 return result;  
653          }          }
654                    
655          public List<Address> get100PctAddresses() {          public List<Address> get100PctAddresses() {
656                  List<Address> result = new ArrayList<Address>(120000);                  return hundredePctAdresser;
                 for (Address a : alleAdresser) {  
                         if ( a.daekningsType == DaekningsType.DAEKNING_100PCT) {  
                                 result.add(a);  
                         }  
                 }  
                 Collections.sort(result );  
                 return result;  
657          }          }
658                    
659          ///////////////////////////////////////////////////////////          ///////////////////////////////////////////////////////////
660          private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {          private String calculateExtendedBkKoreliste(ExtendedBean eb, RoutingInfo targetRoute) {
661                    if (targetRoute.rute == null) { //hvis targetAdress.rute er null så er adressen ikke dækket alligevel
662                            return null;
663                    }
664                    
665                  String inject;                  String inject;
666                  if (eb.afstand <= 0.500) {                  if (eb.afstand <= 0.500) {
667                          inject = ".";                          inject = ".";
668                  } else {                  } else {
669                          inject = "..";                          inject = "..";
670                  }                  }
671                  return AddressUtils.injectIntoBk(targetAddress.korelisteMandag, inject);                  return AddressUtils.injectIntoBk(targetRoute.koreliste, inject);
672          }          }
673                    
674                    
# Line 672  public class AddressSearch { Line 686  public class AddressSearch {
686                    
687          public Set<String> getHusnumre(int gadeid) {          public Set<String> getHusnumre(int gadeid) {
688                                                                    
689                  Map<Short,Map<String, Address>> gade = searchGadeidentAdresser.get(gadeid);                  Map<Short, List<Address>> gade = searchGadeidentAdresser.get(gadeid);
690                                    
691                  Set<String> set = new TreeSet<String>( new NaturalOrderComparator<String>() );                  Set<String> set = new TreeSet<String>( new NaturalOrderComparator<String>() );
692                  for(Map<String,Address> litraList : gade.values()) {                  for(List<Address> litraList : gade.values()) {
693                          for (Address a: litraList.values()) {                          for (Address a: litraList) {
694                                  set.add( a.husnr + a.husnrbogstav );                                                              set.add( a.husnr + a.husnrbogstav );                            
695                          }                          }
696                  }                  }
# Line 688  public class AddressSearch { Line 702  public class AddressSearch {
702                  short husnr = Short.parseShort( husnrStr.replaceAll("[^\\d]","") );                  short husnr = Short.parseShort( husnrStr.replaceAll("[^\\d]","") );
703                  String litra =  husnrStr.replaceAll("\\d", "");                          String litra =  husnrStr.replaceAll("\\d", "");        
704                                    
705                  Map<Short,Map<String, Address>> gade = searchGadeidentAdresser.get(gadeid);                  Map<Short,List<Address>> gade = searchGadeidentAdresser.get(gadeid);
706                  Map<String, Address> litraList = gade.get(husnr);                  List<Address> litraList = gade.get(husnr);
707                  return litraList.get(litra);                  
708                    for(Address addr : litraList) {
709                            if (addr.husnrbogstav.equals(litra)) {
710                                    return addr;
711                            }
712                    }
713                    
714                    return null;
715                                    
716          }          }
717                                    
Legend:
Removed from v.2821  
changed lines
  Added in v.2967
  ViewVC Help
Powered by ViewVC 1.1.20