17 |
|
|
18 |
import org.apache.commons.lang3.StringUtils; |
import org.apache.commons.lang3.StringUtils; |
19 |
|
|
20 |
|
import com.jcabi.log.Logger; |
21 |
|
|
22 |
import dk.daoas.daoadresseservice.admin.ServiceConfig; |
import dk.daoas.daoadresseservice.admin.ServiceConfig; |
23 |
import dk.daoas.daoadresseservice.beans.Address; |
import dk.daoas.daoadresseservice.beans.Address; |
24 |
import dk.daoas.daoadresseservice.beans.AliasBean; |
import dk.daoas.daoadresseservice.beans.AliasBean; |
44 |
|
|
45 |
private DataStatisticsBean stats = new DataStatisticsBean(); |
private DataStatisticsBean stats = new DataStatisticsBean(); |
46 |
|
|
47 |
ServiceConfig config; |
private DatabaseLayer db; |
48 |
|
|
49 |
|
|
50 |
StreetnameHelper levenshteinHelper; |
StreetnameHelper levenshteinHelper; |
51 |
StreetnameHelper googleHelper; |
StreetnameHelper googleHelper; |
52 |
StreetnameHelper osmHelper; |
StreetnameHelper osmHelper; |
53 |
|
|
54 |
|
|
55 |
public AddressSearch(ServiceConfig config) { |
public AddressSearch(DatabaseLayer db, ServiceConfig config) { |
56 |
this.config = config; |
|
57 |
|
this.db = db; |
58 |
|
|
59 |
levenshteinHelper = new LevenshteinStreetnameHelper( this ); |
levenshteinHelper = new LevenshteinStreetnameHelper( this ); |
60 |
googleHelper = new GoogleStreetnameHelper( config ); |
googleHelper = new GoogleStreetnameHelper( config ); |
61 |
osmHelper = new OSMStreetnameHelper( config ); |
osmHelper = new OSMStreetnameHelper( config ); |
62 |
} |
} |
63 |
|
|
64 |
|
public Address getAddressSafe(int gadeid, String husnr) throws Exception { |
65 |
|
|
66 |
|
Map<String,Address> gade = searchGadeidentAdresser.get(gadeid); |
67 |
|
|
68 |
|
if (gade == null) { |
69 |
|
throw new Exception("GadeID ikke fundet"); |
70 |
|
} |
71 |
|
|
72 |
|
Address addr = gade.get(husnr); |
73 |
|
|
74 |
|
if (addr == null) { |
75 |
|
throw new Exception("Adresse ikke ikke fundet"); |
76 |
|
} |
77 |
|
|
78 |
|
return addr; |
79 |
|
} |
80 |
|
|
81 |
|
|
82 |
public SearchResult search(String postnrStr, String adresse) { |
public SearchResult search(String postnrStr, String adresse) { |
83 |
|
|
88 |
SearchRequest request = new SearchRequest(); |
SearchRequest request = new SearchRequest(); |
89 |
SearchResult result = new SearchResult(); |
SearchResult result = new SearchResult(); |
90 |
|
|
|
|
|
|
String helperSearchKey = ""; |
|
91 |
|
|
92 |
try { |
try { |
93 |
request.postnr = Short.parseShort(postnrStr); |
request.postnr = Short.parseShort(postnrStr); |
130 |
} |
} |
131 |
|
|
132 |
// LookupStreetname er en indkapsling af alm + levenstein + google + osm |
// LookupStreetname er en indkapsling af alm + levenstein + google + osm |
133 |
Integer gadeident = lookupStretname(request, result, helperSearchKey, true); |
Integer gadeident = lookupStretname(request, result, true); |
134 |
|
|
135 |
|
|
136 |
/* |
/* |
148 |
request.vejnavn = subVejnavn; |
request.vejnavn = subVejnavn; |
149 |
result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
150 |
|
|
151 |
gadeident = lookupStretname(request, result, helperSearchKey, false);//prøv opslag MEN UDEN GOOGLE/OSM !!! |
gadeident = lookupStretname(request, result, false);//prøv opslag MEN UDEN GOOGLE/OSM !!! |
152 |
|
|
153 |
//hvis vi fandt vejen ud fra substrengen |
//hvis vi fandt vejen ud fra substrengen |
154 |
if (gadeident != null) { |
if (gadeident != null) { |
210 |
} |
} |
211 |
|
|
212 |
|
|
213 |
private Integer lookupStretname(SearchRequest request, SearchResult result, String helperSearchKey, boolean useExternal) { |
private Integer lookupStretname(SearchRequest request, SearchResult result, boolean useExternal) { |
214 |
|
String helperSearchKey = ""; |
215 |
|
|
216 |
Integer gadeident = request.streetNames.get(result.vasketVejnavn); |
Integer gadeident = request.streetNames.get(result.vasketVejnavn); |
217 |
|
|
218 |
|
|
271 |
long start1 = System.currentTimeMillis(); |
long start1 = System.currentTimeMillis(); |
272 |
System.out.println("Build -- stage 1"); |
System.out.println("Build -- stage 1"); |
273 |
|
|
274 |
alleAdresser = DatabaseLayer.getAllAdresses(); |
alleAdresser = db.getAllAdresses(); |
275 |
|
|
276 |
|
|
277 |
/* Mapper mellem db Row ID og adresse noden */ |
/* Mapper mellem db Row ID og adresse noden */ |
322 |
System.out.println("Build -- stage 2 alias tabel"); |
System.out.println("Build -- stage 2 alias tabel"); |
323 |
|
|
324 |
int vaskCount = 0; |
int vaskCount = 0; |
325 |
List<AliasBean> aliasList = DatabaseLayer.getAliasList(); |
List<AliasBean> aliasList = db.getAliasList(); |
326 |
for (AliasBean alias : aliasList) { |
for (AliasBean alias : aliasList) { |
327 |
Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr); |
Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr); |
328 |
|
|
359 |
DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>(); |
DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>(); |
360 |
DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>(); |
DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>(); |
361 |
|
|
362 |
List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist(); |
List<ExtendedBean> extDao = db.getExtendedAdresslist(); |
363 |
for (ExtendedBean eb : extDao) { |
for (ExtendedBean eb : extDao) { |
364 |
|
|
365 |
Address orgAddress = idAddressMap.get(eb.orgId); |
Address orgAddress = idAddressMap.get(eb.orgId); |
433 |
System.out.println("Build, stage3 elapsed: " + (start4-start3) ); |
System.out.println("Build, stage3 elapsed: " + (start4-start3) ); |
434 |
System.out.println("Build -- stage 4 - 100pct"); |
System.out.println("Build -- stage 4 - 100pct"); |
435 |
|
|
436 |
Map<Short,HundredePctBean> hundredePct = DatabaseLayer.get100PctList(); |
Map<Short,HundredePctBean> hundredePct = db.get100PctList(); |
437 |
for (Address addr : alleAdresser) { |
for (Address addr : alleAdresser) { |
438 |
if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) { |
if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) { |
439 |
continue; |
continue; |
458 |
|
|
459 |
//////////////////////////////////////////////////////////////////////////////////// |
//////////////////////////////////////////////////////////////////////////////////// |
460 |
long stop = System.currentTimeMillis(); |
long stop = System.currentTimeMillis(); |
461 |
System.out.println("Build, stage3 elapsed: " + (stop-start4) ); |
System.out.println("Build, stage4 elapsed: " + (stop-start4) ); |
462 |
System.out.println("Build -- Gathering statistics"); |
System.out.println("Build -- Gathering statistics"); |
463 |
|
|
464 |
for (Address addr : alleAdresser) { |
for (Address addr : alleAdresser) { |
476 |
stats.ikkeDaekketCount++; |
stats.ikkeDaekketCount++; |
477 |
} |
} |
478 |
} |
} |
479 |
|
stats.totalCount = alleAdresser.size(); |
480 |
|
|
481 |
|
|
482 |
stats.elapsed = stop-start1; |
stats.elapsed = stop-start1; |
483 |
stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() ); |
stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() ); |
484 |
|
|
485 |
|
System.out.println("Build: totalCount: " + stats.totalCount); |
486 |
System.out.println("Build: direkteCount: " + stats.direkteCount); |
System.out.println("Build: direkteCount: " + stats.direkteCount); |
487 |
System.out.println("Build: extendedCount: " + stats.extendedCount); |
System.out.println("Build: extendedCount: " + stats.extendedCount); |
488 |
System.out.println("Build: hundredePctCount: " + stats.hundredePctCount); |
System.out.println("Build: hundredePctCount: " + stats.hundredePctCount); |
497 |
return stats; |
return stats; |
498 |
} |
} |
499 |
|
|
500 |
|
public DatabaseLayer getDatabaseLayer() { |
501 |
|
return db; |
502 |
|
} |
503 |
|
|
504 |
public void clear() { |
public void clear() { |
505 |
searchPostnrVejnavnGadeid.clear(); |
searchPostnrVejnavnGadeid.clear(); |
506 |
searchGadeidentAdresser.clear(); |
searchGadeidentAdresser.clear(); |
523 |
return ".." + targetAddress.rute; |
return ".." + targetAddress.rute; |
524 |
} else if (eb.afstand < 0.701) { |
} else if (eb.afstand < 0.701) { |
525 |
return "..." + targetAddress.rute; |
return "..." + targetAddress.rute; |
526 |
} else if (eb.afstand < 0.501) { |
} else if (eb.afstand < 1.001) { |
527 |
return "...." + targetAddress.rute; |
return "...." + targetAddress.rute; |
528 |
} |
} |
529 |
break; |
break; |
549 |
return "...." + targetAddress.rute; |
return "...." + targetAddress.rute; |
550 |
} |
} |
551 |
break; |
break; |
552 |
|
default: |
553 |
|
System.out.println("Ukendt transport type: " + eb ); |
554 |
} |
} |
555 |
return null; |
return null; |
556 |
} |
} |
566 |
return result; |
return result; |
567 |
} |
} |
568 |
|
|
569 |
|
public List<Address> get100PctAddresses() { |
570 |
|
List<Address> result = new ArrayList<Address>(120000); |
571 |
|
for (Address a : alleAdresser) { |
572 |
|
if ( a.daekningsType == DaekningsType.DAEKNING_100PCT) { |
573 |
|
result.add(a); |
574 |
|
} |
575 |
|
} |
576 |
|
Collections.sort(result ); |
577 |
|
return result; |
578 |
|
} |
579 |
|
|
580 |
/////////////////////////////////////////////////////////// |
/////////////////////////////////////////////////////////// |
581 |
private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) { |
private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) { |
582 |
String inject; |
String inject; |
615 |
aliasSet.add(vejnavn.replace("gl", "gammel") ); |
aliasSet.add(vejnavn.replace("gl", "gammel") ); |
616 |
aliasSet.add(vejnavn.replace("gammel", "gl") ); |
aliasSet.add(vejnavn.replace("gammel", "gl") ); |
617 |
|
|
618 |
|
aliasSet.add(vejnavn.replace("gl", "gamle") ); |
619 |
|
aliasSet.add(vejnavn.replace("gamle", "gl") ); |
620 |
|
|
621 |
aliasSet.add(vejnavn.replace("lille", "ll") ); |
aliasSet.add(vejnavn.replace("lille", "ll") ); |
622 |
aliasSet.add(vejnavn.replace("ll ", "lille") ); |
aliasSet.add(vejnavn.replace("ll ", "lille") ); |
623 |
aliasSet.add(vejnavn.replace("ll.", "lille") ); |
aliasSet.add(vejnavn.replace("ll.", "lille") ); |
627 |
aliasSet.add(vejnavn.replace("st.", "store") ); |
aliasSet.add(vejnavn.replace("st.", "store") ); |
628 |
|
|
629 |
aliasSet.add(vejnavn.replace("søndre", "sdr") ); |
aliasSet.add(vejnavn.replace("søndre", "sdr") ); |
630 |
aliasSet.add(vejnavn.replace("sdr", "søndre") ); |
aliasSet.add(vejnavn.replace("sdr", "søndre") ); |
631 |
|
aliasSet.add(vejnavn.replace("sønder", "sdr") ); |
632 |
|
aliasSet.add(vejnavn.replace("sdr", "sønder") ); |
633 |
|
|
634 |
|
|
635 |
aliasSet.add(vejnavn.replace("nørre", "nr") ); |
aliasSet.add(vejnavn.replace("nørre", "nr") ); |
665 |
aliasSet.add(vejnavn.replace("john", "j") ); |
aliasSet.add(vejnavn.replace("john", "j") ); |
666 |
aliasSet.add(vejnavn.replace("thomas", "th") ); |
aliasSet.add(vejnavn.replace("thomas", "th") ); |
667 |
aliasSet.add(vejnavn.replace("thorvald", "th") ); |
aliasSet.add(vejnavn.replace("thorvald", "th") ); |
668 |
|
aliasSet.add(vejnavn.replace("frederik", "fr") ); |
669 |
|
aliasSet.add(vejnavn.replace("frederiks", "fr") ); |
670 |
|
|
671 |
|
|
672 |
aliasSet.add(vejnavn.replace("christian", "chr") ); |
aliasSet.add(vejnavn.replace("christian", "chr") ); |
673 |
|
aliasSet.add(vejnavn.replace("christians", "chr") ); |
674 |
aliasSet.add(vejnavn.replace("kristian", "kr") ); |
aliasSet.add(vejnavn.replace("kristian", "kr") ); |
675 |
|
aliasSet.add(vejnavn.replace("kristians", "kr") ); |
676 |
|
|
677 |
|
aliasSet.add(vejnavn.replace("mylius", "myl") ); |
678 |
|
aliasSet.add(vejnavn.replace("myl", "mylius") ); |
679 |
|
|
680 |
|
|
681 |
// alternative stavninger |
// alternative stavninger |
735 |
|
|
736 |
aliasSet.add(vejnavn.replace("plads", "pl") ); |
aliasSet.add(vejnavn.replace("plads", "pl") ); |
737 |
aliasSet.add(vejnavn.replace("vænget", "vænge") ); |
aliasSet.add(vejnavn.replace("vænget", "vænge") ); |
738 |
|
|
739 |
|
aliasSet.add(vejnavn.replace("boulevard", "blvd") ); |
740 |
|
aliasSet.add(vejnavn.replace("blvd", "boulevard") ); |
741 |
|
|
742 |
|
aliasSet.add(vejnavn.replace("boulevard", "boule") ); |
743 |
|
aliasSet.add(vejnavn.replace("boule", "boulevard") ); |
744 |
|
|
745 |
|
aliasSet.add(vejnavn.replace("kronborg", "krbg") ); //Krbg ladegårdsvej, 3000 |
746 |
|
aliasSet.add(vejnavn.replace("krbg", "kronborg") ); |
747 |
|
|
748 |
// Opbyg æøå varianter over alle fundne aliaser |
// Opbyg æøå varianter over alle fundne aliaser |
749 |
|
|
792 |
|
|
793 |
public Set<Entry<String,Integer>> getVejnavne(short postnr) { |
public Set<Entry<String,Integer>> getVejnavne(short postnr) { |
794 |
Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr); |
Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr); |
795 |
TreeMap<String,Integer> newMap = new TreeMap<String,Integer>(); |
|
796 |
for (Entry<String,Integer> entry : map.entrySet() ) { |
TreeMap<String,Integer> newMap = new TreeMap<String,Integer>( map );//Lav et nyt TreeMap for at sikre sortering |
|
newMap.put(entry.getKey(), entry.getValue()); |
|
|
} |
|
797 |
|
|
798 |
return newMap.entrySet(); |
return newMap.entrySet(); |
799 |
} |
} |