27 |
import dk.daoas.daoadresseservice.beans.SearchResult; |
import dk.daoas.daoadresseservice.beans.SearchResult; |
28 |
import dk.daoas.daoadresseservice.beans.SearchResult.Status; |
import dk.daoas.daoadresseservice.beans.SearchResult.Status; |
29 |
import dk.daoas.daoadresseservice.db.DatabaseLayer; |
import dk.daoas.daoadresseservice.db.DatabaseLayer; |
30 |
|
import dk.daoas.daoadresseservice.util.DaoUtils; |
31 |
import dk.daoas.daoadresseservice.util.DeduplicateHelper; |
import dk.daoas.daoadresseservice.util.DeduplicateHelper; |
32 |
import dk.daoas.daoadresseservice.util.NaturalOrderComparator; |
import dk.daoas.daoadresseservice.util.NaturalOrderComparator; |
33 |
|
|
42 |
|
|
43 |
private DataStatisticsBean stats = new DataStatisticsBean(); |
private DataStatisticsBean stats = new DataStatisticsBean(); |
44 |
|
|
45 |
ServiceConfig config; |
private DatabaseLayer db; |
46 |
|
|
47 |
|
|
48 |
StreetnameHelper levenshteinHelper; |
StreetnameHelper levenshteinHelper; |
49 |
StreetnameHelper googleHelper; |
StreetnameHelper googleHelper; |
50 |
StreetnameHelper osmHelper; |
StreetnameHelper osmHelper; |
51 |
|
|
52 |
|
|
53 |
public AddressSearch(ServiceConfig config) { |
public AddressSearch(DatabaseLayer db, ServiceConfig config) { |
54 |
this.config = config; |
|
55 |
|
this.db = db; |
56 |
|
|
57 |
levenshteinHelper = new LevenshteinStreetnameHelper( this ); |
levenshteinHelper = new LevenshteinStreetnameHelper( this ); |
58 |
googleHelper = new GoogleStreetnameHelper( config ); |
googleHelper = new GoogleStreetnameHelper( config ); |
69 |
SearchRequest request = new SearchRequest(); |
SearchRequest request = new SearchRequest(); |
70 |
SearchResult result = new SearchResult(); |
SearchResult result = new SearchResult(); |
71 |
|
|
|
|
|
|
String helperSearchKey = ""; |
|
72 |
|
|
73 |
try { |
try { |
74 |
request.postnr = Short.parseShort(postnrStr); |
request.postnr = Short.parseShort(postnrStr); |
96 |
return result; |
return result; |
97 |
} |
} |
98 |
|
|
99 |
request.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
100 |
|
|
101 |
|
|
102 |
if (request.vasketVejnavn.indexOf("pakkebo") > -1 |
if (result.vasketVejnavn.indexOf("pakkebo") > -1 |
103 |
|| request.vasketVejnavn.indexOf("pakkepost") > -1 |
|| result.vasketVejnavn.indexOf("pakkepost") > -1 |
104 |
|| request.vasketVejnavn.indexOf("døgnpost") > -1 |
|| result.vasketVejnavn.indexOf("postbo") > -1 // postbox/postboks |
105 |
|| request.vasketVejnavn.indexOf("døgnbo") > -1 |
|| result.vasketVejnavn.indexOf("døgnpost") > -1 |
106 |
|| request.vasketVejnavn.equals("id") |
|| result.vasketVejnavn.indexOf("døgnbo") > -1 // døgnbox // døgnboks |
107 |
|
|| result.vasketVejnavn.equals("id") |
108 |
) { |
) { |
109 |
result.status = Status.ERROR_POSTBOX; |
result.status = Status.ERROR_POSTBOX; |
110 |
return result; |
return result; |
111 |
} |
} |
112 |
|
|
113 |
Integer gadeident = request.streetNames.get(request.vasketVejnavn); |
// LookupStreetname er en indkapsling af alm + levenstein + google + osm |
114 |
|
Integer gadeident = lookupStretname(request, result, true); |
115 |
|
|
|
if ( gadeident == null) { |
|
|
helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn; |
|
|
gadeident = helperCache.get(helperSearchKey); |
|
|
} |
|
116 |
|
|
117 |
|
/* |
118 |
|
* Hvis der ikke er direkte hits, prøver vi at skære ord af vejnavn |
119 |
|
* |
120 |
|
* <strike>Denne sektion er MEGET experimental da den øger antallet af kald til google/OSM væsentligt</strike>*/ |
121 |
if (gadeident == null) { |
if (gadeident == null) { |
122 |
String vej = levenshteinHelper.proposeStreetName(request, result); |
final int MAX_TRIES = 4; |
123 |
if (vej != null) { |
|
124 |
gadeident = request.streetNames.get(vej); |
String vejnavnParts[] = request.vejnavn.split(" "); |
125 |
} |
|
126 |
} |
for (int i=1; i<=MAX_TRIES && i<vejnavnParts.length; i++) { |
127 |
|
String subVejnavn = DaoUtils.joinHelper(vejnavnParts, i); |
128 |
|
|
129 |
// Brug OpenStreetMap før vi prøver google |
request.vejnavn = subVejnavn; |
130 |
// For google har en request limit, det har OSM ikke! |
result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
131 |
if ( gadeident == null) { |
|
132 |
String vej = osmHelper.proposeStreetName(request, result); |
gadeident = lookupStretname(request, result, false);//prøv opslag MEN UDEN GOOGLE/OSM !!! |
133 |
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
|
134 |
} |
//hvis vi fandt vejen ud fra substrengen |
135 |
|
if (gadeident != null) { |
136 |
if ( gadeident == null) { |
break; |
137 |
String vej = googleHelper.proposeStreetName(request, result); |
} |
138 |
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
|
139 |
|
//hvis vi ikke fandt kopierer vi vejnavn fra split igen |
140 |
|
request.vejnavn = result.splitResult.vej; |
141 |
|
result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
142 |
|
} |
143 |
} |
} |
144 |
|
|
145 |
|
|
189 |
|
|
190 |
return result; |
return result; |
191 |
} |
} |
192 |
|
|
193 |
|
|
194 |
|
private Integer lookupStretname(SearchRequest request, SearchResult result, boolean useExternal) { |
195 |
|
String helperSearchKey = ""; |
196 |
|
|
197 |
|
Integer gadeident = request.streetNames.get(result.vasketVejnavn); |
198 |
|
|
199 |
|
|
200 |
|
if ( gadeident == null) { |
201 |
|
helperSearchKey = "" + request.postnr + "/" + result.vasketVejnavn; |
202 |
|
gadeident = helperCache.get(helperSearchKey); |
203 |
|
} |
204 |
|
|
205 |
|
if (gadeident == null) { |
206 |
|
String vej = levenshteinHelper.proposeStreetName(request, result); |
207 |
|
if (vej != null) { |
208 |
|
gadeident = request.streetNames.get(vej); |
209 |
|
} |
210 |
|
} |
211 |
|
|
212 |
|
|
213 |
|
// Brug OpenStreetMap før vi prøver google |
214 |
|
// For google har en request limit, det har OSM ikke! |
215 |
|
if ( gadeident == null && useExternal) { |
216 |
|
String vej = osmHelper.proposeStreetName(request, result); |
217 |
|
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
218 |
|
} |
219 |
|
|
220 |
|
if ( gadeident == null && useExternal) { |
221 |
|
String vej = googleHelper.proposeStreetName(request, result); |
222 |
|
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
223 |
|
} |
224 |
|
return gadeident; |
225 |
|
} |
226 |
|
|
227 |
private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) { |
private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) { |
228 |
if (vej == null) |
if (vej == null) |
238 |
|
|
239 |
} |
} |
240 |
|
|
241 |
public Map<String,Integer> getStretsByPostal(int zip) { |
public Map<String,Integer> getStretsByPostal(short zip) { |
242 |
return searchPostnrVejnavnGadeid.get(zip); |
return searchPostnrVejnavnGadeid.get(zip); |
243 |
} |
} |
244 |
|
|
252 |
long start1 = System.currentTimeMillis(); |
long start1 = System.currentTimeMillis(); |
253 |
System.out.println("Build -- stage 1"); |
System.out.println("Build -- stage 1"); |
254 |
|
|
255 |
alleAdresser = DatabaseLayer.getAllAdresses(); |
alleAdresser = db.getAllAdresses(); |
256 |
|
|
257 |
|
|
258 |
/* Mapper mellem db Row ID og adresse noden */ |
/* Mapper mellem db Row ID og adresse noden */ |
303 |
System.out.println("Build -- stage 2 alias tabel"); |
System.out.println("Build -- stage 2 alias tabel"); |
304 |
|
|
305 |
int vaskCount = 0; |
int vaskCount = 0; |
306 |
List<AliasBean> aliasList = DatabaseLayer.getAliasList(); |
List<AliasBean> aliasList = db.getAliasList(); |
307 |
for (AliasBean alias : aliasList) { |
for (AliasBean alias : aliasList) { |
308 |
Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr); |
Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr); |
309 |
|
|
340 |
DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>(); |
DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>(); |
341 |
DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>(); |
DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>(); |
342 |
|
|
343 |
List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist(); |
List<ExtendedBean> extDao = db.getExtendedAdresslist(); |
344 |
for (ExtendedBean eb : extDao) { |
for (ExtendedBean eb : extDao) { |
345 |
|
|
346 |
Address orgAddress = idAddressMap.get(eb.orgId); |
Address orgAddress = idAddressMap.get(eb.orgId); |
397 |
orgAddress.dbkBane = targetAddress.dbkBane; |
orgAddress.dbkBane = targetAddress.dbkBane; |
398 |
|
|
399 |
/* Sådan gør den gamle service */ |
/* Sådan gør den gamle service */ |
400 |
orgAddress.kommunekode = targetAddress.kommunekode; |
/* 20150520 THN- hvis vi bibeholder de originale kommune+vejkoder kan vi bruge DAVID til join i databasen*/ |
401 |
orgAddress.vejkode = targetAddress.vejkode; |
//orgAddress.kommunekode = targetAddress.kommunekode; |
402 |
|
//orgAddress.vejkode = targetAddress.vejkode; |
403 |
|
|
404 |
|
|
405 |
orgAddress.distributor = targetAddress.distributor; |
orgAddress.distributor = targetAddress.distributor; |
406 |
} |
} |
414 |
System.out.println("Build, stage3 elapsed: " + (start4-start3) ); |
System.out.println("Build, stage3 elapsed: " + (start4-start3) ); |
415 |
System.out.println("Build -- stage 4 - 100pct"); |
System.out.println("Build -- stage 4 - 100pct"); |
416 |
|
|
417 |
Map<Short,HundredePctBean> hundredePct = DatabaseLayer.get100PctList(); |
Map<Short,HundredePctBean> hundredePct = db.get100PctList(); |
418 |
for (Address addr : alleAdresser) { |
for (Address addr : alleAdresser) { |
419 |
if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) { |
if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) { |
420 |
continue; |
continue; |
457 |
stats.ikkeDaekketCount++; |
stats.ikkeDaekketCount++; |
458 |
} |
} |
459 |
} |
} |
460 |
|
stats.totalCount = alleAdresser.size(); |
461 |
|
|
462 |
|
|
463 |
stats.elapsed = stop-start1; |
stats.elapsed = stop-start1; |
464 |
stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() ); |
stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() ); |
465 |
|
|
466 |
|
System.out.println("Build: totalCount: " + stats.totalCount); |
467 |
System.out.println("Build: direkteCount: " + stats.direkteCount); |
System.out.println("Build: direkteCount: " + stats.direkteCount); |
468 |
System.out.println("Build: extendedCount: " + stats.extendedCount); |
System.out.println("Build: extendedCount: " + stats.extendedCount); |
469 |
System.out.println("Build: hundredePctCount: " + stats.hundredePctCount); |
System.out.println("Build: hundredePctCount: " + stats.hundredePctCount); |
478 |
return stats; |
return stats; |
479 |
} |
} |
480 |
|
|
481 |
|
public DatabaseLayer getDatabaseLayer() { |
482 |
|
return db; |
483 |
|
} |
484 |
|
|
485 |
public void clear() { |
public void clear() { |
486 |
searchPostnrVejnavnGadeid.clear(); |
searchPostnrVejnavnGadeid.clear(); |
487 |
searchGadeidentAdresser.clear(); |
searchGadeidentAdresser.clear(); |
545 |
return result; |
return result; |
546 |
} |
} |
547 |
|
|
548 |
|
public List<Address> get100PctAddresses() { |
549 |
|
List<Address> result = new ArrayList<Address>(120000); |
550 |
|
for (Address a : alleAdresser) { |
551 |
|
if ( a.daekningsType == DaekningsType.DAEKNING_100PCT) { |
552 |
|
result.add(a); |
553 |
|
} |
554 |
|
} |
555 |
|
Collections.sort(result ); |
556 |
|
return result; |
557 |
|
} |
558 |
|
|
559 |
/////////////////////////////////////////////////////////// |
/////////////////////////////////////////////////////////// |
560 |
private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) { |
private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) { |
561 |
String inject; |
String inject; |
571 |
vejnavn = vejnavn.toLowerCase(); |
vejnavn = vejnavn.toLowerCase(); |
572 |
HashSet<String> aliasSet = new HashSet<String>(); |
HashSet<String> aliasSet = new HashSet<String>(); |
573 |
aliasSet.add(vejnavn); |
aliasSet.add(vejnavn); |
574 |
|
|
|
aliasSet.add(vejnavn.replace("u", "ü") ); |
|
|
aliasSet.add(vejnavn.replace("ü", "u") ); |
|
|
|
|
575 |
aliasSet.add(vejnavn.replace("alle", "allé") ); |
aliasSet.add(vejnavn.replace("alle", "allé") ); |
576 |
aliasSet.add(vejnavn.replace("allé", "alle") ); |
aliasSet.add(vejnavn.replace("allé", "alle") ); |
577 |
|
|
603 |
aliasSet.add(vejnavn.replace("st.", "store") ); |
aliasSet.add(vejnavn.replace("st.", "store") ); |
604 |
|
|
605 |
aliasSet.add(vejnavn.replace("søndre", "sdr") ); |
aliasSet.add(vejnavn.replace("søndre", "sdr") ); |
606 |
aliasSet.add(vejnavn.replace("sdr", "søndre") ); |
aliasSet.add(vejnavn.replace("sdr", "søndre") ); |
607 |
|
aliasSet.add(vejnavn.replace("sønder", "sdr") ); |
608 |
|
aliasSet.add(vejnavn.replace("sdr", "sønder") ); |
609 |
|
|
610 |
|
|
611 |
aliasSet.add(vejnavn.replace("nørre", "nr") ); |
aliasSet.add(vejnavn.replace("nørre", "nr") ); |
614 |
aliasSet.add(vejnavn.replace("nordre", "ndr") ); |
aliasSet.add(vejnavn.replace("nordre", "ndr") ); |
615 |
aliasSet.add(vejnavn.replace("ndr", "nordre") ); |
aliasSet.add(vejnavn.replace("ndr", "nordre") ); |
616 |
|
|
617 |
|
|
618 |
|
aliasSet.add(vejnavn.replace("vestre", "vester") ); |
619 |
|
aliasSet.add(vejnavn.replace("vester", "vestre") ); |
620 |
|
|
621 |
|
aliasSet.add(vejnavn.replace("søndre", "sønder") ); |
622 |
|
aliasSet.add(vejnavn.replace("sønder", "søndre") ); |
623 |
|
|
624 |
|
aliasSet.add(vejnavn.replace("østre", "øster") ); |
625 |
|
aliasSet.add(vejnavn.replace("øster", "østre") ); |
626 |
|
|
627 |
aliasSet.add(vejnavn.replace("borgmester", "borgm") ); |
aliasSet.add(vejnavn.replace("borgmester", "borgm") ); |
628 |
aliasSet.add(vejnavn.replace("borgm", "borgmester") ); |
aliasSet.add(vejnavn.replace("borgm", "borgmester") ); |
629 |
|
|
641 |
aliasSet.add(vejnavn.replace("john", "j") ); |
aliasSet.add(vejnavn.replace("john", "j") ); |
642 |
aliasSet.add(vejnavn.replace("thomas", "th") ); |
aliasSet.add(vejnavn.replace("thomas", "th") ); |
643 |
aliasSet.add(vejnavn.replace("thorvald", "th") ); |
aliasSet.add(vejnavn.replace("thorvald", "th") ); |
644 |
|
aliasSet.add(vejnavn.replace("frederik", "fr") ); |
645 |
|
aliasSet.add(vejnavn.replace("frederiks", "fr") ); |
646 |
|
|
647 |
|
|
648 |
aliasSet.add(vejnavn.replace("christian", "chr") ); |
aliasSet.add(vejnavn.replace("christian", "chr") ); |
649 |
|
aliasSet.add(vejnavn.replace("christians", "chr") ); |
650 |
aliasSet.add(vejnavn.replace("kristian", "kr") ); |
aliasSet.add(vejnavn.replace("kristian", "kr") ); |
651 |
|
aliasSet.add(vejnavn.replace("kristians", "kr") ); |
652 |
|
|
653 |
|
|
654 |
// alternative stavninger |
// alternative stavninger |
696 |
aliasSet.add(vejnavn.replace("vej", "vejen") ); |
aliasSet.add(vejnavn.replace("vej", "vejen") ); |
697 |
aliasSet.add(vejnavn.replace("vejen", "vej") ); |
aliasSet.add(vejnavn.replace("vejen", "vej") ); |
698 |
|
|
699 |
|
aliasSet.add(vejnavn.replace("v", "vej") );//Vi kan have vejnavne i DB der bare slutter på v istedet for vej |
700 |
|
|
701 |
aliasSet.add(vejnavn.replace("alle", "all") ); |
aliasSet.add(vejnavn.replace("alle", "all") ); |
702 |
aliasSet.add(vejnavn.replace("allé", "all") ); |
aliasSet.add(vejnavn.replace("allé", "all") ); |
703 |
aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo |
aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo |
708 |
|
|
709 |
aliasSet.add(vejnavn.replace("plads", "pl") ); |
aliasSet.add(vejnavn.replace("plads", "pl") ); |
710 |
aliasSet.add(vejnavn.replace("vænget", "vænge") ); |
aliasSet.add(vejnavn.replace("vænget", "vænge") ); |
711 |
|
|
712 |
|
aliasSet.add(vejnavn.replace("boulevard", "blvd") ); |
713 |
|
aliasSet.add(vejnavn.replace("blvd", "boulevard") ); |
714 |
|
|
715 |
|
aliasSet.add(vejnavn.replace("boulevard", "boule") ); |
716 |
|
aliasSet.add(vejnavn.replace("boule", "boulevard") ); |
717 |
|
|
718 |
|
aliasSet.add(vejnavn.replace("kronborg", "krbg") ); //Krbg ladegårdsvej, 3000 |
719 |
|
aliasSet.add(vejnavn.replace("krbg", "kronborg") ); |
720 |
|
|
721 |
// Opbyg æøå varianter over alle fundne aliaser |
// Opbyg æøå varianter over alle fundne aliaser |
722 |
|
|
743 |
//danske tegn 3 |
//danske tegn 3 |
744 |
aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") ); |
aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") ); |
745 |
aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") ); |
aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") ); |
746 |
|
|
747 |
|
|
748 |
|
//udenlandsketegn |
749 |
|
aliasSet.add(vejnavn.replace("u", "ü") ); |
750 |
|
aliasSet.add(vejnavn.replace("ü", "u") ); |
751 |
|
|
752 |
|
aliasSet.add(vejnavn.replace("ä", "æ") ); |
753 |
|
aliasSet.add(vejnavn.replace("æ", "ä") ); |
754 |
|
|
755 |
|
aliasSet.add(vejnavn.replace("ö", "ø") ); |
756 |
|
aliasSet.add(vejnavn.replace("ø", "ö") ); |
757 |
} |
} |
758 |
|
|
759 |
return aliasSet; |
return aliasSet; |
765 |
|
|
766 |
public Set<Entry<String,Integer>> getVejnavne(short postnr) { |
public Set<Entry<String,Integer>> getVejnavne(short postnr) { |
767 |
Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr); |
Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr); |
768 |
TreeMap<String,Integer> newMap = new TreeMap<String,Integer>(); |
|
769 |
for (Entry<String,Integer> entry : map.entrySet() ) { |
TreeMap<String,Integer> newMap = new TreeMap<String,Integer>( map );//Lav et nyt TreeMap for at sikre sortering |
|
newMap.put(entry.getKey(), entry.getValue()); |
|
|
} |
|
770 |
|
|
771 |
return newMap.entrySet(); |
return newMap.entrySet(); |
772 |
} |
} |