27 |
import dk.daoas.daoadresseservice.beans.SearchResult; |
import dk.daoas.daoadresseservice.beans.SearchResult; |
28 |
import dk.daoas.daoadresseservice.beans.SearchResult.Status; |
import dk.daoas.daoadresseservice.beans.SearchResult.Status; |
29 |
import dk.daoas.daoadresseservice.db.DatabaseLayer; |
import dk.daoas.daoadresseservice.db.DatabaseLayer; |
30 |
|
import dk.daoas.daoadresseservice.util.DaoUtils; |
31 |
import dk.daoas.daoadresseservice.util.DeduplicateHelper; |
import dk.daoas.daoadresseservice.util.DeduplicateHelper; |
32 |
import dk.daoas.daoadresseservice.util.NaturalOrderComparator; |
import dk.daoas.daoadresseservice.util.NaturalOrderComparator; |
33 |
|
|
42 |
|
|
43 |
private DataStatisticsBean stats = new DataStatisticsBean(); |
private DataStatisticsBean stats = new DataStatisticsBean(); |
44 |
|
|
45 |
ServiceConfig config; |
private DatabaseLayer db; |
46 |
|
|
47 |
|
|
48 |
StreetnameHelper levenshteinHelper; |
StreetnameHelper levenshteinHelper; |
49 |
StreetnameHelper googleHelper; |
StreetnameHelper googleHelper; |
50 |
StreetnameHelper osmHelper; |
StreetnameHelper osmHelper; |
51 |
|
|
52 |
|
|
53 |
public AddressSearch(ServiceConfig config) { |
public AddressSearch(DatabaseLayer db, ServiceConfig config) { |
54 |
this.config = config; |
|
55 |
|
this.db = db; |
56 |
|
|
57 |
levenshteinHelper = new LevenshteinStreetnameHelper( this ); |
levenshteinHelper = new LevenshteinStreetnameHelper( this ); |
58 |
googleHelper = new GoogleStreetnameHelper( config ); |
googleHelper = new GoogleStreetnameHelper( config ); |
59 |
osmHelper = new OSMStreetnameHelper( config ); |
osmHelper = new OSMStreetnameHelper( config ); |
60 |
} |
} |
61 |
|
|
62 |
|
public Address getAddressSafe(int gadeid, String husnr) throws Exception { |
63 |
|
|
64 |
|
Map<String,Address> gade = searchGadeidentAdresser.get(gadeid); |
65 |
|
|
66 |
|
if (gade == null) { |
67 |
|
throw new Exception("GadeID ikke fundet"); |
68 |
|
} |
69 |
|
|
70 |
|
Address addr = gade.get("husnr"); |
71 |
|
|
72 |
|
if (addr == null) { |
73 |
|
throw new Exception("Adresse ikke ikke fundet"); |
74 |
|
} |
75 |
|
|
76 |
|
return addr; |
77 |
|
} |
78 |
|
|
79 |
|
|
80 |
public SearchResult search(String postnrStr, String adresse) { |
public SearchResult search(String postnrStr, String adresse) { |
81 |
|
|
86 |
SearchRequest request = new SearchRequest(); |
SearchRequest request = new SearchRequest(); |
87 |
SearchResult result = new SearchResult(); |
SearchResult result = new SearchResult(); |
88 |
|
|
|
|
|
|
String helperSearchKey = ""; |
|
89 |
|
|
90 |
try { |
try { |
91 |
request.postnr = Short.parseShort(postnrStr); |
request.postnr = Short.parseShort(postnrStr); |
128 |
} |
} |
129 |
|
|
130 |
// LookupStreetname er en indkapsling af alm + levenstein + google + osm |
// LookupStreetname er en indkapsling af alm + levenstein + google + osm |
131 |
Integer gadeident = lookupStretname(request, result, helperSearchKey); |
Integer gadeident = lookupStretname(request, result, true); |
132 |
|
|
133 |
|
|
134 |
/* |
/* |
135 |
* Hvis der ikke er direkte hits, prøver vi at skære op til 3 ord vejnavn |
* Hvis der ikke er direkte hits, prøver vi at skære ord af vejnavn |
136 |
* |
* |
137 |
*Denne sektion er MEGET experimental da den øger antallet af kald til google/OSM væsentligt |
* <strike>Denne sektion er MEGET experimental da den øger antallet af kald til google/OSM væsentligt</strike>*/ |
138 |
if (gadeident == null) { |
if (gadeident == null) { |
139 |
|
final int MAX_TRIES = 4; |
140 |
|
|
141 |
String vejnavnParts[] = request.vejnavn.split(" "); |
String vejnavnParts[] = request.vejnavn.split(" "); |
142 |
|
|
143 |
for (int i=1; i<=3 && i<vejnavnParts.length; i++) { |
for (int i=1; i<=MAX_TRIES && i<vejnavnParts.length; i++) { |
144 |
String subVejnavn = DaoUtils.joinHelper(vejnavnParts, i); |
String subVejnavn = DaoUtils.joinHelper(vejnavnParts, i); |
145 |
|
|
146 |
request.vejnavn = subVejnavn; |
request.vejnavn = subVejnavn; |
147 |
result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
148 |
|
|
149 |
gadeident = lookupStretname(request, result, helperSearchKey); |
gadeident = lookupStretname(request, result, false);//prøv opslag MEN UDEN GOOGLE/OSM !!! |
150 |
|
|
151 |
//hvis vi fandt vejen ud fra substrengen |
//hvis vi fandt vejen ud fra substrengen |
152 |
if (gadeident != null) { |
if (gadeident != null) { |
157 |
request.vejnavn = result.splitResult.vej; |
request.vejnavn = result.splitResult.vej; |
158 |
result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
159 |
} |
} |
160 |
}*/ |
} |
161 |
|
|
162 |
|
|
163 |
|
|
208 |
} |
} |
209 |
|
|
210 |
|
|
211 |
private Integer lookupStretname(SearchRequest request, SearchResult result, String helperSearchKey) { |
private Integer lookupStretname(SearchRequest request, SearchResult result, boolean useExternal) { |
212 |
|
String helperSearchKey = ""; |
213 |
|
|
214 |
Integer gadeident = request.streetNames.get(result.vasketVejnavn); |
Integer gadeident = request.streetNames.get(result.vasketVejnavn); |
215 |
|
|
216 |
|
|
229 |
|
|
230 |
// Brug OpenStreetMap før vi prøver google |
// Brug OpenStreetMap før vi prøver google |
231 |
// For google har en request limit, det har OSM ikke! |
// For google har en request limit, det har OSM ikke! |
232 |
if ( gadeident == null) { |
if ( gadeident == null && useExternal) { |
233 |
String vej = osmHelper.proposeStreetName(request, result); |
String vej = osmHelper.proposeStreetName(request, result); |
234 |
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
235 |
} |
} |
236 |
|
|
237 |
if ( gadeident == null) { |
if ( gadeident == null && useExternal) { |
238 |
String vej = googleHelper.proposeStreetName(request, result); |
String vej = googleHelper.proposeStreetName(request, result); |
239 |
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
240 |
} |
} |
269 |
long start1 = System.currentTimeMillis(); |
long start1 = System.currentTimeMillis(); |
270 |
System.out.println("Build -- stage 1"); |
System.out.println("Build -- stage 1"); |
271 |
|
|
272 |
alleAdresser = DatabaseLayer.getAllAdresses(); |
alleAdresser = db.getAllAdresses(); |
273 |
|
|
274 |
|
|
275 |
/* Mapper mellem db Row ID og adresse noden */ |
/* Mapper mellem db Row ID og adresse noden */ |
320 |
System.out.println("Build -- stage 2 alias tabel"); |
System.out.println("Build -- stage 2 alias tabel"); |
321 |
|
|
322 |
int vaskCount = 0; |
int vaskCount = 0; |
323 |
List<AliasBean> aliasList = DatabaseLayer.getAliasList(); |
List<AliasBean> aliasList = db.getAliasList(); |
324 |
for (AliasBean alias : aliasList) { |
for (AliasBean alias : aliasList) { |
325 |
Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr); |
Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr); |
326 |
|
|
357 |
DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>(); |
DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>(); |
358 |
DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>(); |
DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>(); |
359 |
|
|
360 |
List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist(); |
List<ExtendedBean> extDao = db.getExtendedAdresslist(); |
361 |
for (ExtendedBean eb : extDao) { |
for (ExtendedBean eb : extDao) { |
362 |
|
|
363 |
Address orgAddress = idAddressMap.get(eb.orgId); |
Address orgAddress = idAddressMap.get(eb.orgId); |
431 |
System.out.println("Build, stage3 elapsed: " + (start4-start3) ); |
System.out.println("Build, stage3 elapsed: " + (start4-start3) ); |
432 |
System.out.println("Build -- stage 4 - 100pct"); |
System.out.println("Build -- stage 4 - 100pct"); |
433 |
|
|
434 |
Map<Short,HundredePctBean> hundredePct = DatabaseLayer.get100PctList(); |
Map<Short,HundredePctBean> hundredePct = db.get100PctList(); |
435 |
for (Address addr : alleAdresser) { |
for (Address addr : alleAdresser) { |
436 |
if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) { |
if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) { |
437 |
continue; |
continue; |
474 |
stats.ikkeDaekketCount++; |
stats.ikkeDaekketCount++; |
475 |
} |
} |
476 |
} |
} |
477 |
|
stats.totalCount = alleAdresser.size(); |
478 |
|
|
479 |
|
|
480 |
stats.elapsed = stop-start1; |
stats.elapsed = stop-start1; |
481 |
stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() ); |
stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() ); |
482 |
|
|
483 |
|
System.out.println("Build: totalCount: " + stats.totalCount); |
484 |
System.out.println("Build: direkteCount: " + stats.direkteCount); |
System.out.println("Build: direkteCount: " + stats.direkteCount); |
485 |
System.out.println("Build: extendedCount: " + stats.extendedCount); |
System.out.println("Build: extendedCount: " + stats.extendedCount); |
486 |
System.out.println("Build: hundredePctCount: " + stats.hundredePctCount); |
System.out.println("Build: hundredePctCount: " + stats.hundredePctCount); |
495 |
return stats; |
return stats; |
496 |
} |
} |
497 |
|
|
498 |
|
public DatabaseLayer getDatabaseLayer() { |
499 |
|
return db; |
500 |
|
} |
501 |
|
|
502 |
public void clear() { |
public void clear() { |
503 |
searchPostnrVejnavnGadeid.clear(); |
searchPostnrVejnavnGadeid.clear(); |
504 |
searchGadeidentAdresser.clear(); |
searchGadeidentAdresser.clear(); |
562 |
return result; |
return result; |
563 |
} |
} |
564 |
|
|
565 |
|
public List<Address> get100PctAddresses() { |
566 |
|
List<Address> result = new ArrayList<Address>(120000); |
567 |
|
for (Address a : alleAdresser) { |
568 |
|
if ( a.daekningsType == DaekningsType.DAEKNING_100PCT) { |
569 |
|
result.add(a); |
570 |
|
} |
571 |
|
} |
572 |
|
Collections.sort(result ); |
573 |
|
return result; |
574 |
|
} |
575 |
|
|
576 |
/////////////////////////////////////////////////////////// |
/////////////////////////////////////////////////////////// |
577 |
private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) { |
private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) { |
578 |
String inject; |
String inject; |
620 |
aliasSet.add(vejnavn.replace("st.", "store") ); |
aliasSet.add(vejnavn.replace("st.", "store") ); |
621 |
|
|
622 |
aliasSet.add(vejnavn.replace("søndre", "sdr") ); |
aliasSet.add(vejnavn.replace("søndre", "sdr") ); |
623 |
aliasSet.add(vejnavn.replace("sdr", "søndre") ); |
aliasSet.add(vejnavn.replace("sdr", "søndre") ); |
624 |
|
aliasSet.add(vejnavn.replace("sønder", "sdr") ); |
625 |
|
aliasSet.add(vejnavn.replace("sdr", "sønder") ); |
626 |
|
|
627 |
|
|
628 |
aliasSet.add(vejnavn.replace("nørre", "nr") ); |
aliasSet.add(vejnavn.replace("nørre", "nr") ); |
658 |
aliasSet.add(vejnavn.replace("john", "j") ); |
aliasSet.add(vejnavn.replace("john", "j") ); |
659 |
aliasSet.add(vejnavn.replace("thomas", "th") ); |
aliasSet.add(vejnavn.replace("thomas", "th") ); |
660 |
aliasSet.add(vejnavn.replace("thorvald", "th") ); |
aliasSet.add(vejnavn.replace("thorvald", "th") ); |
661 |
|
aliasSet.add(vejnavn.replace("frederik", "fr") ); |
662 |
|
aliasSet.add(vejnavn.replace("frederiks", "fr") ); |
663 |
|
|
664 |
|
|
665 |
aliasSet.add(vejnavn.replace("christian", "chr") ); |
aliasSet.add(vejnavn.replace("christian", "chr") ); |
666 |
|
aliasSet.add(vejnavn.replace("christians", "chr") ); |
667 |
aliasSet.add(vejnavn.replace("kristian", "kr") ); |
aliasSet.add(vejnavn.replace("kristian", "kr") ); |
668 |
|
aliasSet.add(vejnavn.replace("kristians", "kr") ); |
669 |
|
|
670 |
|
aliasSet.add(vejnavn.replace("mylius", "myl") ); |
671 |
|
aliasSet.add(vejnavn.replace("myl", "mylius") ); |
672 |
|
|
673 |
|
|
674 |
// alternative stavninger |
// alternative stavninger |
728 |
|
|
729 |
aliasSet.add(vejnavn.replace("plads", "pl") ); |
aliasSet.add(vejnavn.replace("plads", "pl") ); |
730 |
aliasSet.add(vejnavn.replace("vænget", "vænge") ); |
aliasSet.add(vejnavn.replace("vænget", "vænge") ); |
731 |
|
|
732 |
|
aliasSet.add(vejnavn.replace("boulevard", "blvd") ); |
733 |
|
aliasSet.add(vejnavn.replace("blvd", "boulevard") ); |
734 |
|
|
735 |
|
aliasSet.add(vejnavn.replace("boulevard", "boule") ); |
736 |
|
aliasSet.add(vejnavn.replace("boule", "boulevard") ); |
737 |
|
|
738 |
|
aliasSet.add(vejnavn.replace("kronborg", "krbg") ); //Krbg ladegårdsvej, 3000 |
739 |
|
aliasSet.add(vejnavn.replace("krbg", "kronborg") ); |
740 |
|
|
741 |
// Opbyg æøå varianter over alle fundne aliaser |
// Opbyg æøå varianter over alle fundne aliaser |
742 |
|
|
785 |
|
|
786 |
public Set<Entry<String,Integer>> getVejnavne(short postnr) { |
public Set<Entry<String,Integer>> getVejnavne(short postnr) { |
787 |
Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr); |
Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr); |
788 |
TreeMap<String,Integer> newMap = new TreeMap<String,Integer>(); |
|
789 |
for (Entry<String,Integer> entry : map.entrySet() ) { |
TreeMap<String,Integer> newMap = new TreeMap<String,Integer>( map );//Lav et nyt TreeMap for at sikre sortering |
|
newMap.put(entry.getKey(), entry.getValue()); |
|
|
} |
|
790 |
|
|
791 |
return newMap.entrySet(); |
return newMap.entrySet(); |
792 |
} |
} |