1 |
package dk.daoas.daoadresseservice; |
package dk.daoas.daoadresseservice; |
2 |
|
|
3 |
import java.sql.SQLException; |
import java.sql.SQLException; |
4 |
|
import java.text.SimpleDateFormat; |
5 |
import java.util.ArrayList; |
import java.util.ArrayList; |
6 |
import java.util.Collections; |
import java.util.Collections; |
7 |
|
import java.util.Date; |
8 |
import java.util.HashMap; |
import java.util.HashMap; |
9 |
import java.util.HashSet; |
import java.util.HashSet; |
10 |
import java.util.List; |
import java.util.List; |
12 |
import java.util.Set; |
import java.util.Set; |
13 |
import java.util.concurrent.ConcurrentHashMap; |
import java.util.concurrent.ConcurrentHashMap; |
14 |
|
|
15 |
import dk.daoas.daoadresseservice.AddressUtils.SplitResult; |
import org.apache.commons.lang3.StringUtils; |
16 |
|
|
17 |
|
import dk.daoas.daoadresseservice.admin.ServiceConfig; |
18 |
import dk.daoas.daoadresseservice.beans.Address; |
import dk.daoas.daoadresseservice.beans.Address; |
19 |
|
import dk.daoas.daoadresseservice.beans.AliasBean; |
20 |
import dk.daoas.daoadresseservice.beans.DataStatisticsBean; |
import dk.daoas.daoadresseservice.beans.DataStatisticsBean; |
21 |
import dk.daoas.daoadresseservice.beans.ExtendedBean; |
import dk.daoas.daoadresseservice.beans.ExtendedBean; |
22 |
import dk.daoas.daoadresseservice.beans.HundredePctBean; |
import dk.daoas.daoadresseservice.beans.HundredePctBean; |
23 |
|
import dk.daoas.daoadresseservice.beans.SearchRequest; |
24 |
import dk.daoas.daoadresseservice.beans.SearchResult; |
import dk.daoas.daoadresseservice.beans.SearchResult; |
25 |
import dk.daoas.daoadresseservice.beans.SearchResult.Status; |
import dk.daoas.daoadresseservice.beans.SearchResult.Status; |
26 |
import dk.daoas.daoadresseservice.db.DatabaseLayer; |
import dk.daoas.daoadresseservice.db.DatabaseLayer; |
27 |
|
|
28 |
public class AdressSearch { |
public class AddressSearch { |
29 |
|
|
30 |
private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid; |
private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid; |
31 |
private Map<Long, Map<String,Address>> searchGadeidentAdresser; |
private Map<Long, Map<String,Address>> searchGadeidentAdresser; |
34 |
|
|
35 |
private Map<String,Long> helperCache; |
private Map<String,Long> helperCache; |
36 |
|
|
37 |
private DataStatisticsBean stats = new DataStatisticsBean(); |
private DataStatisticsBean stats = new DataStatisticsBean(); |
38 |
|
|
39 |
|
ServiceConfig config; |
40 |
|
|
41 |
|
StreetnameHelper levenshteinHelper; |
42 |
|
StreetnameHelper googleHelper; |
43 |
|
StreetnameHelper osmHelper; |
44 |
|
|
45 |
|
|
46 |
|
public AddressSearch(ServiceConfig config) { |
47 |
|
this.config = config; |
48 |
|
|
49 |
|
levenshteinHelper = new LevenshteinStreetnameHelper( this ); |
50 |
|
googleHelper = new GoogleStreetnameHelper( config ); |
51 |
|
osmHelper = new OSMStreetnameHelper( config ); |
52 |
|
} |
53 |
|
|
54 |
|
|
55 |
public SearchResult search(String postnrStr, String adresse) { |
public SearchResult search(String postnrStr, String adresse) { |
56 |
|
SearchRequest request = new SearchRequest(); |
57 |
|
SearchResult result = new SearchResult(); |
58 |
|
|
59 |
int postnr=0; |
|
|
boolean google = false; |
|
|
boolean osm = false; |
|
60 |
String helperSearchKey = ""; |
String helperSearchKey = ""; |
61 |
|
|
62 |
try { |
try { |
63 |
postnr = Integer.parseInt(postnrStr); |
request.postnr = Integer.parseInt(postnrStr); |
64 |
} catch (Exception E) { |
} catch (Exception E) { |
65 |
return new SearchResult(Status.ERROR_UNKNOWN_POSTAL); |
result.status = Status.ERROR_UNKNOWN_POSTAL; |
66 |
|
return result; |
67 |
} |
} |
68 |
|
|
69 |
Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(postnr); |
; |
70 |
|
|
71 |
|
request.streetNames = searchPostnrVejnavnGadeid.get(request.postnr); |
72 |
|
|
73 |
if (postnrVeje == null) { |
if (request.streetNames == null) { |
74 |
return new SearchResult(Status.ERROR_UNKNOWN_POSTAL); |
result.status = Status.ERROR_UNKNOWN_POSTAL; |
75 |
|
return result; |
76 |
} |
} |
77 |
|
|
78 |
|
|
79 |
SplitResult split = AddressUtils.splitAdresse(adresse); |
result.splitResult = AddressUtils.splitAdresse(adresse); |
80 |
String vasketVejnavn = AddressUtils.vaskVejnavn( split.vej ); |
request.vejnavn = result.splitResult.vej; |
81 |
|
|
82 |
if (split.husnr.length() == 0) { |
|
83 |
return new SearchResult(Status.ERROR_MISSING_HOUSENUMBER); |
|
84 |
|
if (result.splitResult.husnr.length() == 0) { |
85 |
|
result.status = Status.ERROR_MISSING_HOUSENUMBER; |
86 |
|
return result; |
87 |
} |
} |
88 |
|
|
89 |
Long gadeident = postnrVeje.get(vasketVejnavn); |
request.vasketVejnavn = AddressUtils.vaskVejnavn( result.splitResult.vej ); |
90 |
|
|
91 |
|
Long gadeident = request.streetNames.get(request.vasketVejnavn); |
92 |
|
|
93 |
|
|
94 |
if ( gadeident == null) { |
if ( gadeident == null) { |
95 |
helperSearchKey = "" + postnr + "/" + vasketVejnavn; |
helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn; |
96 |
gadeident = helperCache.get(helperSearchKey); |
gadeident = helperCache.get(helperSearchKey); |
97 |
} |
} |
98 |
|
|
99 |
|
if (gadeident == null) { |
100 |
|
String vej = levenshteinHelper.proposeStreetName(request, result); |
101 |
|
if (vej != null) { |
102 |
|
gadeident = request.streetNames.get(vej); |
103 |
|
} |
104 |
|
} |
105 |
|
|
106 |
|
|
107 |
|
// Brug OpenStreetMap før vi prøver google |
108 |
|
// For google har en request limit, det har OSM ikke! |
109 |
if ( gadeident == null) { |
if ( gadeident == null) { |
110 |
String googleVej = GeocodeHelper.googleHelper(postnr, split.vej ); |
String vej = osmHelper.proposeStreetName(request, result); |
111 |
google = true; |
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
|
|
|
|
if (googleVej != null) { |
|
|
String googleVasket = AddressUtils.vaskVejnavn( googleVej ); |
|
|
gadeident = postnrVeje.get(googleVasket); |
|
|
|
|
|
if (gadeident != null) { |
|
|
helperCache.put(helperSearchKey, gadeident); |
|
|
} |
|
|
} |
|
112 |
} |
} |
113 |
|
|
114 |
if ( gadeident == null) { |
if ( gadeident == null) { |
115 |
String osmVej = GeocodeHelper.openstreetmapHelper(postnr, split.vej ); |
String vej = googleHelper.proposeStreetName(request, result); |
116 |
osm = true; |
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
|
|
|
|
if (osmVej != null) { |
|
|
String osmVasket = AddressUtils.vaskVejnavn( osmVej ); |
|
|
gadeident = postnrVeje.get(osmVasket); |
|
|
|
|
|
if (gadeident != null) { |
|
|
helperCache.put(helperSearchKey, gadeident); |
|
|
} |
|
|
} |
|
117 |
} |
} |
118 |
|
|
119 |
if (gadeident == null) { |
|
120 |
return new SearchResult(Status.ERROR_UNKNOWN_STREETNAME); |
|
121 |
|
if (gadeident == null) { |
122 |
|
result.status = Status.ERROR_UNKNOWN_STREETNAME; |
123 |
|
return result; |
124 |
|
} |
125 |
|
|
126 |
|
result.gadeident = gadeident; |
127 |
|
|
128 |
|
|
129 |
|
Map<String, Address> gade = searchGadeidentAdresser.get(gadeident); |
130 |
|
if (gade == null) { //Denne søgning må ikke fejle |
131 |
|
result.status = Status.ERROR_INTERNAL; |
132 |
|
return result; |
133 |
} |
} |
134 |
|
|
|
Map<String, Address> gade = searchGadeidentAdresser.get(gadeident); //Denne søgning må ikke fejle |
|
135 |
|
|
136 |
|
//Kunne evt klares med Iterables.get fra Guava/Collections |
137 |
|
Address firstAddress = gade.values().iterator().next(); |
138 |
|
result.vej = firstAddress.vejnavn; |
139 |
|
|
140 |
String husnrSearch = "" + split.husnr + split.litra; |
String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra; |
141 |
Address addr = gade.get(husnrSearch); |
Address addr = gade.get(husnrSearch); |
142 |
|
|
143 |
if (addr == null) { |
if (addr == null) { |
144 |
return new SearchResult(Status.ERROR_UNKNOWN_ADDRESSPOINT); |
result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT; |
145 |
|
return result; |
146 |
} |
} |
147 |
|
|
148 |
|
result.address = addr; |
149 |
|
|
150 |
|
|
151 |
|
if ( StringUtils.equals(addr.distributor, "LUKKET") ) { |
152 |
|
result.status = Status.STATUS_NOT_COVERED; //Skal vi have en special status til Lukkede adresser ? |
153 |
|
return result; |
154 |
|
} |
155 |
|
|
156 |
if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) { |
if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) { |
157 |
return new SearchResult(Status.STATUS_NOT_COVERED); |
result.status = Status.STATUS_NOT_COVERED; |
158 |
|
return result; |
159 |
} |
} |
160 |
|
|
161 |
|
|
162 |
if (addr.distributor.equals("LUKKET")) { |
result.status = Status.STATUS_OK; |
163 |
return new SearchResult(Status.STATUS_NOT_COVERED); //Skal vi have en special status til Lukkede adresser ? |
|
164 |
} |
return result; |
165 |
|
} |
166 |
|
|
167 |
|
private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) { |
168 |
|
if (vej == null) |
169 |
|
return null; |
170 |
|
|
171 |
|
String vejVasket = AddressUtils.vaskVejnavn( vej ); |
172 |
|
Long gadeident = postnrVeje.get(vejVasket); |
173 |
|
|
174 |
|
if (gadeident != null) { |
175 |
|
helperCache.put(helperSearchKey, gadeident); |
176 |
|
} |
177 |
|
return gadeident; |
178 |
|
|
|
SearchResult res = new SearchResult(addr); |
|
|
res.google = google; |
|
|
res.osm = osm; |
|
|
return res; |
|
179 |
} |
} |
180 |
|
|
181 |
|
public Map<String,Long> getStretsByPostal(int zip) { |
182 |
|
return searchPostnrVejnavnGadeid.get(zip); |
183 |
|
} |
184 |
|
|
185 |
|
|
186 |
|
|
187 |
public void buildSearchStructures() throws SQLException{ |
public void buildSearchStructures() throws SQLException{ |
188 |
searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>(); |
searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>(); |
210 |
|
|
211 |
String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn); |
String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn); |
212 |
Long gadeident = postnrVeje.get(vasketVejnavn); |
Long gadeident = postnrVeje.get(vasketVejnavn); |
213 |
if (gadeident == null) { |
if (gadeident == null) { |
214 |
//postnrVeje.put(vasketVejnavn, a.gadeid); |
//postnrVeje.put(vasketVejnavn, a.gadeid); |
215 |
|
|
216 |
|
gadeident = a.gadeid; |
217 |
|
|
218 |
Set<String> aliaser = findVejAliaser(a.vejnavn); |
Set<String> aliaser = findVejAliaser(a.vejnavn); |
219 |
for(String alias : aliaser) { |
for(String alias : aliaser) { |
220 |
String vasketAlias = AddressUtils.vaskVejnavn(alias); |
String vasketAlias = AddressUtils.vaskVejnavn(alias); |
221 |
postnrVeje.put(vasketAlias, a.gadeid); |
postnrVeje.put(vasketAlias, gadeident); |
222 |
} |
} |
|
|
|
223 |
} |
} |
224 |
|
|
225 |
Map<String, Address> gade = searchGadeidentAdresser.get(a.gadeid); |
Map<String, Address> gade = searchGadeidentAdresser.get(gadeident); |
226 |
if (gade == null) { |
if (gade == null) { |
227 |
gade = new HashMap<String, Address>(); |
gade = new HashMap<String, Address>(); |
228 |
searchGadeidentAdresser.put(a.gadeid, gade); |
searchGadeidentAdresser.put(gadeident, gade); |
229 |
} |
} |
230 |
String husnrSearch = "" + a.husnr + a.husnrbogstav; |
String husnrSearch = "" + a.husnr + a.husnrbogstav; |
231 |
gade.put(husnrSearch, a); |
gade.put(husnrSearch, a); |
232 |
} |
} |
233 |
|
|
|
|
|
234 |
//////////////////////////////////////////////////////////////////////////////////////// |
//////////////////////////////////////////////////////////////////////////////////////// |
235 |
long start2 = System.currentTimeMillis(); |
long start2 = System.currentTimeMillis(); |
236 |
System.out.println("Build, stage1 elapsed: " + (start2-start1) ); |
System.out.println("Build, stage1 elapsed: " + (start2-start1) ); |
237 |
System.out.println("Build -- stage 2 udvidet dækning"); |
System.out.println("Build -- stage 2 alias tabel"); |
238 |
|
|
239 |
|
int vaskCount = 0; |
240 |
|
List<AliasBean> aliasList = DatabaseLayer.getAliasList(); |
241 |
|
for (AliasBean alias : aliasList) { |
242 |
|
Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr); |
243 |
|
|
244 |
|
if (postnrVeje == null) { |
245 |
|
//Burde ikke kunne ske - men better safe than sorry |
246 |
|
continue; |
247 |
|
} |
248 |
|
|
249 |
|
String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn); |
250 |
|
String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn); |
251 |
|
|
252 |
|
Long gadeident = postnrVeje.get(vasketVej); |
253 |
|
if (gadeident == null) { |
254 |
|
//Kender ikke den oprindelige vej |
255 |
|
continue; |
256 |
|
} |
257 |
|
|
258 |
|
Long aliasIdent = postnrVeje.get(vasketAlias); |
259 |
|
|
260 |
|
if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet |
261 |
|
postnrVeje.put(vasketAlias, gadeident); |
262 |
|
vaskCount++; |
263 |
|
} |
264 |
|
|
265 |
|
} |
266 |
|
System.out.println("Anvendte " + vaskCount + " aliaser fra databasen"); |
267 |
|
|
268 |
|
|
269 |
|
//////////////////////////////////////////////////////////////////////////////////////// |
270 |
|
long start3 = System.currentTimeMillis(); |
271 |
|
System.out.println("Build, stage2 elapsed: " + (start3-start2) ); |
272 |
|
System.out.println("Build -- stage 3 udvidet dækning"); |
273 |
|
|
274 |
List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist(); |
List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist(); |
275 |
for (ExtendedBean eb : extDao) { |
for (ExtendedBean eb : extDao) { |
326 |
idAddressMap = null; |
idAddressMap = null; |
327 |
|
|
328 |
////////////////////////////////////////////////////////////////////////////////////// |
////////////////////////////////////////////////////////////////////////////////////// |
329 |
long start3 = System.currentTimeMillis(); |
long start4 = System.currentTimeMillis(); |
330 |
System.out.println("Build, stage2 elapsed: " + (start3-start2) ); |
System.out.println("Build, stage3 elapsed: " + (start4-start3) ); |
331 |
System.out.println("Build -- stage 3 - 100pct"); |
System.out.println("Build -- stage 4 - 100pct"); |
332 |
|
|
333 |
Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList(); |
Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList(); |
334 |
for (Address addr : alleAdresser) { |
for (Address addr : alleAdresser) { |
355 |
|
|
356 |
//////////////////////////////////////////////////////////////////////////////////// |
//////////////////////////////////////////////////////////////////////////////////// |
357 |
long stop = System.currentTimeMillis(); |
long stop = System.currentTimeMillis(); |
358 |
System.out.println("Build, stage3 elapsed: " + (stop-start3) ); |
System.out.println("Build, stage3 elapsed: " + (stop-start4) ); |
359 |
System.out.println("Build -- Gathering statistics"); |
System.out.println("Build -- Gathering statistics"); |
360 |
|
|
361 |
for (Address addr : alleAdresser) { |
for (Address addr : alleAdresser) { |
372 |
default: |
default: |
373 |
stats.ikkeDaekketCount++; |
stats.ikkeDaekketCount++; |
374 |
} |
} |
375 |
} |
} |
376 |
|
|
377 |
|
|
378 |
|
stats.elapsed = stop-start1; |
379 |
|
stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() ); |
380 |
|
|
381 |
System.out.println("Build: direkteCount: " + stats.direkteCount); |
System.out.println("Build: direkteCount: " + stats.direkteCount); |
382 |
System.out.println("Build: extendedCount: " + stats.extendedCount); |
System.out.println("Build: extendedCount: " + stats.extendedCount); |
478 |
aliasSet.add(vejnavn.replace("dr.", "dronningens") ); |
aliasSet.add(vejnavn.replace("dr.", "dronningens") ); |
479 |
aliasSet.add(vejnavn.replace("dr ", "dronningens") ); |
aliasSet.add(vejnavn.replace("dr ", "dronningens") ); |
480 |
|
|
481 |
|
aliasSet.add(vejnavn.replace("dronning", "dr") ); |
482 |
|
aliasSet.add(vejnavn.replace("dr.", "dronning") ); |
483 |
|
aliasSet.add(vejnavn.replace("dr ", "dronning") ); |
484 |
|
|
485 |
|
aliasSet.add(vejnavn.replace("kng", "kongen") ); |
486 |
|
aliasSet.add(vejnavn.replace("kongen", "kng") ); |
487 |
|
|
488 |
aliasSet.add(vejnavn.replace("kvt", "kvarter") ); |
aliasSet.add(vejnavn.replace("kvt", "kvarter") ); |
489 |
aliasSet.add(vejnavn.replace("kvarter", "kvt") ); |
aliasSet.add(vejnavn.replace("kvarter", "kvt") ); |
490 |
|
|
514 |
aliasSet.add(vejnavn.replace("skt", "sankt") ); |
aliasSet.add(vejnavn.replace("skt", "sankt") ); |
515 |
|
|
516 |
aliasSet.add(vejnavn.replace("skt", "sct") ); |
aliasSet.add(vejnavn.replace("skt", "sct") ); |
517 |
aliasSet.add(vejnavn.replace("sct", "skt") ); |
aliasSet.add(vejnavn.replace("sct", "skt") ); |
518 |
|
|
519 |
|
|
520 |
|
// fornavn forkortelser |
521 |
|
aliasSet.add(vejnavn.replace("john", "j") ); |
522 |
|
aliasSet.add(vejnavn.replace("thomas", "th") ); |
523 |
|
aliasSet.add(vejnavn.replace("thorvald", "th") ); |
524 |
|
|
525 |
|
|
526 |
|
// Romertal |
527 |
|
aliasSet.add(vejnavn.replace("1", "i") ); |
528 |
|
aliasSet.add(vejnavn.replace("i", "1") ); |
529 |
|
|
530 |
|
aliasSet.add(vejnavn.replace("2", "ii") ); |
531 |
|
aliasSet.add(vejnavn.replace("ii", "2") ); |
532 |
|
|
533 |
|
aliasSet.add(vejnavn.replace("3", "iii") ); |
534 |
|
aliasSet.add(vejnavn.replace("iii", "3") ); |
535 |
|
|
536 |
|
aliasSet.add(vejnavn.replace("4", "iv") ); |
537 |
|
aliasSet.add(vejnavn.replace("iv", "4") ); |
538 |
|
|
539 |
|
aliasSet.add(vejnavn.replace("5", "v") ); |
540 |
|
aliasSet.add(vejnavn.replace("v", "5") ); |
541 |
|
|
542 |
|
aliasSet.add(vejnavn.replace("6", "vi") ); |
543 |
|
aliasSet.add(vejnavn.replace("vi", "6") ); |
544 |
|
|
545 |
|
aliasSet.add(vejnavn.replace("7", "vii") ); |
546 |
|
aliasSet.add(vejnavn.replace("vii", "7") ); |
547 |
|
|
548 |
|
aliasSet.add(vejnavn.replace("8", "viii") ); |
549 |
|
aliasSet.add(vejnavn.replace("viii", "8") ); |
550 |
|
|
551 |
|
aliasSet.add(vejnavn.replace("9", "ix") ); |
552 |
|
aliasSet.add(vejnavn.replace("ix", "9") ); |
553 |
|
|
554 |
|
aliasSet.add(vejnavn.replace("10", "x") ); |
555 |
|
aliasSet.add(vejnavn.replace("x", "10") ); |
556 |
|
|
557 |
|
|
558 |
|
//alternative måder at stave vej/gade/alle |
559 |
|
aliasSet.add(vejnavn.replace("vej", "ve") ); |
560 |
|
aliasSet.add(vejnavn.replace("vej", "vj") ); |
561 |
|
aliasSet.add(vejnavn.replace("vej", "v") ); |
562 |
|
aliasSet.add(vejnavn.replace("vej", "vejen") ); |
563 |
|
aliasSet.add(vejnavn.replace("vejen", "vej") ); |
564 |
|
|
565 |
|
aliasSet.add(vejnavn.replace("alle", "all") ); |
566 |
|
aliasSet.add(vejnavn.replace("allé", "all") ); |
567 |
|
aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo |
568 |
|
aliasSet.add(vejnavn.replace("allé", "allú") ); |
569 |
|
|
570 |
|
aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo |
571 |
|
|
572 |
|
aliasSet.add(vejnavn.replace("plads", "pl") ); |
573 |
|
aliasSet.add(vejnavn.replace("vænget", "vænge") ); |
574 |
|
|
575 |
|
|
576 |
// Opbyg æøå varianter over alle fundne aliaser |
// Opbyg æøå varianter over alle fundne aliaser |
577 |
|
|