/[projects]/dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Contents of /dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log


Revision 2410 - (show annotations) (download)
Sat Feb 28 16:16:17 2015 UTC (9 years, 2 months ago) by torben
File size: 19028 byte(s)
Address is spelled with 2 d's
1 package dk.daoas.daoadresseservice;
2
3 import java.sql.SQLException;
4 import java.text.SimpleDateFormat;
5 import java.util.ArrayList;
6 import java.util.Collections;
7 import java.util.Date;
8 import java.util.HashMap;
9 import java.util.HashSet;
10 import java.util.List;
11 import java.util.Map;
12 import java.util.Set;
13 import java.util.concurrent.ConcurrentHashMap;
14
15 import org.apache.commons.lang3.StringUtils;
16
17 import dk.daoas.daoadresseservice.admin.ServiceConfig;
18 import dk.daoas.daoadresseservice.beans.Address;
19 import dk.daoas.daoadresseservice.beans.AliasBean;
20 import dk.daoas.daoadresseservice.beans.DataStatisticsBean;
21 import dk.daoas.daoadresseservice.beans.ExtendedBean;
22 import dk.daoas.daoadresseservice.beans.HundredePctBean;
23 import dk.daoas.daoadresseservice.beans.SearchResult;
24 import dk.daoas.daoadresseservice.beans.SearchResult.Status;
25 import dk.daoas.daoadresseservice.db.DatabaseLayer;
26
27 public class AddressSearch {
28
29 private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;
30 private Map<Long, Map<String,Address>> searchGadeidentAdresser;
31
32 private List<Address> alleAdresser;
33
34 private Map<String,Long> helperCache;
35
36 private DataStatisticsBean stats = new DataStatisticsBean();
37
38 ServiceConfig config;
39
40 StreetnameHelper googleHelper;
41 StreetnameHelper osmHelper;
42
43 public AddressSearch(ServiceConfig config) {
44 this.config = config;
45
46 googleHelper = new GoogleStreetnameHelper( config );
47 osmHelper = new OSMStreetnameHelper( config );
48 }
49
50
51 public SearchResult search(String postnrStr, String adresse) {
52
53 SearchResult result = new SearchResult();
54
55 int postnr=0;
56
57 String helperSearchKey = "";
58
59 try {
60 postnr = Integer.parseInt(postnrStr);
61 } catch (Exception E) {
62 result.status = Status.ERROR_UNKNOWN_POSTAL;
63 return result;
64 }
65
66 Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(postnr);
67
68 if (postnrVeje == null) {
69 result.status = Status.ERROR_UNKNOWN_POSTAL;
70 return result;
71 }
72
73
74 result.splitResult = AddressUtils.splitAdresse(adresse);
75
76
77 if (result.splitResult.husnr.length() == 0) {
78 result.status = Status.ERROR_MISSING_HOUSENUMBER;
79 return result;
80 }
81
82 String vasketVejnavn = AddressUtils.vaskVejnavn( result.splitResult.vej );
83
84 Long gadeident = postnrVeje.get(vasketVejnavn);
85
86
87 if ( gadeident == null) {
88 helperSearchKey = "" + postnr + "/" + vasketVejnavn;
89 gadeident = helperCache.get(helperSearchKey);
90 }
91
92 if (gadeident == null) {
93 String best = getbestLevenshteinDistance(vasketVejnavn, postnrVeje);
94 if (best != null) {
95 result.levenshtein = true;
96 gadeident = postnrVeje.get(best);
97 }
98 }
99
100
101 // Brug OpenStreetMap før vi prøver google
102 // For google har en request limit, det har OSM ikke!
103 if ( gadeident == null) {
104 String vej = osmHelper.proposeStreetName(result, postnr, result.splitResult.vej);
105 gadeident = helperWrapper(vej, postnrVeje, helperSearchKey);
106 }
107
108 if ( gadeident == null) {
109 String vej = googleHelper.proposeStreetName(result, postnr, result.splitResult.vej);
110 gadeident = helperWrapper(vej, postnrVeje, helperSearchKey);
111 }
112
113
114
115 if (gadeident == null) {
116 result.status = Status.ERROR_UNKNOWN_STREETNAME;
117 return result;
118 }
119
120 result.gadeident = gadeident;
121
122
123 Map<String, Address> gade = searchGadeidentAdresser.get(gadeident);
124 if (gade == null) { //Denne søgning må ikke fejle
125 result.status = Status.ERROR_INTERNAL;
126 return result;
127 }
128
129
130 //Kunne evt klares med Iterables.get fra Guava/Collections
131 Address firstAddress = gade.values().iterator().next();
132 result.vej = firstAddress.vejnavn;
133
134 String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra;
135 Address addr = gade.get(husnrSearch);
136
137 if (addr == null) {
138 result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;
139 return result;
140 }
141
142 result.address = addr;
143
144
145 if ( StringUtils.equals(addr.distributor, "LUKKET") ) {
146 result.status = Status.STATUS_NOT_COVERED; //Skal vi have en special status til Lukkede adresser ?
147 return result;
148 }
149
150 if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
151 result.status = Status.STATUS_NOT_COVERED;
152 return result;
153 }
154
155
156 result.status = Status.STATUS_OK;
157
158 return result;
159 }
160
161 private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) {
162 if (vej == null)
163 return null;
164
165 String vejVasket = AddressUtils.vaskVejnavn( vej );
166 Long gadeident = postnrVeje.get(vejVasket);
167
168 if (gadeident != null) {
169 helperCache.put(helperSearchKey, gadeident);
170 }
171 return gadeident;
172
173 }
174
175
176
177
178
179 public void buildSearchStructures() throws SQLException{
180 searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();
181 searchGadeidentAdresser = new HashMap<Long, Map<String,Address>>();
182 helperCache = new ConcurrentHashMap<String,Long>();
183
184 long start1 = System.currentTimeMillis();
185 System.out.println("Build -- stage 1");
186
187 alleAdresser = DatabaseLayer.getAllAdresses();
188
189
190 /* Mapper mellem db Row ID og adresse noden */
191 Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
192
193 for (Address a : alleAdresser) {
194 idAddressMap.put(a.id, a);
195
196 Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);
197
198 if (postnrVeje == null) {
199 postnrVeje = new ConcurrentHashMap<String,Long>();
200 searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);
201 }
202
203 String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
204 Long gadeident = postnrVeje.get(vasketVejnavn);
205 if (gadeident == null) {
206 //postnrVeje.put(vasketVejnavn, a.gadeid);
207
208 gadeident = a.gadeid;
209
210 Set<String> aliaser = findVejAliaser(a.vejnavn);
211 for(String alias : aliaser) {
212 String vasketAlias = AddressUtils.vaskVejnavn(alias);
213 postnrVeje.put(vasketAlias, gadeident);
214 }
215 }
216
217 Map<String, Address> gade = searchGadeidentAdresser.get(gadeident);
218 if (gade == null) {
219 gade = new HashMap<String, Address>();
220 searchGadeidentAdresser.put(gadeident, gade);
221 }
222 String husnrSearch = "" + a.husnr + a.husnrbogstav;
223 gade.put(husnrSearch, a);
224 }
225
226 ////////////////////////////////////////////////////////////////////////////////////////
227 long start2 = System.currentTimeMillis();
228 System.out.println("Build, stage1 elapsed: " + (start2-start1) );
229 System.out.println("Build -- stage 2 alias tabel");
230
231 int vaskCount = 0;
232 List<AliasBean> aliasList = DatabaseLayer.getAliasList();
233 for (AliasBean alias : aliasList) {
234 Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
235
236 if (postnrVeje == null) {
237 //Burde ikke kunne ske - men better safe than sorry
238 continue;
239 }
240
241 String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);
242 String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);
243
244 Long gadeident = postnrVeje.get(vasketVej);
245 if (gadeident == null) {
246 //Kender ikke den oprindelige vej
247 continue;
248 }
249
250 Long aliasIdent = postnrVeje.get(vasketAlias);
251
252 if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet
253 postnrVeje.put(vasketAlias, gadeident);
254 vaskCount++;
255 }
256
257 }
258 System.out.println("Anvendte " + vaskCount + " aliaser fra databasen");
259
260
261 ////////////////////////////////////////////////////////////////////////////////////////
262 long start3 = System.currentTimeMillis();
263 System.out.println("Build, stage2 elapsed: " + (start3-start2) );
264 System.out.println("Build -- stage 3 udvidet dækning");
265
266 List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();
267 for (ExtendedBean eb : extDao) {
268
269 Address orgAddress = idAddressMap.get(eb.orgId);
270 if (orgAddress == null)
271 continue;
272
273 Address targetAddress = idAddressMap.get(eb.targetId);
274 if (targetAddress == null)
275 continue;
276
277 if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) {
278 continue;
279 }
280
281 if (targetAddress.distributor.equals("LUKKET")) {
282 continue;
283 }
284
285 orgAddress.extTarget = targetAddress;
286 orgAddress.extAfstand = eb.afstand;
287
288 boolean covered = false;
289 if (targetAddress.distributor.equals("DAO")) {
290 orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);
291 if (orgAddress.rute != null) {
292 orgAddress.koreliste = targetAddress.koreliste;
293 covered = true;
294 }
295 }
296
297 if (targetAddress.distributor.equals("BK")) {
298 orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);
299 if (orgAddress.koreliste != null) {
300 orgAddress.rute = targetAddress.rute;
301 covered = true;
302 }
303 }
304
305 if (covered) { //Kopier resten af felterne
306 orgAddress.daekningsType = DaekningsType.DAEKNING_UDVIDET;
307 orgAddress.dbkBane = targetAddress.dbkBane;
308
309 /* Sådan gør den gamle service */
310 orgAddress.kommunekode = targetAddress.kommunekode;
311 orgAddress.vejkode = targetAddress.vejkode;
312
313 orgAddress.distributor = targetAddress.distributor;
314 }
315 }
316
317 // nu skal vi ikke bruge idAddressMap længere
318 idAddressMap = null;
319
320 //////////////////////////////////////////////////////////////////////////////////////
321 long start4 = System.currentTimeMillis();
322 System.out.println("Build, stage3 elapsed: " + (start4-start3) );
323 System.out.println("Build -- stage 4 - 100pct");
324
325 Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();
326 for (Address addr : alleAdresser) {
327 if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
328 continue;
329 }
330
331 if (addr.distributor != null && addr.distributor.equals("LUKKET")) {
332 continue;
333 }
334
335
336 HundredePctBean bean = hundredePct.get(addr.postnr);
337 if (bean == null) {
338 continue;
339 }
340
341 addr.daekningsType = DaekningsType.DAEKNING_100PCT;
342 addr.rute = bean.rute;
343 addr.koreliste = bean.koreliste;
344 addr.dbkBane = bean.dbkBane;
345 addr.distributor = bean.distributor;
346 }
347
348 ////////////////////////////////////////////////////////////////////////////////////
349 long stop = System.currentTimeMillis();
350 System.out.println("Build, stage3 elapsed: " + (stop-start4) );
351 System.out.println("Build -- Gathering statistics");
352
353 for (Address addr : alleAdresser) {
354 switch (addr.daekningsType) {
355 case DAEKNING_DIREKTE:
356 stats.direkteCount++;
357 break;
358 case DAEKNING_UDVIDET:
359 stats.extendedCount++;
360 break;
361 case DAEKNING_100PCT:
362 stats.hundredePctCount++;
363 break;
364 default:
365 stats.ikkeDaekketCount++;
366 }
367 }
368
369
370 stats.elapsed = stop-start1;
371 stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
372
373 System.out.println("Build: direkteCount: " + stats.direkteCount);
374 System.out.println("Build: extendedCount: " + stats.extendedCount);
375 System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
376 System.out.println("Build: ikkeDaekketCount: " + stats.ikkeDaekketCount);
377
378 System.out.println("Build: Total Elapsed: " + (stop-start1) );
379 System.out.println("Build Completed");
380
381 }
382
383 public DataStatisticsBean getStatistics() {
384 return stats;
385 }
386
387 public void clear() {
388 searchPostnrVejnavnGadeid.clear();
389 searchGadeidentAdresser.clear();
390 alleAdresser.clear();
391 helperCache.clear();
392 }
393
394
395 private String getbestLevenshteinDistance(String vasketVejnavn, Map<String,Long> postnrVeje) {
396 for(String vej : postnrVeje.keySet()) {
397 if ( StringUtils.getLevenshteinDistance(vasketVejnavn, vej) == 1) {
398 System.out.println("Levenstein: " + vasketVejnavn + "->" + vej);
399 return vej;
400 }
401 }
402
403 return null;
404 }
405
406 private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {
407
408 // ///////////////////////////////////////////////////////////////////
409 switch( eb.transport) {
410 case "cykel":
411 if (eb.afstand < 0.151) {
412 return "." + targetAddress.rute;
413 } else if (eb.afstand < 0.501) {
414 return ".." + targetAddress.rute;
415 } else if (eb.afstand < 0.701) {
416 return "..." + targetAddress.rute;
417 } else if (eb.afstand < 0.501) {
418 return "...." + targetAddress.rute;
419 }
420 break;
421 case "scooter":
422 if (eb.afstand < 0.151) {
423 return "." + targetAddress.rute;
424 } else if (eb.afstand < 0.801) {
425 return ".." + targetAddress.rute;
426 } else if (eb.afstand < 1.201) {
427 return "..." + targetAddress.rute;
428 } else if (eb.afstand < 2.101) {
429 return "...." + targetAddress.rute;
430 }
431 break;
432 case "bil":
433 if (eb.afstand < 0.151) {
434 return "." + targetAddress.rute;
435 } else if (eb.afstand < 1.001) {
436 return ".." + targetAddress.rute;
437 } else if (eb.afstand < 1.601) {
438 return "..." + targetAddress.rute;
439 } else if (eb.afstand < 2.601) {
440 return "...." + targetAddress.rute;
441 }
442 break;
443 }
444 return null;
445 }
446
447 public List<Address> getNonCoveredAddresses() {
448 List<Address> result = new ArrayList<Address>(60000);
449 for (Address a : alleAdresser) {
450 if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
451 result.add(a);
452 }
453 }
454 Collections.sort(result );
455 return result;
456 }
457
458 ///////////////////////////////////////////////////////////
459 private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {
460 String inject;
461 if (eb.afstand <= 0.500) {
462 inject = ".";
463 } else {
464 inject = "..";
465 }
466 return AddressUtils.injectIntoBk(targetAddress.koreliste, inject);
467 }
468
469 private Set<String> findVejAliaser(String vejnavn) {
470 vejnavn = vejnavn.toLowerCase();
471 HashSet<String> aliasSet = new HashSet<String>();
472 aliasSet.add(vejnavn);
473
474 aliasSet.add(vejnavn.replace("u", "ü") );
475 aliasSet.add(vejnavn.replace("ü", "u") );
476
477 aliasSet.add(vejnavn.replace("alle", "allé") );
478 aliasSet.add(vejnavn.replace("allé", "alle") );
479
480 aliasSet.add(vejnavn.replace("dronningens", "dr") );
481 aliasSet.add(vejnavn.replace("dr.", "dronningens") );
482 aliasSet.add(vejnavn.replace("dr ", "dronningens") );
483
484 aliasSet.add(vejnavn.replace("dronning", "dr") );
485 aliasSet.add(vejnavn.replace("dr.", "dronning") );
486 aliasSet.add(vejnavn.replace("dr ", "dronning") );
487
488 aliasSet.add(vejnavn.replace("kng", "kongen") );
489 aliasSet.add(vejnavn.replace("kongen", "kng") );
490
491 aliasSet.add(vejnavn.replace("kvt", "kvarter") );
492 aliasSet.add(vejnavn.replace("kvarter", "kvt") );
493
494 aliasSet.add(vejnavn.replace("gl", "gammel") );
495 aliasSet.add(vejnavn.replace("gammel", "gl") );
496
497 aliasSet.add(vejnavn.replace("lille", "ll") );
498 aliasSet.add(vejnavn.replace("ll ", "lille") );
499 aliasSet.add(vejnavn.replace("ll.", "lille") );
500
501 aliasSet.add(vejnavn.replace("store", "st") );
502 aliasSet.add(vejnavn.replace("st ", "store") );
503 aliasSet.add(vejnavn.replace("st.", "store") );
504
505 aliasSet.add(vejnavn.replace("søndre", "sdr") );
506 aliasSet.add(vejnavn.replace("sdr", "søndre") );
507
508
509 aliasSet.add(vejnavn.replace("nørre", "nr") );
510 aliasSet.add(vejnavn.replace("nr", "nørre") );
511
512 aliasSet.add(vejnavn.replace("nordre", "ndr") );
513 aliasSet.add(vejnavn.replace("ndr", "nordre") );
514
515 aliasSet.add(vejnavn.replace("sankt", "skt") );
516 aliasSet.add(vejnavn.replace("sankt", "sct") );
517 aliasSet.add(vejnavn.replace("skt", "sankt") );
518
519 aliasSet.add(vejnavn.replace("skt", "sct") );
520 aliasSet.add(vejnavn.replace("sct", "skt") );
521
522
523 // fornavn forkortelser
524 aliasSet.add(vejnavn.replace("john", "j") );
525 aliasSet.add(vejnavn.replace("thomas", "th") );
526 aliasSet.add(vejnavn.replace("thorvald", "th") );
527
528
529 // Romertal
530 aliasSet.add(vejnavn.replace("1", "i") );
531 aliasSet.add(vejnavn.replace("i", "1") );
532
533 aliasSet.add(vejnavn.replace("2", "ii") );
534 aliasSet.add(vejnavn.replace("ii", "2") );
535
536 aliasSet.add(vejnavn.replace("3", "iii") );
537 aliasSet.add(vejnavn.replace("iii", "3") );
538
539 aliasSet.add(vejnavn.replace("4", "iv") );
540 aliasSet.add(vejnavn.replace("iv", "4") );
541
542 aliasSet.add(vejnavn.replace("5", "v") );
543 aliasSet.add(vejnavn.replace("v", "5") );
544
545 aliasSet.add(vejnavn.replace("6", "vi") );
546 aliasSet.add(vejnavn.replace("vi", "6") );
547
548 aliasSet.add(vejnavn.replace("7", "vii") );
549 aliasSet.add(vejnavn.replace("vii", "7") );
550
551 aliasSet.add(vejnavn.replace("8", "viii") );
552 aliasSet.add(vejnavn.replace("viii", "8") );
553
554 aliasSet.add(vejnavn.replace("9", "ix") );
555 aliasSet.add(vejnavn.replace("ix", "9") );
556
557 aliasSet.add(vejnavn.replace("10", "x") );
558 aliasSet.add(vejnavn.replace("x", "10") );
559
560
561 //alternative måder at stave vej/gade/alle
562 aliasSet.add(vejnavn.replace("vej", "ve") );
563 aliasSet.add(vejnavn.replace("vej", "vj") );
564 aliasSet.add(vejnavn.replace("vej", "v") );
565 aliasSet.add(vejnavn.replace("vej", "vejen") );
566 aliasSet.add(vejnavn.replace("vejen", "vej") );
567
568 aliasSet.add(vejnavn.replace("alle", "all") );
569 aliasSet.add(vejnavn.replace("allé", "all") );
570 aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
571 aliasSet.add(vejnavn.replace("allé", "allú") );
572
573 aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo
574
575 aliasSet.add(vejnavn.replace("plads", "pl") );
576 aliasSet.add(vejnavn.replace("vænget", "vænge") );
577
578
579 // Opbyg æøå varianter over alle fundne aliaser
580
581 @SuppressWarnings("unchecked")
582 HashSet<String> variants = (HashSet<String>) aliasSet.clone();
583
584 for (String vVejnavn : variants) {
585 // danske tegn 1
586 aliasSet.add( vVejnavn.replace("æ", "ae") );
587 aliasSet.add( vVejnavn.replace("ø", "oe") );
588 aliasSet.add( vVejnavn.replace("å", "aa") );
589 aliasSet.add( vVejnavn.replace("ae", "æ") );
590 aliasSet.add( vVejnavn.replace("oe", "ø") );
591 aliasSet.add( vVejnavn.replace("aa", "å") );
592
593 //danske tegn 2
594 aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );
595 aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );
596 aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") );
597 aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );
598 aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );
599 aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );
600
601 //danske tegn 3
602 aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
603 aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
604 }
605
606 return aliasSet;
607 }
608
609
610 }

  ViewVC Help
Powered by ViewVC 1.1.20