/[projects]/dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Contents of /dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log


Revision 2414 - (show annotations) (download)
Sat Feb 28 17:40:35 2015 UTC (9 years, 2 months ago) by torben
File size: 19204 byte(s)
Frasorter pakkeboks / døgnboks med special statuskode
1 package dk.daoas.daoadresseservice;
2
3 import java.sql.SQLException;
4 import java.text.SimpleDateFormat;
5 import java.util.ArrayList;
6 import java.util.Collections;
7 import java.util.Date;
8 import java.util.HashMap;
9 import java.util.HashSet;
10 import java.util.List;
11 import java.util.Map;
12 import java.util.Set;
13 import java.util.concurrent.ConcurrentHashMap;
14
15 import org.apache.commons.lang3.StringUtils;
16
17 import dk.daoas.daoadresseservice.admin.ServiceConfig;
18 import dk.daoas.daoadresseservice.beans.Address;
19 import dk.daoas.daoadresseservice.beans.AliasBean;
20 import dk.daoas.daoadresseservice.beans.DataStatisticsBean;
21 import dk.daoas.daoadresseservice.beans.ExtendedBean;
22 import dk.daoas.daoadresseservice.beans.HundredePctBean;
23 import dk.daoas.daoadresseservice.beans.SearchRequest;
24 import dk.daoas.daoadresseservice.beans.SearchResult;
25 import dk.daoas.daoadresseservice.beans.SearchResult.Status;
26 import dk.daoas.daoadresseservice.db.DatabaseLayer;
27
28 public class AddressSearch {
29
30 private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;
31 private Map<Long, Map<String,Address>> searchGadeidentAdresser;
32
33 private List<Address> alleAdresser;
34
35 private Map<String,Long> helperCache;
36
37 private DataStatisticsBean stats = new DataStatisticsBean();
38
39 ServiceConfig config;
40
41 StreetnameHelper levenshteinHelper;
42 StreetnameHelper googleHelper;
43 StreetnameHelper osmHelper;
44
45
46 public AddressSearch(ServiceConfig config) {
47 this.config = config;
48
49 levenshteinHelper = new LevenshteinStreetnameHelper( this );
50 googleHelper = new GoogleStreetnameHelper( config );
51 osmHelper = new OSMStreetnameHelper( config );
52 }
53
54
55 public SearchResult search(String postnrStr, String adresse) {
56 SearchRequest request = new SearchRequest();
57 SearchResult result = new SearchResult();
58
59
60 String helperSearchKey = "";
61
62 try {
63 request.postnr = Integer.parseInt(postnrStr);
64 } catch (Exception E) {
65 result.status = Status.ERROR_UNKNOWN_POSTAL;
66 return result;
67 }
68
69
70 request.streetNames = searchPostnrVejnavnGadeid.get(request.postnr);
71
72 if (request.streetNames == null) {
73 result.status = Status.ERROR_UNKNOWN_POSTAL;
74 return result;
75 }
76
77
78 result.splitResult = AddressUtils.splitAdresse(adresse);
79 request.vejnavn = result.splitResult.vej;
80
81
82
83 if (result.splitResult.husnr.length() == 0) {
84 result.status = Status.ERROR_MISSING_HOUSENUMBER;
85 return result;
86 }
87
88 request.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
89
90
91 if (request.vasketVejnavn.startsWith("pakkebo") || request.vasketVejnavn.startsWith("døgnpost")) {
92 result.status = Status.ERROR_POSTBOX;
93 return result;
94 }
95
96 Long gadeident = request.streetNames.get(request.vasketVejnavn);
97
98
99 if ( gadeident == null) {
100 helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn;
101 gadeident = helperCache.get(helperSearchKey);
102 }
103
104 if (gadeident == null) {
105 String vej = levenshteinHelper.proposeStreetName(request, result);
106 if (vej != null) {
107 gadeident = request.streetNames.get(vej);
108 }
109 }
110
111
112 // Brug OpenStreetMap før vi prøver google
113 // For google har en request limit, det har OSM ikke!
114 if ( gadeident == null) {
115 String vej = osmHelper.proposeStreetName(request, result);
116 gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
117 }
118
119 if ( gadeident == null) {
120 String vej = googleHelper.proposeStreetName(request, result);
121 gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
122 }
123
124
125
126 if (gadeident == null) {
127 result.status = Status.ERROR_UNKNOWN_STREETNAME;
128 return result;
129 }
130
131 result.gadeident = gadeident;
132
133
134 Map<String, Address> gade = searchGadeidentAdresser.get(gadeident);
135 if (gade == null) { //Denne søgning må ikke fejle
136 result.status = Status.ERROR_INTERNAL;
137 return result;
138 }
139
140
141 //Kunne evt klares med Iterables.get fra Guava/Collections
142 Address firstAddress = gade.values().iterator().next();
143 result.vej = firstAddress.vejnavn;
144
145 String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra;
146 Address addr = gade.get(husnrSearch);
147
148 if (addr == null) {
149 result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;
150 return result;
151 }
152
153 result.address = addr;
154
155
156 if ( StringUtils.equals(addr.distributor, "LUKKET") ) {
157 result.status = Status.STATUS_NOT_COVERED; //Skal vi have en special status til Lukkede adresser ?
158 return result;
159 }
160
161 if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
162 result.status = Status.STATUS_NOT_COVERED;
163 return result;
164 }
165
166
167 result.status = Status.STATUS_OK;
168
169 return result;
170 }
171
172 private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) {
173 if (vej == null)
174 return null;
175
176 String vejVasket = AddressUtils.vaskVejnavn( vej );
177 Long gadeident = postnrVeje.get(vejVasket);
178
179 if (gadeident != null) {
180 helperCache.put(helperSearchKey, gadeident);
181 }
182 return gadeident;
183
184 }
185
186 public Map<String,Long> getStretsByPostal(int zip) {
187 return searchPostnrVejnavnGadeid.get(zip);
188 }
189
190
191
192 public void buildSearchStructures() throws SQLException{
193 searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();
194 searchGadeidentAdresser = new HashMap<Long, Map<String,Address>>();
195 helperCache = new ConcurrentHashMap<String,Long>();
196
197 long start1 = System.currentTimeMillis();
198 System.out.println("Build -- stage 1");
199
200 alleAdresser = DatabaseLayer.getAllAdresses();
201
202
203 /* Mapper mellem db Row ID og adresse noden */
204 Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
205
206 for (Address a : alleAdresser) {
207 idAddressMap.put(a.id, a);
208
209 Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);
210
211 if (postnrVeje == null) {
212 postnrVeje = new ConcurrentHashMap<String,Long>();
213 searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);
214 }
215
216 String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
217 Long gadeident = postnrVeje.get(vasketVejnavn);
218 if (gadeident == null) {
219 //postnrVeje.put(vasketVejnavn, a.gadeid);
220
221 gadeident = a.gadeid;
222
223 Set<String> aliaser = findVejAliaser(a.vejnavn);
224 for(String alias : aliaser) {
225 String vasketAlias = AddressUtils.vaskVejnavn(alias);
226 postnrVeje.put(vasketAlias, gadeident);
227 }
228 }
229
230 Map<String, Address> gade = searchGadeidentAdresser.get(gadeident);
231 if (gade == null) {
232 gade = new HashMap<String, Address>();
233 searchGadeidentAdresser.put(gadeident, gade);
234 }
235 String husnrSearch = "" + a.husnr + a.husnrbogstav;
236 gade.put(husnrSearch, a);
237 }
238
239 ////////////////////////////////////////////////////////////////////////////////////////
240 long start2 = System.currentTimeMillis();
241 System.out.println("Build, stage1 elapsed: " + (start2-start1) );
242 System.out.println("Build -- stage 2 alias tabel");
243
244 int vaskCount = 0;
245 List<AliasBean> aliasList = DatabaseLayer.getAliasList();
246 for (AliasBean alias : aliasList) {
247 Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
248
249 if (postnrVeje == null) {
250 //Burde ikke kunne ske - men better safe than sorry
251 continue;
252 }
253
254 String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);
255 String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);
256
257 Long gadeident = postnrVeje.get(vasketVej);
258 if (gadeident == null) {
259 //Kender ikke den oprindelige vej
260 continue;
261 }
262
263 Long aliasIdent = postnrVeje.get(vasketAlias);
264
265 if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet
266 postnrVeje.put(vasketAlias, gadeident);
267 vaskCount++;
268 }
269
270 }
271 System.out.println("Anvendte " + vaskCount + " aliaser fra databasen");
272
273
274 ////////////////////////////////////////////////////////////////////////////////////////
275 long start3 = System.currentTimeMillis();
276 System.out.println("Build, stage2 elapsed: " + (start3-start2) );
277 System.out.println("Build -- stage 3 udvidet dækning");
278
279 List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();
280 for (ExtendedBean eb : extDao) {
281
282 Address orgAddress = idAddressMap.get(eb.orgId);
283 if (orgAddress == null)
284 continue;
285
286 Address targetAddress = idAddressMap.get(eb.targetId);
287 if (targetAddress == null)
288 continue;
289
290 if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) {
291 continue;
292 }
293
294 if (targetAddress.distributor.equals("LUKKET")) {
295 continue;
296 }
297
298 orgAddress.extTarget = targetAddress;
299 orgAddress.extAfstand = eb.afstand;
300
301 boolean covered = false;
302 if (targetAddress.distributor.equals("DAO")) {
303 orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);
304 if (orgAddress.rute != null) {
305 orgAddress.koreliste = targetAddress.koreliste;
306 covered = true;
307 }
308 }
309
310 if (targetAddress.distributor.equals("BK")) {
311 orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);
312 if (orgAddress.koreliste != null) {
313 orgAddress.rute = targetAddress.rute;
314 covered = true;
315 }
316 }
317
318 if (covered) { //Kopier resten af felterne
319 orgAddress.daekningsType = DaekningsType.DAEKNING_UDVIDET;
320 orgAddress.dbkBane = targetAddress.dbkBane;
321
322 /* Sådan gør den gamle service */
323 orgAddress.kommunekode = targetAddress.kommunekode;
324 orgAddress.vejkode = targetAddress.vejkode;
325
326 orgAddress.distributor = targetAddress.distributor;
327 }
328 }
329
330 // nu skal vi ikke bruge idAddressMap længere
331 idAddressMap = null;
332
333 //////////////////////////////////////////////////////////////////////////////////////
334 long start4 = System.currentTimeMillis();
335 System.out.println("Build, stage3 elapsed: " + (start4-start3) );
336 System.out.println("Build -- stage 4 - 100pct");
337
338 Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();
339 for (Address addr : alleAdresser) {
340 if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
341 continue;
342 }
343
344 if (addr.distributor != null && addr.distributor.equals("LUKKET")) {
345 continue;
346 }
347
348
349 HundredePctBean bean = hundredePct.get(addr.postnr);
350 if (bean == null) {
351 continue;
352 }
353
354 addr.daekningsType = DaekningsType.DAEKNING_100PCT;
355 addr.rute = bean.rute;
356 addr.koreliste = bean.koreliste;
357 addr.dbkBane = bean.dbkBane;
358 addr.distributor = bean.distributor;
359 }
360
361 ////////////////////////////////////////////////////////////////////////////////////
362 long stop = System.currentTimeMillis();
363 System.out.println("Build, stage3 elapsed: " + (stop-start4) );
364 System.out.println("Build -- Gathering statistics");
365
366 for (Address addr : alleAdresser) {
367 switch (addr.daekningsType) {
368 case DAEKNING_DIREKTE:
369 stats.direkteCount++;
370 break;
371 case DAEKNING_UDVIDET:
372 stats.extendedCount++;
373 break;
374 case DAEKNING_100PCT:
375 stats.hundredePctCount++;
376 break;
377 default:
378 stats.ikkeDaekketCount++;
379 }
380 }
381
382
383 stats.elapsed = stop-start1;
384 stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
385
386 System.out.println("Build: direkteCount: " + stats.direkteCount);
387 System.out.println("Build: extendedCount: " + stats.extendedCount);
388 System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
389 System.out.println("Build: ikkeDaekketCount: " + stats.ikkeDaekketCount);
390
391 System.out.println("Build: Total Elapsed: " + (stop-start1) );
392 System.out.println("Build Completed");
393
394 }
395
396 public DataStatisticsBean getStatistics() {
397 return stats;
398 }
399
400 public void clear() {
401 searchPostnrVejnavnGadeid.clear();
402 searchGadeidentAdresser.clear();
403 alleAdresser.clear();
404 helperCache.clear();
405 }
406
407
408 private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {
409
410 // ///////////////////////////////////////////////////////////////////
411 switch( eb.transport) {
412 case "cykel":
413 if (eb.afstand < 0.151) {
414 return "." + targetAddress.rute;
415 } else if (eb.afstand < 0.501) {
416 return ".." + targetAddress.rute;
417 } else if (eb.afstand < 0.701) {
418 return "..." + targetAddress.rute;
419 } else if (eb.afstand < 0.501) {
420 return "...." + targetAddress.rute;
421 }
422 break;
423 case "scooter":
424 if (eb.afstand < 0.151) {
425 return "." + targetAddress.rute;
426 } else if (eb.afstand < 0.801) {
427 return ".." + targetAddress.rute;
428 } else if (eb.afstand < 1.201) {
429 return "..." + targetAddress.rute;
430 } else if (eb.afstand < 2.101) {
431 return "...." + targetAddress.rute;
432 }
433 break;
434 case "bil":
435 if (eb.afstand < 0.151) {
436 return "." + targetAddress.rute;
437 } else if (eb.afstand < 1.001) {
438 return ".." + targetAddress.rute;
439 } else if (eb.afstand < 1.601) {
440 return "..." + targetAddress.rute;
441 } else if (eb.afstand < 2.601) {
442 return "...." + targetAddress.rute;
443 }
444 break;
445 }
446 return null;
447 }
448
449 public List<Address> getNonCoveredAddresses() {
450 List<Address> result = new ArrayList<Address>(60000);
451 for (Address a : alleAdresser) {
452 if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
453 result.add(a);
454 }
455 }
456 Collections.sort(result );
457 return result;
458 }
459
460 ///////////////////////////////////////////////////////////
461 private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {
462 String inject;
463 if (eb.afstand <= 0.500) {
464 inject = ".";
465 } else {
466 inject = "..";
467 }
468 return AddressUtils.injectIntoBk(targetAddress.koreliste, inject);
469 }
470
471 private Set<String> findVejAliaser(String vejnavn) {
472 vejnavn = vejnavn.toLowerCase();
473 HashSet<String> aliasSet = new HashSet<String>();
474 aliasSet.add(vejnavn);
475
476 aliasSet.add(vejnavn.replace("u", "ü") );
477 aliasSet.add(vejnavn.replace("ü", "u") );
478
479 aliasSet.add(vejnavn.replace("alle", "allé") );
480 aliasSet.add(vejnavn.replace("allé", "alle") );
481
482 aliasSet.add(vejnavn.replace("dronningens", "dr") );
483 aliasSet.add(vejnavn.replace("dr.", "dronningens") );
484 aliasSet.add(vejnavn.replace("dr ", "dronningens") );
485
486 aliasSet.add(vejnavn.replace("dronning", "dr") );
487 aliasSet.add(vejnavn.replace("dr.", "dronning") );
488 aliasSet.add(vejnavn.replace("dr ", "dronning") );
489
490 aliasSet.add(vejnavn.replace("kng", "kongen") );
491 aliasSet.add(vejnavn.replace("kongen", "kng") );
492
493 aliasSet.add(vejnavn.replace("kvt", "kvarter") );
494 aliasSet.add(vejnavn.replace("kvarter", "kvt") );
495
496 aliasSet.add(vejnavn.replace("gl", "gammel") );
497 aliasSet.add(vejnavn.replace("gammel", "gl") );
498
499 aliasSet.add(vejnavn.replace("lille", "ll") );
500 aliasSet.add(vejnavn.replace("ll ", "lille") );
501 aliasSet.add(vejnavn.replace("ll.", "lille") );
502
503 aliasSet.add(vejnavn.replace("store", "st") );
504 aliasSet.add(vejnavn.replace("st ", "store") );
505 aliasSet.add(vejnavn.replace("st.", "store") );
506
507 aliasSet.add(vejnavn.replace("søndre", "sdr") );
508 aliasSet.add(vejnavn.replace("sdr", "søndre") );
509
510
511 aliasSet.add(vejnavn.replace("nørre", "nr") );
512 aliasSet.add(vejnavn.replace("nr", "nørre") );
513
514 aliasSet.add(vejnavn.replace("nordre", "ndr") );
515 aliasSet.add(vejnavn.replace("ndr", "nordre") );
516
517 aliasSet.add(vejnavn.replace("sankt", "skt") );
518 aliasSet.add(vejnavn.replace("sankt", "sct") );
519 aliasSet.add(vejnavn.replace("skt", "sankt") );
520
521 aliasSet.add(vejnavn.replace("skt", "sct") );
522 aliasSet.add(vejnavn.replace("sct", "skt") );
523
524
525 // fornavn forkortelser
526 aliasSet.add(vejnavn.replace("john", "j") );
527 aliasSet.add(vejnavn.replace("thomas", "th") );
528 aliasSet.add(vejnavn.replace("thorvald", "th") );
529
530
531 // Romertal
532 aliasSet.add(vejnavn.replace("1", "i") );
533 aliasSet.add(vejnavn.replace("i", "1") );
534
535 aliasSet.add(vejnavn.replace("2", "ii") );
536 aliasSet.add(vejnavn.replace("ii", "2") );
537
538 aliasSet.add(vejnavn.replace("3", "iii") );
539 aliasSet.add(vejnavn.replace("iii", "3") );
540
541 aliasSet.add(vejnavn.replace("4", "iv") );
542 aliasSet.add(vejnavn.replace("iv", "4") );
543
544 aliasSet.add(vejnavn.replace("5", "v") );
545 aliasSet.add(vejnavn.replace("v", "5") );
546
547 aliasSet.add(vejnavn.replace("6", "vi") );
548 aliasSet.add(vejnavn.replace("vi", "6") );
549
550 aliasSet.add(vejnavn.replace("7", "vii") );
551 aliasSet.add(vejnavn.replace("vii", "7") );
552
553 aliasSet.add(vejnavn.replace("8", "viii") );
554 aliasSet.add(vejnavn.replace("viii", "8") );
555
556 aliasSet.add(vejnavn.replace("9", "ix") );
557 aliasSet.add(vejnavn.replace("ix", "9") );
558
559 aliasSet.add(vejnavn.replace("10", "x") );
560 aliasSet.add(vejnavn.replace("x", "10") );
561
562
563 //alternative måder at stave vej/gade/alle
564 aliasSet.add(vejnavn.replace("vej", "ve") );
565 aliasSet.add(vejnavn.replace("vej", "vj") );
566 aliasSet.add(vejnavn.replace("vej", "v") );
567 aliasSet.add(vejnavn.replace("vej", "vejen") );
568 aliasSet.add(vejnavn.replace("vejen", "vej") );
569
570 aliasSet.add(vejnavn.replace("alle", "all") );
571 aliasSet.add(vejnavn.replace("allé", "all") );
572 aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
573 aliasSet.add(vejnavn.replace("allé", "allú") );
574
575 aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo
576
577 aliasSet.add(vejnavn.replace("plads", "pl") );
578 aliasSet.add(vejnavn.replace("vænget", "vænge") );
579
580
581 // Opbyg æøå varianter over alle fundne aliaser
582
583 @SuppressWarnings("unchecked")
584 HashSet<String> variants = (HashSet<String>) aliasSet.clone();
585
586 for (String vVejnavn : variants) {
587 // danske tegn 1
588 aliasSet.add( vVejnavn.replace("æ", "ae") );
589 aliasSet.add( vVejnavn.replace("ø", "oe") );
590 aliasSet.add( vVejnavn.replace("å", "aa") );
591 aliasSet.add( vVejnavn.replace("ae", "æ") );
592 aliasSet.add( vVejnavn.replace("oe", "ø") );
593 aliasSet.add( vVejnavn.replace("aa", "å") );
594
595 //danske tegn 2
596 aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );
597 aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );
598 aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") );
599 aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );
600 aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );
601 aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );
602
603 //danske tegn 3
604 aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
605 aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
606 }
607
608 return aliasSet;
609 }
610
611
612 }

  ViewVC Help
Powered by ViewVC 1.1.20