/[projects]/dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AdressSearch.java
ViewVC logotype

Annotation of /dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AdressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log


Revision 2338 - (hide annotations) (download)
Mon Feb 23 12:48:00 2015 UTC (9 years, 3 months ago) by torben
File size: 14137 byte(s)
Gem statistic omkring indlæsnings tid og tidsforbrug
1 torben 2267 package dk.daoas.daoadresseservice;
2    
3 torben 2274 import java.sql.SQLException;
4 torben 2338 import java.text.DateFormat;
5 torben 2332 import java.util.ArrayList;
6 torben 2333 import java.util.Collections;
7 torben 2338 import java.util.Date;
8 torben 2267 import java.util.HashMap;
9 torben 2292 import java.util.HashSet;
10 torben 2274 import java.util.List;
11     import java.util.Map;
12 torben 2292 import java.util.Set;
13 torben 2274 import java.util.concurrent.ConcurrentHashMap;
14 torben 2267
15 torben 2274 import dk.daoas.daoadresseservice.AddressUtils.SplitResult;
16 torben 2282 import dk.daoas.daoadresseservice.beans.Address;
17 torben 2337 import dk.daoas.daoadresseservice.beans.DataStatisticsBean;
18 torben 2282 import dk.daoas.daoadresseservice.beans.ExtendedBean;
19     import dk.daoas.daoadresseservice.beans.HundredePctBean;
20     import dk.daoas.daoadresseservice.beans.SearchResult;
21     import dk.daoas.daoadresseservice.beans.SearchResult.Status;
22 torben 2274 import dk.daoas.daoadresseservice.db.DatabaseLayer;
23    
24 torben 2267 public class AdressSearch {
25    
26 torben 2332 private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;
27     private Map<Long, Map<String,Address>> searchGadeidentAdresser;
28 torben 2274
29 torben 2332 private List<Address> alleAdresser;
30 torben 2267
31 torben 2332 private Map<String,Long> helperCache;
32 torben 2267
33 torben 2337 private DataStatisticsBean stats = new DataStatisticsBean();
34 torben 2303
35 torben 2280
36 torben 2274 public SearchResult search(String postnrStr, String adresse) {
37 torben 2288
38 torben 2274 int postnr=0;
39 torben 2298 boolean google = false;
40 torben 2301 boolean osm = false;
41 torben 2305 String helperSearchKey = "";
42 torben 2267
43 torben 2274 try {
44     postnr = Integer.parseInt(postnrStr);
45     } catch (Exception E) {
46     return new SearchResult(Status.ERROR_UNKNOWN_POSTAL);
47     }
48    
49     Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(postnr);
50    
51 torben 2267 if (postnrVeje == null) {
52 torben 2274 return new SearchResult(Status.ERROR_UNKNOWN_POSTAL);
53 torben 2267 }
54    
55 torben 2288
56 torben 2274 SplitResult split = AddressUtils.splitAdresse(adresse);
57 torben 2288 String vasketVejnavn = AddressUtils.vaskVejnavn( split.vej );
58 torben 2267
59 torben 2274 if (split.husnr.length() == 0) {
60     return new SearchResult(Status.ERROR_MISSING_HOUSENUMBER);
61     }
62 torben 2267
63 torben 2274 Long gadeident = postnrVeje.get(vasketVejnavn);
64 torben 2301
65 torben 2305
66 torben 2298 if ( gadeident == null) {
67 torben 2305 helperSearchKey = "" + postnr + "/" + vasketVejnavn;
68     gadeident = helperCache.get(helperSearchKey);
69 torben 2301 }
70    
71 torben 2303
72 torben 2301 if ( gadeident == null) {
73 torben 2298 String googleVej = GeocodeHelper.googleHelper(postnr, split.vej );
74 torben 2304 google = true;
75    
76 torben 2300 if (googleVej != null) {
77     String googleVasket = AddressUtils.vaskVejnavn( googleVej );
78     gadeident = postnrVeje.get(googleVasket);
79 torben 2304
80 torben 2303 if (gadeident != null) {
81 torben 2305 helperCache.put(helperSearchKey, gadeident);
82 torben 2303 }
83 torben 2300 }
84 torben 2298 }
85    
86 torben 2303 if ( gadeident == null) {
87     String osmVej = GeocodeHelper.openstreetmapHelper(postnr, split.vej );
88 torben 2304 osm = true;
89    
90 torben 2303 if (osmVej != null) {
91     String osmVasket = AddressUtils.vaskVejnavn( osmVej );
92     gadeident = postnrVeje.get(osmVasket);
93 torben 2304
94 torben 2303 if (gadeident != null) {
95 torben 2305 helperCache.put(helperSearchKey, gadeident);
96 torben 2303 }
97     }
98     }
99    
100 torben 2274 if (gadeident == null) {
101     return new SearchResult(Status.ERROR_UNKNOWN_STREETNAME);
102 torben 2288 }
103 torben 2274
104     Map<String, Address> gade = searchGadeidentAdresser.get(gadeident); //Denne søgning må ikke fejle
105    
106    
107     String husnrSearch = "" + split.husnr + split.litra;
108     Address addr = gade.get(husnrSearch);
109 torben 2298
110 torben 2274 if (addr == null) {
111     return new SearchResult(Status.ERROR_UNKNOWN_ADDRESSPOINT);
112     }
113 torben 2276
114     if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
115     return new SearchResult(Status.STATUS_NOT_COVERED);
116     }
117 torben 2277
118     if (addr.distributor.equals("LUKKET")) {
119     return new SearchResult(Status.STATUS_NOT_COVERED); //Skal vi have en special status til Lukkede adresser ?
120 torben 2298 }
121 torben 2288
122 torben 2298 SearchResult res = new SearchResult(addr);
123     res.google = google;
124 torben 2301 res.osm = osm;
125 torben 2298 return res;
126 torben 2267 }
127    
128 torben 2274
129     public void buildSearchStructures() throws SQLException{
130     searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();
131     searchGadeidentAdresser = new HashMap<Long, Map<String,Address>>();
132 torben 2303 helperCache = new ConcurrentHashMap<String,Long>();
133    
134 torben 2309 long start1 = System.currentTimeMillis();
135 torben 2276 System.out.println("Build -- stage 1");
136    
137 torben 2274 alleAdresser = DatabaseLayer.getAllAdresses();
138 torben 2276
139 torben 2286
140 torben 2285 /* Mapper mellem db Row ID og adresse noden */
141     Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
142    
143 torben 2274 for (Address a : alleAdresser) {
144     idAddressMap.put(a.id, a);
145    
146     Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);
147    
148     if (postnrVeje == null) {
149     postnrVeje = new ConcurrentHashMap<String,Long>();
150     searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);
151     }
152    
153 torben 2281 String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
154     Long gadeident = postnrVeje.get(vasketVejnavn);
155 torben 2274 if (gadeident == null) {
156 torben 2292 //postnrVeje.put(vasketVejnavn, a.gadeid);
157    
158     Set<String> aliaser = findVejAliaser(a.vejnavn);
159     for(String alias : aliaser) {
160     String vasketAlias = AddressUtils.vaskVejnavn(alias);
161     postnrVeje.put(vasketAlias, a.gadeid);
162     }
163    
164 torben 2274 }
165    
166     Map<String, Address> gade = searchGadeidentAdresser.get(a.gadeid);
167     if (gade == null) {
168     gade = new HashMap<String, Address>();
169     searchGadeidentAdresser.put(a.gadeid, gade);
170     }
171     String husnrSearch = "" + a.husnr + a.husnrbogstav;
172 torben 2286 gade.put(husnrSearch, a);
173 torben 2276 }
174    
175    
176 torben 2279 ////////////////////////////////////////////////////////////////////////////////////////
177 torben 2309 long start2 = System.currentTimeMillis();
178     System.out.println("Build, stage1 elapsed: " + (start2-start1) );
179 torben 2279 System.out.println("Build -- stage 2 udvidet dækning");
180    
181     List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();
182 torben 2276 for (ExtendedBean eb : extDao) {
183 torben 2274
184 torben 2276 Address orgAddress = idAddressMap.get(eb.orgId);
185     if (orgAddress == null)
186     continue;
187    
188     Address targetAddress = idAddressMap.get(eb.targetId);
189     if (targetAddress == null)
190     continue;
191    
192 torben 2277 if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) {
193     continue;
194     }
195    
196     if (targetAddress.distributor.equals("LUKKET")) {
197     continue;
198     }
199    
200 torben 2276 orgAddress.extTarget = targetAddress;
201     orgAddress.extAfstand = eb.afstand;
202    
203 torben 2283 boolean covered = false;
204     if (targetAddress.distributor.equals("DAO")) {
205     orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);
206     if (orgAddress.rute != null) {
207     orgAddress.koreliste = targetAddress.koreliste;
208     covered = true;
209     }
210     }
211 torben 2276
212 torben 2283 if (targetAddress.distributor.equals("BK")) {
213     orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);
214     if (orgAddress.koreliste != null) {
215     orgAddress.rute = targetAddress.rute;
216     covered = true;
217     }
218     }
219    
220     if (covered) { //Kopier resten af felterne
221 torben 2276 orgAddress.daekningsType = DaekningsType.DAEKNING_UDVIDET;
222     orgAddress.dbkBane = targetAddress.dbkBane;
223    
224     /* Sådan gør den gamle service */
225     orgAddress.kommunekode = targetAddress.kommunekode;
226     orgAddress.vejkode = targetAddress.vejkode;
227    
228     orgAddress.distributor = targetAddress.distributor;
229     }
230 torben 2274 }
231 torben 2286
232     // nu skal vi ikke bruge idAddressMap længere
233     idAddressMap = null;
234    
235 torben 2279 //////////////////////////////////////////////////////////////////////////////////////
236 torben 2309 long start3 = System.currentTimeMillis();
237     System.out.println("Build, stage2 elapsed: " + (start3-start2) );
238 torben 2279 System.out.println("Build -- stage 3 - 100pct");
239 torben 2274
240 torben 2332 Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();
241 torben 2279 for (Address addr : alleAdresser) {
242 torben 2286 if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
243 torben 2279 continue;
244     }
245    
246     if (addr.distributor != null && addr.distributor.equals("LUKKET")) {
247     continue;
248     }
249    
250    
251     HundredePctBean bean = hundredePct.get(addr.postnr);
252     if (bean == null) {
253     continue;
254     }
255    
256     addr.daekningsType = DaekningsType.DAEKNING_100PCT;
257     addr.rute = bean.rute;
258     addr.koreliste = bean.koreliste;
259     addr.dbkBane = bean.dbkBane;
260     addr.distributor = bean.distributor;
261     }
262 torben 2276
263 torben 2286 ////////////////////////////////////////////////////////////////////////////////////
264 torben 2309 long stop = System.currentTimeMillis();
265     System.out.println("Build, stage3 elapsed: " + (stop-start3) );
266 torben 2286 System.out.println("Build -- Gathering statistics");
267 torben 2337
268 torben 2286 for (Address addr : alleAdresser) {
269     switch (addr.daekningsType) {
270     case DAEKNING_DIREKTE:
271 torben 2337 stats.direkteCount++;
272 torben 2286 break;
273     case DAEKNING_UDVIDET:
274 torben 2337 stats.extendedCount++;
275 torben 2286 break;
276     case DAEKNING_100PCT:
277 torben 2337 stats.hundredePctCount++;
278 torben 2286 break;
279     default:
280 torben 2337 stats.ikkeDaekketCount++;
281 torben 2286 }
282     }
283    
284 torben 2338 stats.elapsed = stop-start1;
285     stats.buildTime = DateFormat.getInstance().format( new Date() );
286    
287 torben 2337 System.out.println("Build: direkteCount: " + stats.direkteCount);
288     System.out.println("Build: extendedCount: " + stats.extendedCount);
289     System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
290     System.out.println("Build: ikkeDaekketCount: " + stats.ikkeDaekketCount);
291 torben 2286
292 torben 2309 System.out.println("Build: Total Elapsed: " + (stop-start1) );
293 torben 2281 System.out.println("Build Completed");
294    
295 torben 2274 }
296    
297 torben 2337 public DataStatisticsBean getStatistics() {
298     return stats;
299     }
300 torben 2276
301 torben 2337 public void clear() {
302     searchPostnrVejnavnGadeid.clear();
303     searchGadeidentAdresser.clear();
304     alleAdresser.clear();
305     helperCache.clear();
306     }
307    
308    
309 torben 2283 private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {
310    
311     // ///////////////////////////////////////////////////////////////////
312     switch( eb.transport) {
313     case "cykel":
314     if (eb.afstand < 0.151) {
315     return "." + targetAddress.rute;
316     } else if (eb.afstand < 0.501) {
317     return ".." + targetAddress.rute;
318     } else if (eb.afstand < 0.701) {
319     return "..." + targetAddress.rute;
320     } else if (eb.afstand < 0.501) {
321     return "...." + targetAddress.rute;
322 torben 2276 }
323 torben 2283 break;
324     case "scooter":
325     if (eb.afstand < 0.151) {
326     return "." + targetAddress.rute;
327     } else if (eb.afstand < 0.801) {
328     return ".." + targetAddress.rute;
329     } else if (eb.afstand < 1.201) {
330     return "..." + targetAddress.rute;
331     } else if (eb.afstand < 2.101) {
332     return "...." + targetAddress.rute;
333     }
334     break;
335     case "bil":
336     if (eb.afstand < 0.151) {
337     return "." + targetAddress.rute;
338     } else if (eb.afstand < 1.001) {
339     return ".." + targetAddress.rute;
340     } else if (eb.afstand < 1.601) {
341     return "..." + targetAddress.rute;
342     } else if (eb.afstand < 2.601) {
343     return "...." + targetAddress.rute;
344     }
345 torben 2276 break;
346 torben 2283 }
347 torben 2276 return null;
348 torben 2332 }
349 torben 2276
350 torben 2332 public List<Address> getNonCoveredAddresses() {
351     List<Address> result = new ArrayList<Address>(60000);
352     for (Address a : alleAdresser) {
353     if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
354     result.add(a);
355     }
356     }
357 torben 2333 Collections.sort(result );
358 torben 2332 return result;
359     }
360    
361 torben 2283 ///////////////////////////////////////////////////////////
362     private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {
363     String inject;
364     if (eb.afstand <= 0.500) {
365     inject = ".";
366     } else {
367     inject = "..";
368     }
369     return AddressUtils.injectIntoBk(targetAddress.koreliste, inject);
370     }
371 torben 2276
372 torben 2292 private Set<String> findVejAliaser(String vejnavn) {
373 torben 2293 vejnavn = vejnavn.toLowerCase();
374 torben 2310 HashSet<String> aliasSet = new HashSet<String>();
375 torben 2292 aliasSet.add(vejnavn);
376    
377 torben 2312 aliasSet.add(vejnavn.replace("u", "ü") );
378     aliasSet.add(vejnavn.replace("ü", "u") );
379    
380 torben 2292 aliasSet.add(vejnavn.replace("alle", "allé") );
381 torben 2310 aliasSet.add(vejnavn.replace("allé", "alle") );
382 torben 2292
383 torben 2295 aliasSet.add(vejnavn.replace("dronningens", "dr") );
384     aliasSet.add(vejnavn.replace("dr.", "dronningens") );
385     aliasSet.add(vejnavn.replace("dr ", "dronningens") );
386    
387     aliasSet.add(vejnavn.replace("kvt", "kvarter") );
388     aliasSet.add(vejnavn.replace("kvarter", "kvt") );
389    
390 torben 2292 aliasSet.add(vejnavn.replace("gl", "gammel") );
391     aliasSet.add(vejnavn.replace("gammel", "gl") );
392    
393     aliasSet.add(vejnavn.replace("lille", "ll") );
394     aliasSet.add(vejnavn.replace("ll ", "lille") );
395     aliasSet.add(vejnavn.replace("ll.", "lille") );
396    
397     aliasSet.add(vejnavn.replace("store", "st") );
398     aliasSet.add(vejnavn.replace("st ", "store") );
399     aliasSet.add(vejnavn.replace("st.", "store") );
400    
401     aliasSet.add(vejnavn.replace("søndre", "sdr") );
402     aliasSet.add(vejnavn.replace("sdr", "søndre") );
403    
404    
405     aliasSet.add(vejnavn.replace("nørre", "nr") );
406     aliasSet.add(vejnavn.replace("nr", "nørre") );
407    
408     aliasSet.add(vejnavn.replace("nordre", "ndr") );
409     aliasSet.add(vejnavn.replace("ndr", "nordre") );
410    
411     aliasSet.add(vejnavn.replace("sankt", "skt") );
412 torben 2310 aliasSet.add(vejnavn.replace("sankt", "sct") );
413 torben 2292 aliasSet.add(vejnavn.replace("skt", "sankt") );
414    
415     aliasSet.add(vejnavn.replace("skt", "sct") );
416 torben 2310 aliasSet.add(vejnavn.replace("sct", "skt") );
417 torben 2292
418 torben 2310 // Opbyg æøå varianter over alle fundne aliaser
419    
420     @SuppressWarnings("unchecked")
421     HashSet<String> variants = (HashSet<String>) aliasSet.clone();
422    
423 torben 2313 for (String vVejnavn : variants) {
424 torben 2310 // danske tegn 1
425     aliasSet.add( vVejnavn.replace("æ", "ae") );
426     aliasSet.add( vVejnavn.replace("ø", "oe") );
427     aliasSet.add( vVejnavn.replace("å", "aa") );
428     aliasSet.add( vVejnavn.replace("ae", "æ") );
429     aliasSet.add( vVejnavn.replace("oe", "ø") );
430     aliasSet.add( vVejnavn.replace("aa", "å") );
431    
432     //danske tegn 2
433     aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );
434     aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );
435     aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") );
436     aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );
437     aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );
438     aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );
439    
440     //danske tegn 3
441     aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
442     aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
443     }
444    
445 torben 2292 return aliasSet;
446     }
447 torben 2283
448 torben 2292
449 torben 2267 }

  ViewVC Help
Powered by ViewVC 1.1.20