6 |
import java.util.Collections; |
import java.util.Collections; |
7 |
import java.util.Date; |
import java.util.Date; |
8 |
import java.util.HashMap; |
import java.util.HashMap; |
|
import java.util.HashSet; |
|
9 |
import java.util.List; |
import java.util.List; |
10 |
import java.util.Map; |
import java.util.Map; |
11 |
|
import java.util.Map.Entry; |
12 |
import java.util.Set; |
import java.util.Set; |
13 |
|
import java.util.TreeMap; |
14 |
|
import java.util.TreeSet; |
15 |
import java.util.concurrent.ConcurrentHashMap; |
import java.util.concurrent.ConcurrentHashMap; |
16 |
|
|
17 |
import org.apache.commons.lang3.StringUtils; |
import org.apache.commons.lang3.StringUtils; |
26 |
import dk.daoas.daoadresseservice.beans.SearchResult; |
import dk.daoas.daoadresseservice.beans.SearchResult; |
27 |
import dk.daoas.daoadresseservice.beans.SearchResult.Status; |
import dk.daoas.daoadresseservice.beans.SearchResult.Status; |
28 |
import dk.daoas.daoadresseservice.db.DatabaseLayer; |
import dk.daoas.daoadresseservice.db.DatabaseLayer; |
29 |
|
import dk.daoas.daoadresseservice.util.DaoUtils; |
30 |
|
import dk.daoas.daoadresseservice.util.DeduplicateHelper; |
31 |
|
import dk.daoas.daoadresseservice.util.NaturalOrderComparator; |
32 |
|
import dk.daoas.daoadresseservice.util.NearestShortTreeMap; |
33 |
|
|
34 |
public class AddressSearch { |
public class AddressSearch { |
35 |
|
|
36 |
private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid; |
private Map<Short, Map<String,Integer>> searchPostnrVejnavnGadeid; |
37 |
private Map<Long, Map<String,Address>> searchGadeidentAdresser; |
private Map<Integer, Map<Short, Map<String,Address>>> searchGadeidentAdresser; // Gadeident -> husnrumre -> litra |
38 |
|
|
39 |
private List<Address> alleAdresser; |
private List<Address> ikkeDaekkedeAdresser = new ArrayList<Address>(60000); |
40 |
|
private List<Address> hundredePctAdresser = new ArrayList<Address>(120000); |
41 |
|
|
42 |
private Map<String,Long> helperCache; |
private Map<String,Integer> helperCache; |
43 |
|
|
44 |
private DataStatisticsBean stats = new DataStatisticsBean(); |
private DataStatisticsBean stats = new DataStatisticsBean(); |
45 |
|
|
46 |
ServiceConfig config; |
private DatabaseLayer db; |
47 |
|
private ServiceConfig config; |
48 |
|
|
49 |
|
|
50 |
StreetnameHelper levenshteinHelper; |
StreetnameHelper levenshteinHelper; |
51 |
|
StreetnameHelper metaphoneHelper; |
52 |
StreetnameHelper googleHelper; |
StreetnameHelper googleHelper; |
53 |
StreetnameHelper osmHelper; |
StreetnameHelper osmHelper; |
54 |
|
|
55 |
|
|
56 |
public AddressSearch(ServiceConfig config) { |
public AddressSearch(DatabaseLayer db, ServiceConfig config) { |
57 |
|
|
58 |
|
this.db = db; |
59 |
this.config = config; |
this.config = config; |
60 |
|
|
61 |
levenshteinHelper = new LevenshteinStreetnameHelper( this ); |
levenshteinHelper = new LevenshteinStreetnameHelper( this ); |
62 |
|
metaphoneHelper = new DoubleMetaphoneStreetnameHelper(config); |
63 |
googleHelper = new GoogleStreetnameHelper( config ); |
googleHelper = new GoogleStreetnameHelper( config ); |
64 |
osmHelper = new OSMStreetnameHelper( config ); |
osmHelper = new OSMStreetnameHelper( config ); |
65 |
} |
} |
66 |
|
|
67 |
|
public Address getAddressSafe(int gadeid, short husnr, String litra) throws Exception { |
68 |
|
|
69 |
|
Map<Short, Map<String,Address>> gade = searchGadeidentAdresser.get(gadeid); |
70 |
|
|
71 |
|
if (gade == null) { |
72 |
|
throw new Exception("GadeID ikke fundet"); |
73 |
|
} |
74 |
|
|
75 |
|
Map<String,Address> litraList = gade.get(husnr); |
76 |
|
|
77 |
|
Address addr = litraList.get(litra); |
78 |
|
|
79 |
|
if (addr == null) { |
80 |
|
throw new Exception("Adresse ikke ikke fundet"); |
81 |
|
} |
82 |
|
|
83 |
|
return addr; |
84 |
|
} |
85 |
|
|
86 |
|
|
87 |
public SearchResult search(String postnrStr, String adresse) { |
public SearchResult search(String postnrStr, String adresse) { |
88 |
|
return search(postnrStr, adresse, false); |
89 |
|
} |
90 |
|
|
91 |
|
|
92 |
|
public SearchResult search(String postnrStr, String adresse, boolean naermesteHusnr) { |
93 |
|
|
94 |
|
postnrStr = postnrStr.trim(); |
95 |
|
adresse = adresse.trim(); |
96 |
|
|
97 |
|
|
98 |
SearchRequest request = new SearchRequest(); |
SearchRequest request = new SearchRequest(); |
99 |
SearchResult result = new SearchResult(); |
SearchResult result = new SearchResult(); |
100 |
|
|
|
|
|
|
String helperSearchKey = ""; |
|
101 |
|
|
102 |
try { |
try { |
103 |
request.postnr = Integer.parseInt(postnrStr); |
request.postnr = Short.parseShort(postnrStr); |
104 |
} catch (Exception E) { |
} catch (Exception E) { |
105 |
result.status = Status.ERROR_UNKNOWN_POSTAL; |
result.status = Status.ERROR_UNKNOWN_POSTAL; |
106 |
return result; |
return result; |
125 |
return result; |
return result; |
126 |
} |
} |
127 |
|
|
128 |
request.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
129 |
|
|
130 |
|
|
131 |
if (request.vasketVejnavn.indexOf("pakkebo") > -1 |
if (result.vasketVejnavn.indexOf("pakkebo") > -1 |
132 |
|| request.vasketVejnavn.indexOf("døgnpost") > -1 |
|| result.vasketVejnavn.indexOf("pakkepost") > -1 |
133 |
|| request.vasketVejnavn.indexOf("døgnbo") > -1 |
|| result.vasketVejnavn.indexOf("postbo") > -1 // postbox/postboks |
134 |
|| request.vasketVejnavn.equals("id") |
|| result.vasketVejnavn.indexOf("døgnpost") > -1 |
135 |
|
|| result.vasketVejnavn.indexOf("døgnbo") > -1 // døgnbox // døgnboks |
136 |
|
|| result.vasketVejnavn.equals("id") |
137 |
) { |
) { |
138 |
result.status = Status.ERROR_POSTBOX; |
result.status = Status.ERROR_POSTBOX; |
139 |
return result; |
return result; |
140 |
} |
} |
141 |
|
|
142 |
Long gadeident = request.streetNames.get(request.vasketVejnavn); |
// LookupStreetname er en indkapsling af alm + levenstein + google + osm |
143 |
|
Integer gadeident = lookupStretname(request, result, true); |
144 |
|
|
145 |
|
|
146 |
if ( gadeident == null) { |
/* |
147 |
helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn; |
* Hvis der ikke er direkte hits, prøver vi at skære ord af vejnavn |
148 |
gadeident = helperCache.get(helperSearchKey); |
* |
149 |
} |
* <strike>Denne sektion er MEGET experimental da den øger antallet af kald til google/OSM væsentligt</strike>*/ |
|
|
|
150 |
if (gadeident == null) { |
if (gadeident == null) { |
151 |
String vej = levenshteinHelper.proposeStreetName(request, result); |
final int MAX_TRIES = 4; |
152 |
if (vej != null) { |
|
153 |
gadeident = request.streetNames.get(vej); |
String vejnavnParts[] = request.vejnavn.split(" "); |
154 |
} |
|
155 |
} |
for (int i=1; i<=MAX_TRIES && i<vejnavnParts.length; i++) { |
156 |
|
String subVejnavn = DaoUtils.joinHelper(vejnavnParts, i); |
157 |
|
|
158 |
// Brug OpenStreetMap før vi prøver google |
request.vejnavn = subVejnavn; |
159 |
// For google har en request limit, det har OSM ikke! |
result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
160 |
if ( gadeident == null) { |
|
161 |
String vej = osmHelper.proposeStreetName(request, result); |
gadeident = lookupStretname(request, result, false);//prøv opslag MEN UDEN GOOGLE/OSM !!! |
162 |
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
|
163 |
} |
//hvis vi fandt vejen ud fra substrengen |
164 |
|
if (gadeident != null) { |
165 |
if ( gadeident == null) { |
break; |
166 |
String vej = googleHelper.proposeStreetName(request, result); |
} |
167 |
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
|
168 |
|
//hvis vi ikke fandt kopierer vi vejnavn fra split igen |
169 |
|
request.vejnavn = result.splitResult.vej; |
170 |
|
result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); |
171 |
|
} |
172 |
} |
} |
173 |
|
|
174 |
|
|
181 |
result.gadeident = gadeident; |
result.gadeident = gadeident; |
182 |
|
|
183 |
|
|
184 |
Map<String, Address> gade = searchGadeidentAdresser.get(gadeident); |
Map<Short, Map<String,Address>> gade = searchGadeidentAdresser.get(gadeident); |
185 |
if (gade == null) { //Denne søgning må ikke fejle |
if (gade == null) { //Denne søgning må ikke fejle |
186 |
result.status = Status.ERROR_INTERNAL; |
result.status = Status.ERROR_INTERNAL; |
187 |
return result; |
return result; |
189 |
|
|
190 |
|
|
191 |
//Kunne evt klares med Iterables.get fra Guava/Collections |
//Kunne evt klares med Iterables.get fra Guava/Collections |
192 |
Address firstAddress = gade.values().iterator().next(); |
Address firstAddress = gade.values().iterator().next().values().iterator().next(); //Første husnr -> første litra |
193 |
result.vej = firstAddress.vejnavn; |
result.vej = firstAddress.vejnavn; |
194 |
|
|
195 |
String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra; |
short husnrSearch = Short.parseShort(result.splitResult.husnr ); |
196 |
Address addr = gade.get(husnrSearch); |
Map<String,Address> litraList = gade.get(husnrSearch); |
197 |
|
|
198 |
|
|
199 |
if (addr == null) { |
if (litraList == null) { //Husnr ikke fundet |
200 |
result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT; |
|
201 |
return result; |
if (naermesteHusnr) { |
202 |
|
TreeMap<Short, Map<String,Address>> gadeTreeMap = (TreeMap<Short, Map<String,Address>>) gade; |
203 |
|
result.anvendtHusnr = NearestShortTreeMap.getNearestKey(husnrSearch, gadeTreeMap); |
204 |
|
|
205 |
|
result.nearestHusnr = true; |
206 |
|
litraList = gade.get(result.anvendtHusnr); |
207 |
|
|
208 |
|
|
209 |
|
} else { |
210 |
|
result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT; |
211 |
|
return result; |
212 |
|
} |
213 |
|
} |
214 |
|
|
215 |
|
Address addr = litraList.get( result.splitResult.litra ); |
216 |
|
|
217 |
|
if (addr == null) { //litra ikke fundet |
218 |
|
if (config.nearestLitra == true || naermesteHusnr == true) { |
219 |
|
result.nearestLitra = true; |
220 |
|
addr = litraList.values().iterator().next(); |
221 |
|
} else { |
222 |
|
//husnr fundet men litra blev ikke fundet |
223 |
|
result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT; |
224 |
|
return result; |
225 |
|
} |
226 |
} |
} |
227 |
|
|
228 |
result.address = addr; |
result.address = addr; |
243 |
|
|
244 |
return result; |
return result; |
245 |
} |
} |
246 |
|
|
247 |
|
|
248 |
|
private Integer lookupStretname(SearchRequest request, SearchResult result, boolean useExternal) { |
249 |
|
String helperSearchKey = ""; |
250 |
|
|
251 |
|
Integer gadeident = request.streetNames.get(result.vasketVejnavn); |
252 |
|
|
253 |
|
|
254 |
|
if ( gadeident == null) { |
255 |
|
helperSearchKey = "" + request.postnr + "/" + result.vasketVejnavn; |
256 |
|
gadeident = helperCache.get(helperSearchKey); |
257 |
|
} |
258 |
|
|
259 |
|
if (gadeident == null) { |
260 |
|
String vej = levenshteinHelper.proposeStreetName(request, result); |
261 |
|
if (vej != null) { |
262 |
|
gadeident = request.streetNames.get(vej); |
263 |
|
} |
264 |
|
} |
265 |
|
|
266 |
|
if (gadeident == null) { |
267 |
|
String vej = metaphoneHelper.proposeStreetName(request, result); |
268 |
|
if (vej != null) { |
269 |
|
gadeident = request.streetNames.get(vej); |
270 |
|
} |
271 |
|
} |
272 |
|
|
273 |
|
|
274 |
|
// Brug OpenStreetMap før vi prøver google |
275 |
|
// For google har en request limit, det har OSM ikke! |
276 |
|
if ( gadeident == null && useExternal) { |
277 |
|
String vej = osmHelper.proposeStreetName(request, result); |
278 |
|
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
279 |
|
} |
280 |
|
|
281 |
|
if ( gadeident == null && useExternal) { |
282 |
|
String vej = googleHelper.proposeStreetName(request, result); |
283 |
|
gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); |
284 |
|
} |
285 |
|
return gadeident; |
286 |
|
} |
287 |
|
|
288 |
private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) { |
private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) { |
289 |
if (vej == null) |
if (vej == null) |
290 |
return null; |
return null; |
291 |
|
|
292 |
String vejVasket = AddressUtils.vaskVejnavn( vej ); |
String vejVasket = AddressUtils.vaskVejnavn( vej ); |
293 |
Long gadeident = postnrVeje.get(vejVasket); |
Integer gadeident = postnrVeje.get(vejVasket); |
294 |
|
|
295 |
if (gadeident != null) { |
if (gadeident != null) { |
296 |
helperCache.put(helperSearchKey, gadeident); |
helperCache.put(helperSearchKey, gadeident); |
299 |
|
|
300 |
} |
} |
301 |
|
|
302 |
public Map<String,Long> getStretsByPostal(int zip) { |
public Map<String,Integer> getStretsByPostal(short zip) { |
303 |
return searchPostnrVejnavnGadeid.get(zip); |
return searchPostnrVejnavnGadeid.get(zip); |
304 |
} |
} |
305 |
|
|
306 |
|
|
307 |
|
|
308 |
public void buildSearchStructures() throws SQLException{ |
public void buildSearchStructures() throws SQLException{ |
309 |
searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>(); |
searchPostnrVejnavnGadeid = new HashMap<Short, Map<String,Integer>>(); |
310 |
searchGadeidentAdresser = new HashMap<Long, Map<String,Address>>(); |
searchGadeidentAdresser = new HashMap<Integer, Map<Short, Map<String,Address>>>(); |
311 |
helperCache = new ConcurrentHashMap<String,Long>(); |
helperCache = new ConcurrentHashMap<String,Integer>(); |
312 |
|
|
313 |
|
// ////////////////////// |
314 |
|
// Start stage1 |
315 |
|
|
316 |
long start1 = System.currentTimeMillis(); |
long start1 = System.currentTimeMillis(); |
317 |
System.out.println("Build -- stage 1"); |
System.out.println("Build -- stage 1"); |
318 |
|
|
319 |
alleAdresser = DatabaseLayer.getAllAdresses(); |
List<Address> alleAdresser = db.getAllAdresses(); |
320 |
|
|
321 |
|
|
322 |
/* Mapper mellem db Row ID og adresse noden */ |
/* Mapper mellem db Row ID og adresse noden - skal bruges i stage3*/ |
323 |
Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() ); |
Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() ); |
324 |
|
|
325 |
|
|
326 |
|
DeduplicateHelper<Short> shortHelper = new DeduplicateHelper<Short>(); |
327 |
|
DeduplicateHelper<Integer> intHelper = new DeduplicateHelper<Integer>(); |
328 |
|
|
329 |
|
AliasGenerator aliasGenerator = new AliasGenerator(); |
330 |
|
|
331 |
|
|
332 |
for (Address a : alleAdresser) { |
for (Address a : alleAdresser) { |
333 |
idAddressMap.put(a.id, a); |
idAddressMap.put(a.id, a); |
334 |
|
|
335 |
Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr); |
Short postnr = shortHelper.getInstance(a.postnr); |
336 |
|
|
337 |
|
Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(postnr); |
338 |
|
|
339 |
if (postnrVeje == null) { |
if (postnrVeje == null) { |
340 |
postnrVeje = new ConcurrentHashMap<String,Long>(); |
postnrVeje = new HashMap<String,Integer>(10240); //lige nu indeholder den største 9500 entries |
341 |
searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje); |
searchPostnrVejnavnGadeid.put(postnr, postnrVeje); |
342 |
} |
} |
343 |
|
|
344 |
|
|
345 |
String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn); |
String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn); |
346 |
Long gadeident = postnrVeje.get(vasketVejnavn); |
Integer gadeident = postnrVeje.get(vasketVejnavn); |
347 |
if (gadeident == null) { |
if (gadeident == null) { |
348 |
//postnrVeje.put(vasketVejnavn, a.gadeid); |
//postnrVeje.put(vasketVejnavn, a.gadeid); |
349 |
|
|
350 |
gadeident = a.gadeid; |
gadeident = intHelper.getInstance( a.gadeid ); |
351 |
|
|
352 |
|
Set<String> aliaser = aliasGenerator.findVejAliaser(a.vejnavn); |
353 |
|
for(String alias : aliaser) { |
354 |
|
postnrVeje.put(alias, gadeident); |
355 |
|
} |
356 |
|
|
|
Set<String> aliaser = findVejAliaser(a.vejnavn); |
|
|
for(String alias : aliaser) { |
|
|
String vasketAlias = AddressUtils.vaskVejnavn(alias); |
|
|
postnrVeje.put(vasketAlias, gadeident); |
|
|
} |
|
357 |
} |
} |
358 |
|
|
359 |
Map<String, Address> gade = searchGadeidentAdresser.get(gadeident); |
|
360 |
|
Map<Short, Map<String,Address>> gade = searchGadeidentAdresser.get(gadeident); |
361 |
if (gade == null) { |
if (gade == null) { |
362 |
gade = new HashMap<String, Address>(); |
gade = new TreeMap<Short, Map<String,Address>>(); |
363 |
searchGadeidentAdresser.put(gadeident, gade); |
searchGadeidentAdresser.put(gadeident, gade); |
364 |
} |
} |
365 |
String husnrSearch = "" + a.husnr + a.husnrbogstav; |
|
366 |
gade.put(husnrSearch, a); |
Map<String,Address> litraList = gade.get(a.husnr); |
367 |
|
if (litraList == null) { |
368 |
|
litraList = new HashMap<String,Address>(); |
369 |
|
gade.put(a.husnr, litraList); |
370 |
|
} |
371 |
|
|
372 |
|
litraList.put(a.husnrbogstav, a); |
373 |
} |
} |
374 |
|
|
375 |
|
|
376 |
|
aliasGenerator.clear(); //frigiv hukommelse inden stage2 |
377 |
|
aliasGenerator = null; |
378 |
|
shortHelper.clear(); |
379 |
|
shortHelper = null; |
380 |
|
intHelper.clear(); |
381 |
|
intHelper = null; |
382 |
|
|
383 |
|
|
384 |
//////////////////////////////////////////////////////////////////////////////////////// |
//////////////////////////////////////////////////////////////////////////////////////// |
385 |
long start2 = System.currentTimeMillis(); |
long start2 = System.currentTimeMillis(); |
386 |
System.out.println("Build, stage1 elapsed: " + (start2-start1) ); |
System.out.println("Build, stage1 elapsed: " + (start2-start1) ); |
387 |
System.out.println("Build -- stage 2 alias tabel"); |
System.out.println("Build -- stage 2 alias tabel"); |
388 |
|
|
389 |
int vaskCount = 0; |
int vaskCount = 0; |
390 |
List<AliasBean> aliasList = DatabaseLayer.getAliasList(); |
List<AliasBean> aliasList = db.getAliasList(); |
391 |
for (AliasBean alias : aliasList) { |
for (AliasBean alias : aliasList) { |
392 |
Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr); |
Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr); |
393 |
|
|
394 |
if (postnrVeje == null) { |
if (postnrVeje == null) { |
395 |
//Burde ikke kunne ske - men better safe than sorry |
//Burde ikke kunne ske - men better safe than sorry |
399 |
String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn); |
String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn); |
400 |
String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn); |
String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn); |
401 |
|
|
402 |
Long gadeident = postnrVeje.get(vasketVej); |
Integer gadeident = postnrVeje.get(vasketVej); |
403 |
if (gadeident == null) { |
if (gadeident == null) { |
404 |
//Kender ikke den oprindelige vej |
//Kender ikke den oprindelige vej |
405 |
continue; |
continue; |
406 |
} |
} |
407 |
|
|
408 |
Long aliasIdent = postnrVeje.get(vasketAlias); |
Integer aliasIdent = postnrVeje.get(vasketAlias); |
409 |
|
|
410 |
if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet |
if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet |
411 |
postnrVeje.put(vasketAlias, gadeident); |
postnrVeje.put(vasketAlias, gadeident); |
415 |
} |
} |
416 |
System.out.println("Anvendte " + vaskCount + " aliaser fra databasen"); |
System.out.println("Anvendte " + vaskCount + " aliaser fra databasen"); |
417 |
|
|
418 |
|
aliasList.clear();//cleanup inden stage3 |
419 |
|
|
420 |
|
|
421 |
//////////////////////////////////////////////////////////////////////////////////////// |
//////////////////////////////////////////////////////////////////////////////////////// |
422 |
long start3 = System.currentTimeMillis(); |
long start3 = System.currentTimeMillis(); |
423 |
System.out.println("Build, stage2 elapsed: " + (start3-start2) ); |
System.out.println("Build, stage2 elapsed: " + (start3-start2) ); |
424 |
System.out.println("Build -- stage 3 udvidet dækning"); |
System.out.println("Build -- stage 3 udvidet dækning"); |
425 |
|
|
426 |
List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist(); |
DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>(); |
427 |
|
DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>(); |
428 |
|
|
429 |
|
List<ExtendedBean> extDao = db.getExtendedAdresslist(); |
430 |
for (ExtendedBean eb : extDao) { |
for (ExtendedBean eb : extDao) { |
431 |
|
|
432 |
Address orgAddress = idAddressMap.get(eb.orgId); |
Address orgAddress = idAddressMap.get(eb.orgId); |
433 |
if (orgAddress == null) |
if (orgAddress == null) |
434 |
continue; |
continue; |
435 |
|
|
436 |
|
if (orgAddress.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) { |
437 |
|
//kan være at adressen er blevet markeret dækket og - find-nærmeste data ikke er opdateret i mellemtiden |
438 |
|
continue; |
439 |
|
} |
440 |
|
|
441 |
Address targetAddress = idAddressMap.get(eb.targetId); |
Address targetAddress = idAddressMap.get(eb.targetId); |
442 |
if (targetAddress == null) |
if (targetAddress == null) { |
443 |
continue; |
continue; |
444 |
|
} |
445 |
|
|
446 |
if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) { |
|
447 |
|
if ( StringUtils.equals(orgAddress.distributor, "LUKKET") ) { |
448 |
continue; |
continue; |
449 |
} |
} |
450 |
|
|
451 |
if (targetAddress.distributor.equals("LUKKET")) { |
|
452 |
|
|
453 |
|
if ( StringUtils.equals(targetAddress.distributor, "LUKKET") ) { |
454 |
continue; |
continue; |
455 |
} |
} |
456 |
|
|
459 |
|
|
460 |
boolean covered = false; |
boolean covered = false; |
461 |
if (targetAddress.distributor.equals("DAO")) { |
if (targetAddress.distributor.equals("DAO")) { |
462 |
orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress); |
orgAddress.ruteMandag = calculateExtendedDaoRoute(eb,orgAddress,targetAddress); |
463 |
if (orgAddress.rute != null) { |
orgAddress.ruteMandag = ruteHelper.getInstance(orgAddress.ruteMandag); |
464 |
orgAddress.koreliste = targetAddress.koreliste; |
|
465 |
|
if (orgAddress.ruteMandag != null) { |
466 |
|
orgAddress.korelisteMandag = targetAddress.korelisteMandag; |
467 |
covered = true; |
covered = true; |
468 |
} |
} |
469 |
} |
} |
470 |
|
|
471 |
if (targetAddress.distributor.equals("BK")) { |
if (targetAddress.distributor.equals("BK")) { |
472 |
orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress); |
orgAddress.korelisteMandag = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress); |
473 |
if (orgAddress.koreliste != null) { |
orgAddress.korelisteMandag = korelisteHelper.getInstance(orgAddress.korelisteMandag); |
474 |
orgAddress.rute = targetAddress.rute; |
|
475 |
|
if (orgAddress.korelisteMandag != null) { |
476 |
|
orgAddress.ruteMandag = targetAddress.ruteMandag; |
477 |
covered = true; |
covered = true; |
478 |
} |
} |
479 |
} |
} |
483 |
orgAddress.dbkBane = targetAddress.dbkBane; |
orgAddress.dbkBane = targetAddress.dbkBane; |
484 |
|
|
485 |
/* Sådan gør den gamle service */ |
/* Sådan gør den gamle service */ |
486 |
orgAddress.kommunekode = targetAddress.kommunekode; |
/* 20150520 THN- hvis vi bibeholder de originale kommune+vejkoder kan vi bruge DAVID til join i databasen*/ |
487 |
orgAddress.vejkode = targetAddress.vejkode; |
//orgAddress.kommunekode = targetAddress.kommunekode; |
488 |
|
//orgAddress.vejkode = targetAddress.vejkode; |
489 |
|
|
490 |
|
|
491 |
orgAddress.distributor = targetAddress.distributor; |
orgAddress.distributor = targetAddress.distributor; |
492 |
} |
} |
493 |
} |
} |
494 |
|
|
495 |
// nu skal vi ikke bruge idAddressMap længere |
// cleanup inden stage 4 |
496 |
idAddressMap = null; |
idAddressMap = null; |
497 |
|
ruteHelper = null; |
498 |
|
korelisteHelper = null; |
499 |
|
|
500 |
////////////////////////////////////////////////////////////////////////////////////// |
////////////////////////////////////////////////////////////////////////////////////// |
501 |
long start4 = System.currentTimeMillis(); |
long start4 = System.currentTimeMillis(); |
502 |
System.out.println("Build, stage3 elapsed: " + (start4-start3) ); |
System.out.println("Build, stage3 elapsed: " + (start4-start3) ); |
503 |
System.out.println("Build -- stage 4 - 100pct"); |
System.out.println("Build -- stage 4 - 100pct"); |
504 |
|
|
505 |
Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList(); |
Map<Short,HundredePctBean> hundredePct = db.get100PctList(); |
506 |
for (Address addr : alleAdresser) { |
for (Address addr : alleAdresser) { |
507 |
if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) { |
if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) { |
508 |
continue; |
continue; |
519 |
} |
} |
520 |
|
|
521 |
addr.daekningsType = DaekningsType.DAEKNING_100PCT; |
addr.daekningsType = DaekningsType.DAEKNING_100PCT; |
522 |
addr.rute = bean.rute; |
addr.ruteMandag = bean.rute; |
523 |
addr.koreliste = bean.koreliste; |
addr.korelisteMandag = bean.koreliste; |
524 |
addr.dbkBane = bean.dbkBane; |
addr.dbkBane = bean.dbkBane; |
525 |
addr.distributor = bean.distributor; |
addr.distributor = bean.distributor; |
526 |
} |
} |
527 |
|
|
528 |
//////////////////////////////////////////////////////////////////////////////////// |
//////////////////////////////////////////////////////////////////////////////////// |
529 |
long stop = System.currentTimeMillis(); |
long stop = System.currentTimeMillis(); |
530 |
System.out.println("Build, stage3 elapsed: " + (stop-start4) ); |
System.out.println("Build, stage4 elapsed: " + (stop-start4) ); |
531 |
System.out.println("Build -- Gathering statistics"); |
System.out.println("Build -- Gathering statistics"); |
532 |
|
|
533 |
for (Address addr : alleAdresser) { |
for (Address addr : alleAdresser) { |
539 |
stats.extendedCount++; |
stats.extendedCount++; |
540 |
break; |
break; |
541 |
case DAEKNING_100PCT: |
case DAEKNING_100PCT: |
542 |
|
hundredePctAdresser.add(addr); |
543 |
stats.hundredePctCount++; |
stats.hundredePctCount++; |
544 |
break; |
break; |
545 |
default: |
default: |
546 |
|
ikkeDaekkedeAdresser.add(addr); |
547 |
stats.ikkeDaekketCount++; |
stats.ikkeDaekketCount++; |
548 |
} |
} |
549 |
} |
} |
550 |
|
stats.totalCount = alleAdresser.size(); |
551 |
|
|
552 |
|
ikkeDaekkedeAdresser.sort( null ); // ved Null comparator bruges Comparable interfacet |
553 |
|
ikkeDaekkedeAdresser.sort( null ); |
554 |
|
|
555 |
|
|
556 |
stats.elapsed = stop-start1; |
stats.elapsed = stop-start1; |
557 |
stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() ); |
stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() ); |
558 |
|
|
559 |
|
System.out.println("Build: totalCount: " + stats.totalCount); |
560 |
System.out.println("Build: direkteCount: " + stats.direkteCount); |
System.out.println("Build: direkteCount: " + stats.direkteCount); |
561 |
System.out.println("Build: extendedCount: " + stats.extendedCount); |
System.out.println("Build: extendedCount: " + stats.extendedCount); |
562 |
System.out.println("Build: hundredePctCount: " + stats.hundredePctCount); |
System.out.println("Build: hundredePctCount: " + stats.hundredePctCount); |
571 |
return stats; |
return stats; |
572 |
} |
} |
573 |
|
|
574 |
|
public DatabaseLayer getDatabaseLayer() { |
575 |
|
return db; |
576 |
|
} |
577 |
|
|
578 |
public void clear() { |
public void clear() { |
579 |
searchPostnrVejnavnGadeid.clear(); |
searchPostnrVejnavnGadeid.clear(); |
580 |
searchGadeidentAdresser.clear(); |
searchGadeidentAdresser.clear(); |
|
alleAdresser.clear(); |
|
581 |
helperCache.clear(); |
helperCache.clear(); |
582 |
} |
} |
583 |
|
|
584 |
|
|
585 |
private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) { |
private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) { |
586 |
|
if (targetAddress.ruteMandag == null) { //hvis targetAdress.rute er null så er adressen ikke dækket alligevel |
587 |
|
return null; |
588 |
|
} |
589 |
|
|
590 |
// /////////////////////////////////////////////////////////////////// |
// /////////////////////////////////////////////////////////////////// |
591 |
switch( eb.transport) { |
switch( eb.transport) { |
592 |
case "cykel": |
case "cykel": |
593 |
if (eb.afstand < 0.151) { |
if (eb.afstand < 0.151) { |
594 |
return "." + targetAddress.rute; |
return "." + targetAddress.ruteMandag; |
595 |
} else if (eb.afstand < 0.501) { |
} else if (eb.afstand < 0.501) { |
596 |
return ".." + targetAddress.rute; |
return ".." + targetAddress.ruteMandag; |
597 |
} else if (eb.afstand < 0.701) { |
} else if (eb.afstand < 0.701) { |
598 |
return "..." + targetAddress.rute; |
return "..." + targetAddress.ruteMandag; |
599 |
} else if (eb.afstand < 0.501) { |
} else if (eb.afstand < 1.001) { |
600 |
return "...." + targetAddress.rute; |
return "...." + targetAddress.ruteMandag; |
601 |
} |
} |
602 |
break; |
break; |
603 |
case "scooter": |
case "scooter": |
604 |
if (eb.afstand < 0.151) { |
if (eb.afstand < 0.151) { |
605 |
return "." + targetAddress.rute; |
return "." + targetAddress.ruteMandag; |
606 |
} else if (eb.afstand < 0.801) { |
} else if (eb.afstand < 0.801) { |
607 |
return ".." + targetAddress.rute; |
return ".." + targetAddress.ruteMandag; |
608 |
} else if (eb.afstand < 1.201) { |
} else if (eb.afstand < 1.201) { |
609 |
return "..." + targetAddress.rute; |
return "..." + targetAddress.ruteMandag; |
610 |
} else if (eb.afstand < 2.101) { |
} else if (eb.afstand < 2.101) { |
611 |
return "...." + targetAddress.rute; |
return "...." + targetAddress.ruteMandag; |
612 |
} |
} |
613 |
break; |
break; |
614 |
case "bil": |
case "bil": |
615 |
if (eb.afstand < 0.151) { |
if (eb.afstand < 0.151) { |
616 |
return "." + targetAddress.rute; |
return "." + targetAddress.ruteMandag; |
617 |
} else if (eb.afstand < 1.001) { |
} else if (eb.afstand < 1.001) { |
618 |
return ".." + targetAddress.rute; |
return ".." + targetAddress.ruteMandag; |
619 |
} else if (eb.afstand < 1.601) { |
} else if (eb.afstand < 1.601) { |
620 |
return "..." + targetAddress.rute; |
return "..." + targetAddress.ruteMandag; |
621 |
} else if (eb.afstand < 2.601) { |
} else if (eb.afstand < 2.601) { |
622 |
return "...." + targetAddress.rute; |
return "...." + targetAddress.ruteMandag; |
623 |
} |
} |
624 |
break; |
break; |
625 |
|
default: |
626 |
|
System.out.println("Ukendt transport type: " + eb ); |
627 |
} |
} |
628 |
return null; |
return null; |
629 |
} |
} |
630 |
|
|
631 |
public List<Address> getNonCoveredAddresses() { |
public List<Address> getNonCoveredAddresses() { |
632 |
List<Address> result = new ArrayList<Address>(60000); |
return ikkeDaekkedeAdresser; |
633 |
for (Address a : alleAdresser) { |
} |
634 |
if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) { |
|
635 |
result.add(a); |
public List<Address> get100PctAddresses() { |
636 |
} |
return hundredePctAdresser; |
|
} |
|
|
Collections.sort(result ); |
|
|
return result; |
|
637 |
} |
} |
638 |
|
|
639 |
/////////////////////////////////////////////////////////// |
/////////////////////////////////////////////////////////// |
644 |
} else { |
} else { |
645 |
inject = ".."; |
inject = ".."; |
646 |
} |
} |
647 |
return AddressUtils.injectIntoBk(targetAddress.koreliste, inject); |
return AddressUtils.injectIntoBk(targetAddress.korelisteMandag, inject); |
648 |
} |
} |
649 |
|
|
650 |
private Set<String> findVejAliaser(String vejnavn) { |
|
651 |
vejnavn = vejnavn.toLowerCase(); |
public Set<Short> getPostnumre() { |
652 |
HashSet<String> aliasSet = new HashSet<String>(); |
return new TreeSet<Short>( searchPostnrVejnavnGadeid.keySet() ); |
653 |
aliasSet.add(vejnavn); |
} |
654 |
|
|
655 |
aliasSet.add(vejnavn.replace("u", "ü") ); |
public Set<Entry<String,Integer>> getVejnavne(short postnr) { |
656 |
aliasSet.add(vejnavn.replace("ü", "u") ); |
Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr); |
|
|
|
|
aliasSet.add(vejnavn.replace("alle", "allé") ); |
|
|
aliasSet.add(vejnavn.replace("allé", "alle") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("dronningens", "dr") ); |
|
|
aliasSet.add(vejnavn.replace("dr.", "dronningens") ); |
|
|
aliasSet.add(vejnavn.replace("dr ", "dronningens") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("dronning", "dr") ); |
|
|
aliasSet.add(vejnavn.replace("dr.", "dronning") ); |
|
|
aliasSet.add(vejnavn.replace("dr ", "dronning") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("kng", "kongen") ); |
|
|
aliasSet.add(vejnavn.replace("kongen", "kng") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("kvt", "kvarter") ); |
|
|
aliasSet.add(vejnavn.replace("kvarter", "kvt") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("gl", "gammel") ); |
|
|
aliasSet.add(vejnavn.replace("gammel", "gl") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("lille", "ll") ); |
|
|
aliasSet.add(vejnavn.replace("ll ", "lille") ); |
|
|
aliasSet.add(vejnavn.replace("ll.", "lille") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("store", "st") ); |
|
|
aliasSet.add(vejnavn.replace("st ", "store") ); |
|
|
aliasSet.add(vejnavn.replace("st.", "store") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("søndre", "sdr") ); |
|
|
aliasSet.add(vejnavn.replace("sdr", "søndre") ); |
|
|
|
|
657 |
|
|
658 |
aliasSet.add(vejnavn.replace("nørre", "nr") ); |
TreeMap<String,Integer> newMap = new TreeMap<String,Integer>( map );//Lav et nyt TreeMap for at sikre sortering |
|
aliasSet.add(vejnavn.replace("nr", "nørre") ); |
|
659 |
|
|
660 |
aliasSet.add(vejnavn.replace("nordre", "ndr") ); |
return newMap.entrySet(); |
661 |
aliasSet.add(vejnavn.replace("ndr", "nordre") ); |
} |
662 |
|
|
663 |
|
public Set<String> getHusnumre(int gadeid) { |
664 |
|
|
665 |
aliasSet.add(vejnavn.replace("sankt", "skt") ); |
Map<Short,Map<String, Address>> gade = searchGadeidentAdresser.get(gadeid); |
|
aliasSet.add(vejnavn.replace("sankt", "sct") ); |
|
|
aliasSet.add(vejnavn.replace("skt", "sankt") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("skt", "sct") ); |
|
|
aliasSet.add(vejnavn.replace("sct", "skt") ); |
|
|
|
|
|
|
|
|
// fornavn forkortelser |
|
|
aliasSet.add(vejnavn.replace("john", "j") ); |
|
|
aliasSet.add(vejnavn.replace("thomas", "th") ); |
|
|
aliasSet.add(vejnavn.replace("thorvald", "th") ); |
|
|
|
|
|
|
|
|
// Romertal |
|
|
aliasSet.add(vejnavn.replace("1", "i") ); |
|
|
aliasSet.add(vejnavn.replace("i", "1") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("2", "ii") ); |
|
|
aliasSet.add(vejnavn.replace("ii", "2") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("3", "iii") ); |
|
|
aliasSet.add(vejnavn.replace("iii", "3") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("4", "iv") ); |
|
|
aliasSet.add(vejnavn.replace("iv", "4") ); |
|
666 |
|
|
667 |
aliasSet.add(vejnavn.replace("5", "v") ); |
Set<String> set = new TreeSet<String>( new NaturalOrderComparator<String>() ); |
668 |
aliasSet.add(vejnavn.replace("v", "5") ); |
for(Map<String,Address> litraList : gade.values()) { |
669 |
|
for (Address a: litraList.values()) { |
670 |
aliasSet.add(vejnavn.replace("6", "vi") ); |
set.add( a.husnr + a.husnrbogstav ); |
671 |
aliasSet.add(vejnavn.replace("vi", "6") ); |
} |
|
|
|
|
aliasSet.add(vejnavn.replace("7", "vii") ); |
|
|
aliasSet.add(vejnavn.replace("vii", "7") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("8", "viii") ); |
|
|
aliasSet.add(vejnavn.replace("viii", "8") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("9", "ix") ); |
|
|
aliasSet.add(vejnavn.replace("ix", "9") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("10", "x") ); |
|
|
aliasSet.add(vejnavn.replace("x", "10") ); |
|
|
|
|
|
|
|
|
//alternative måder at stave vej/gade/alle |
|
|
aliasSet.add(vejnavn.replace("vej", "ve") ); |
|
|
aliasSet.add(vejnavn.replace("vej", "vj") ); |
|
|
aliasSet.add(vejnavn.replace("vej", "v") ); |
|
|
aliasSet.add(vejnavn.replace("vej", "vejen") ); |
|
|
aliasSet.add(vejnavn.replace("vejen", "vej") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("alle", "all") ); |
|
|
aliasSet.add(vejnavn.replace("allé", "all") ); |
|
|
aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo |
|
|
aliasSet.add(vejnavn.replace("allé", "allú") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo |
|
|
aliasSet.add(vejnavn.replace("gade", "gde") ); |
|
|
|
|
|
aliasSet.add(vejnavn.replace("plads", "pl") ); |
|
|
aliasSet.add(vejnavn.replace("vænget", "vænge") ); |
|
|
|
|
|
|
|
|
// Opbyg æøå varianter over alle fundne aliaser |
|
|
|
|
|
@SuppressWarnings("unchecked") |
|
|
HashSet<String> variants = (HashSet<String>) aliasSet.clone(); |
|
|
|
|
|
for (String vVejnavn : variants) { |
|
|
// danske tegn 1 |
|
|
aliasSet.add( vVejnavn.replace("æ", "ae") ); |
|
|
aliasSet.add( vVejnavn.replace("ø", "oe") ); |
|
|
aliasSet.add( vVejnavn.replace("å", "aa") ); |
|
|
aliasSet.add( vVejnavn.replace("ae", "æ") ); |
|
|
aliasSet.add( vVejnavn.replace("oe", "ø") ); |
|
|
aliasSet.add( vVejnavn.replace("aa", "å") ); |
|
|
|
|
|
//danske tegn 2 |
|
|
aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") ); |
|
|
aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") ); |
|
|
aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") ); |
|
|
aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") ); |
|
|
aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") ); |
|
|
aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") ); |
|
|
|
|
|
//danske tegn 3 |
|
|
aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") ); |
|
|
aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") ); |
|
672 |
} |
} |
673 |
|
|
674 |
return aliasSet; |
return set; |
675 |
} |
} |
676 |
|
|
677 |
|
public Address getAdresse(int gadeid, String husnrStr) { |
678 |
|
short husnr = Short.parseShort( husnrStr.replaceAll("[^\\d]","") ); |
679 |
|
String litra = husnrStr.replaceAll("\\d", ""); |
680 |
|
|
681 |
|
Map<Short,Map<String, Address>> gade = searchGadeidentAdresser.get(gadeid); |
682 |
|
Map<String, Address> litraList = gade.get(husnr); |
683 |
|
return litraList.get(litra); |
684 |
|
|
685 |
|
} |
686 |
|
|
687 |
} |
} |