/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AddressSearch.java revision 2411 by torben, Sat Feb 28 17:08:59 2015 UTC dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java revision 2832 by torben, Tue Jan 19 17:27:57 2016 UTC
# Line 6  import java.util.ArrayList; Line 6  import java.util.ArrayList;
6  import java.util.Collections;  import java.util.Collections;
7  import java.util.Date;  import java.util.Date;
8  import java.util.HashMap;  import java.util.HashMap;
 import java.util.HashSet;  
9  import java.util.List;  import java.util.List;
10  import java.util.Map;  import java.util.Map;
11    import java.util.Map.Entry;
12  import java.util.Set;  import java.util.Set;
13    import java.util.TreeMap;
14    import java.util.TreeSet;
15  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
16    
17  import org.apache.commons.lang3.StringUtils;  import org.apache.commons.lang3.StringUtils;
# Line 24  import dk.daoas.daoadresseservice.beans. Line 26  import dk.daoas.daoadresseservice.beans.
26  import dk.daoas.daoadresseservice.beans.SearchResult;  import dk.daoas.daoadresseservice.beans.SearchResult;
27  import dk.daoas.daoadresseservice.beans.SearchResult.Status;  import dk.daoas.daoadresseservice.beans.SearchResult.Status;
28  import dk.daoas.daoadresseservice.db.DatabaseLayer;  import dk.daoas.daoadresseservice.db.DatabaseLayer;
29    import dk.daoas.daoadresseservice.util.DaoUtils;
30    import dk.daoas.daoadresseservice.util.DeduplicateHelper;
31    import dk.daoas.daoadresseservice.util.NaturalOrderComparator;
32    import dk.daoas.daoadresseservice.util.NearestShortTreeMap;
33    
34  public class AddressSearch {  public class AddressSearch {
35    
36          private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;                private Map<Short, Map<String,Integer>> searchPostnrVejnavnGadeid;      
37          private Map<Long,  Map<String,Address>> searchGadeidentAdresser;          private Map<Integer,  Map<Short, Map<String,Address>>> searchGadeidentAdresser; // Gadeident -> husnrumre -> litra
38            
39          private List<Address> alleAdresser;          private List<Address> ikkeDaekkedeAdresser = new ArrayList<Address>(60000);
40            private List<Address> hundredePctAdresser = new ArrayList<Address>(120000);
41                    
42          private Map<String,Long> helperCache;          private Map<String,Integer> helperCache;
43                    
44          private DataStatisticsBean stats = new DataStatisticsBean();          private DataStatisticsBean stats = new DataStatisticsBean();
45                    
46          ServiceConfig config;          private DatabaseLayer db;
47            private ServiceConfig config;
48            
49                    
50          StreetnameHelper levenshteinHelper;          StreetnameHelper levenshteinHelper;
51            StreetnameHelper metaphoneHelper;
52          StreetnameHelper googleHelper;          StreetnameHelper googleHelper;
53          StreetnameHelper osmHelper;          StreetnameHelper osmHelper;
54                    
55                    
56          public AddressSearch(ServiceConfig config) {          public AddressSearch(DatabaseLayer db, ServiceConfig config) {
57                    
58                    this.db = db;
59                  this.config = config;                  this.config = config;
60                                    
61                  levenshteinHelper = new LevenshteinStreetnameHelper( this );                  levenshteinHelper = new LevenshteinStreetnameHelper( this );
62                    metaphoneHelper = new DoubleMetaphoneStreetnameHelper(config);
63                  googleHelper = new GoogleStreetnameHelper( config );                  googleHelper = new GoogleStreetnameHelper( config );
64                  osmHelper = new OSMStreetnameHelper( config );                  osmHelper = new OSMStreetnameHelper( config );
65          }          }
66                    
67            public Address getAddressSafe(int gadeid, short husnr, String litra)  throws Exception {
68                    
69                    Map<Short, Map<String,Address>> gade = searchGadeidentAdresser.get(gadeid);
70                    
71                    if (gade == null) {
72                            throw new Exception("GadeID ikke fundet");
73                    }
74                    
75                    Map<String,Address> litraList = gade.get(husnr);
76                    
77                    Address addr = litraList.get(litra);
78                    
79                    if (addr == null) {
80                            throw new Exception("Adresse ikke ikke fundet");
81                    }
82                                    
83                    return addr;
84            }
85                    
86    
87          public SearchResult search(String postnrStr, String adresse)  {          public SearchResult search(String postnrStr, String adresse)  {
88                    return search(postnrStr, adresse, false);
89            }
90            
91            
92            public SearchResult search(String postnrStr, String adresse, boolean naermesteHusnr)  {
93                    
94                    postnrStr = postnrStr.trim();
95                    adresse = adresse.trim();
96                    
97                    
98                  SearchRequest request = new SearchRequest();                  SearchRequest request = new SearchRequest();
99                  SearchResult result = new SearchResult();                  SearchResult result = new SearchResult();
100                                    
   
                 String helperSearchKey = "";  
101                                    
102                  try {                  try {
103                          request.postnr = Integer.parseInt(postnrStr);                          request.postnr = Short.parseShort(postnrStr);
104                  } catch (Exception E) {                  } catch (Exception E) {
105                          result.status = Status.ERROR_UNKNOWN_POSTAL;                          result.status = Status.ERROR_UNKNOWN_POSTAL;
106                          return result;                          return result;
107                  }                                }              
108                                    
                 ;  
109                                    
110                  request.streetNames = searchPostnrVejnavnGadeid.get(request.postnr);                                      request.streetNames = searchPostnrVejnavnGadeid.get(request.postnr);                    
111                                    
# Line 86  public class AddressSearch { Line 125  public class AddressSearch {
125                          return result;                          return result;
126                  }                  }
127                                    
128                  request.vasketVejnavn = AddressUtils.vaskVejnavn( result.splitResult.vej );                  result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
                   
                 Long gadeident =  request.streetNames.get(request.vasketVejnavn);  
129                                    
130                    
131                  if ( gadeident == null) {                  if (result.vasketVejnavn.indexOf("pakkebo") > -1
132                          helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn;                                  || result.vasketVejnavn.indexOf("pakkepost") > -1
133                          gadeident = helperCache.get(helperSearchKey);                                  || result.vasketVejnavn.indexOf("postbo") > -1   // postbox/postboks
134                                    || result.vasketVejnavn.indexOf("døgnpost") > -1
135                                    || result.vasketVejnavn.indexOf("døgnbo") > -1 // døgnbox // døgnboks
136                                    || result.vasketVejnavn.equals("id")
137                                    ) {
138                            result.status = Status.ERROR_POSTBOX;
139                            return result;                  
140                  }                  }
141                                    
142                  if (gadeident == null) {                  // LookupStreetname er en indkapsling af alm + levenstein + google + osm
143                          String vej = levenshteinHelper.proposeStreetName(request, result);                  Integer gadeident = lookupStretname(request, result, true);
                         if (vej != null) {  
                                 gadeident =  request.streetNames.get(vej);  
                         }  
                 }  
144                                    
145                                    
146                  // Brug OpenStreetMap før vi prøver google                  /*
147                  // For google har en request limit, det har OSM ikke!                   * Hvis der ikke er direkte hits, prøver vi at skære ord af vejnavn
148                  if ( gadeident == null) {                   *
149                          String vej = osmHelper.proposeStreetName(request, result);                                 * <strike>Denne sektion er MEGET experimental da den øger antallet af kald til google/OSM væsentligt</strike>*/
150                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);                  if (gadeident == null) {
151                  }                          final int MAX_TRIES = 4;
152                                            
153                  if ( gadeident == null) {                          String vejnavnParts[] = request.vejnavn.split(" ");
154                          String vej = googleHelper.proposeStreetName(request, result);                                    
155                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);                          for (int i=1; i<=MAX_TRIES && i<vejnavnParts.length; i++) {
156                                    String subVejnavn = DaoUtils.joinHelper(vejnavnParts, i);
157                                    
158                                    request.vejnavn = subVejnavn;
159                                    result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
160                                    
161                                    gadeident = lookupStretname(request, result, false);//prøv opslag MEN UDEN GOOGLE/OSM !!!
162                                    
163                                    //hvis vi fandt vejen ud fra substrengen
164                                    if (gadeident != null) {
165                                            break;
166                                    }                      
167                                    
168                                    //hvis vi ikke fandt kopierer vi vejnavn fra split igen
169                                    request.vejnavn = result.splitResult.vej;
170                                    result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
171                            }                      
172                  }                  }
173                                    
174    
# Line 126  public class AddressSearch { Line 181  public class AddressSearch {
181                  result.gadeident = gadeident;                  result.gadeident = gadeident;
182                                    
183                                    
184                  Map<String, Address> gade = searchGadeidentAdresser.get(gadeident);                  Map<Short, Map<String,Address>> gade = searchGadeidentAdresser.get(gadeident);
185                  if (gade == null) { //Denne søgning må ikke fejle                  if (gade == null) { //Denne søgning må ikke fejle
186                          result.status = Status.ERROR_INTERNAL;                          result.status = Status.ERROR_INTERNAL;
187                          return result;                                            return result;                  
# Line 134  public class AddressSearch { Line 189  public class AddressSearch {
189                                    
190                                    
191                  //Kunne evt klares med Iterables.get fra Guava/Collections                  //Kunne evt klares med Iterables.get fra Guava/Collections
192                  Address firstAddress = gade.values().iterator().next();                  Address firstAddress = gade.values().iterator().next().values().iterator().next(); //Første husnr -> første litra
193                  result.vej = firstAddress.vejnavn;                  result.vej = firstAddress.vejnavn;
194                                    
195                  String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra;                  short husnrSearch = Short.parseShort(result.splitResult.husnr );                
196                  Address addr = gade.get(husnrSearch);                  Map<String,Address> litraList = gade.get(husnrSearch);
197                    
198    
199                  if (addr == null) {                  if (litraList == null) { //Husnr ikke fundet
200                          result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;                          
201                          return result;                          if (naermesteHusnr) {
202                                    TreeMap<Short, Map<String,Address>> gadeTreeMap = (TreeMap<Short, Map<String,Address>>) gade;
203                                    result.anvendtHusnr = NearestShortTreeMap.getNearestKey(husnrSearch, gadeTreeMap);
204                                    
205                                    result.nearestHusnr = true;
206                                    litraList = gade.get(result.anvendtHusnr);
207                                    
208                                    
209                            } else {
210                                    result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;
211                                    return result;  
212                            }
213                    }
214                    
215                    Address addr = litraList.get( result.splitResult.litra );
216                    
217                    if (addr == null) { //litra ikke fundet
218                            if (config.nearestLitra == true || naermesteHusnr == true) {
219                                    result.nearestLitra = true;
220                                    addr = litraList.values().iterator().next();                            
221                            } else {
222                                    //husnr fundet men litra blev ikke fundet
223                                    result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;
224                                    return result;  
225                            }                      
226                  }                  }
227                                    
228                  result.address = addr;                  result.address = addr;
# Line 163  public class AddressSearch { Line 243  public class AddressSearch {
243    
244                  return result;                  return result;
245          }          }
246    
247    
248            private Integer lookupStretname(SearchRequest request, SearchResult result, boolean useExternal) {
249                    String helperSearchKey = "";
250                    
251                    Integer gadeident =  request.streetNames.get(result.vasketVejnavn);
252                    
253                    
254                    if ( gadeident == null) {
255                            helperSearchKey = "" + request.postnr + "/" + result.vasketVejnavn;
256                            gadeident = helperCache.get(helperSearchKey);
257                    }
258                    
259                    if (gadeident == null) {
260                            String vej = levenshteinHelper.proposeStreetName(request, result);
261                            if (vej != null) {
262                                    gadeident =  request.streetNames.get(vej);
263                            }
264                    }
265                    
266                    if (gadeident == null) {
267                            String vej = metaphoneHelper.proposeStreetName(request, result);
268                            if (vej != null) {
269                                    gadeident =  request.streetNames.get(vej);
270                            }
271                    }
272                    
273                    
274                    // Brug OpenStreetMap før vi prøver google
275                    // For google har en request limit, det har OSM ikke!
276                    if ( gadeident == null && useExternal) {
277                            String vej = osmHelper.proposeStreetName(request, result);              
278                            gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
279                    }
280                    
281                    if ( gadeident == null && useExternal) {
282                            String vej = googleHelper.proposeStreetName(request, result);          
283                            gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
284                    }
285                    return gadeident;
286            }
287                    
288          private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) {          private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) {
289                  if (vej == null)                  if (vej == null)
290                          return null;                          return null;
291                                    
292                  String vejVasket = AddressUtils.vaskVejnavn( vej );                  String vejVasket = AddressUtils.vaskVejnavn( vej );
293                  Long gadeident =  postnrVeje.get(vejVasket);                  Integer gadeident =  postnrVeje.get(vejVasket);
294                                    
295                  if (gadeident != null) {                  if (gadeident != null) {
296                          helperCache.put(helperSearchKey, gadeident);                          helperCache.put(helperSearchKey, gadeident);
# Line 178  public class AddressSearch { Line 299  public class AddressSearch {
299                                    
300          }          }
301                    
302          public Map<String,Long> getStretsByPostal(int zip) {          public Map<String,Integer> getStretsByPostal(short zip) {
303                  return searchPostnrVejnavnGadeid.get(zip);                  return searchPostnrVejnavnGadeid.get(zip);
304          }          }
305    
306                    
307                    
308          public void buildSearchStructures() throws SQLException{          public void buildSearchStructures() throws SQLException{
309                  searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();                  searchPostnrVejnavnGadeid = new HashMap<Short, Map<String,Integer>>();
310                  searchGadeidentAdresser = new HashMap<Long,  Map<String,Address>>();                  searchGadeidentAdresser = new HashMap<Integer,  Map<Short, Map<String,Address>>>();
311                  helperCache = new ConcurrentHashMap<String,Long>();                  helperCache = new ConcurrentHashMap<String,Integer>();
312                    
313                    // //////////////////////
314                    // Start stage1
315                                    
316                  long start1 = System.currentTimeMillis();                  long start1 = System.currentTimeMillis();
317                  System.out.println("Build -- stage 1");                  System.out.println("Build -- stage 1");
318                                    
319                  alleAdresser = DatabaseLayer.getAllAdresses();                  List<Address> alleAdresser = db.getAllAdresses();
320                                    
321                                    
322                  /* Mapper mellem db Row ID og adresse noden */                  /* Mapper mellem db Row ID og adresse noden - skal bruges i stage3*/
323                  Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );                  Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
324                                    
325                    
326                    DeduplicateHelper<Short> shortHelper = new DeduplicateHelper<Short>();
327                    DeduplicateHelper<Integer> intHelper = new DeduplicateHelper<Integer>();
328                    
329                    AliasGenerator aliasGenerator = new AliasGenerator();
330                    
331                    
332                  for (Address a : alleAdresser) {                  for (Address a : alleAdresser) {
333                          idAddressMap.put(a.id, a);                          idAddressMap.put(a.id, a);
334                                                    
335                          Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);                                    Short postnr = shortHelper.getInstance(a.postnr);
336                            
337                            Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(postnr);        
338                                                    
339                          if (postnrVeje == null) {                          if (postnrVeje == null) {
340                                  postnrVeje = new ConcurrentHashMap<String,Long>();                                  postnrVeje = new HashMap<String,Integer>(10240); //lige nu indeholder den største 9500 entries
341                                  searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);                                  searchPostnrVejnavnGadeid.put(postnr, postnrVeje);
342                          }                          }
343                                    
344                                                    
345                          String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);                          String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
346                          Long gadeident = postnrVeje.get(vasketVejnavn);                          Integer gadeident = postnrVeje.get(vasketVejnavn);
347                          if (gadeident == null) {                                                          if (gadeident == null) {                                
348                                  //postnrVeje.put(vasketVejnavn, a.gadeid);                                  //postnrVeje.put(vasketVejnavn, a.gadeid);
349                                                                    
350                                  gadeident = a.gadeid;                                  gadeident = intHelper.getInstance( a.gadeid );
351                                    
352                                    Set<String> aliaser = aliasGenerator.findVejAliaser(a.vejnavn);
353                                    for(String alias : aliaser) {                                  
354                                            postnrVeje.put(alias, gadeident);      
355                                    }
356                                                                    
                                 Set<String> aliaser = findVejAliaser(a.vejnavn);  
                                 for(String alias : aliaser) {  
                                         String vasketAlias = AddressUtils.vaskVejnavn(alias);  
                                         postnrVeje.put(vasketAlias, gadeident);  
                                 }                                
357                          }                          }
358                                                    
359                          Map<String, Address> gade =  searchGadeidentAdresser.get(gadeident);                          
360                            Map<Short, Map<String,Address>> gade =  searchGadeidentAdresser.get(gadeident);
361                          if (gade == null) {                          if (gade == null) {
362                                  gade = new HashMap<String, Address>();                                  gade = new TreeMap<Short, Map<String,Address>>();
363                                  searchGadeidentAdresser.put(gadeident, gade);                                  searchGadeidentAdresser.put(gadeident, gade);
364                          }                          }
365                          String husnrSearch = "" + a.husnr + a.husnrbogstav;                          
366                          gade.put(husnrSearch, a);                                                Map<String,Address> litraList = gade.get(a.husnr);
367                            if (litraList == null) {
368                                    litraList = new HashMap<String,Address>();
369                                    gade.put(a.husnr, litraList);
370                            }
371                            
372                            litraList.put(a.husnrbogstav, a);                      
373                  }                  }
374                                    
375                    
376                    aliasGenerator.clear();  //frigiv hukommelse inden stage2
377                    aliasGenerator = null;
378                    shortHelper.clear();
379                    shortHelper = null;
380                    intHelper.clear();
381                    intHelper = null;
382                                    
383    
384                  ////////////////////////////////////////////////////////////////////////////////////////                  ////////////////////////////////////////////////////////////////////////////////////////
385                  long start2 = System.currentTimeMillis();                  long start2 = System.currentTimeMillis();
386                  System.out.println("Build, stage1 elapsed: " + (start2-start1) );                  System.out.println("Build, stage1 elapsed: " + (start2-start1) );
387                  System.out.println("Build -- stage 2 alias tabel");                  System.out.println("Build -- stage 2 alias tabel");
388                                    
389                  int vaskCount = 0;                  int vaskCount = 0;
390                  List<AliasBean> aliasList = DatabaseLayer.getAliasList();                  List<AliasBean> aliasList = db.getAliasList();
391                  for (AliasBean alias : aliasList) {                  for (AliasBean alias : aliasList) {
392                          Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);                          Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
393                                                    
394                          if (postnrVeje == null) {                          if (postnrVeje == null) {
395                                  //Burde ikke kunne ske - men better safe than sorry                                  //Burde ikke kunne ske - men better safe than sorry
# Line 249  public class AddressSearch { Line 399  public class AddressSearch {
399                          String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);                          String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);
400                          String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);                          String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);
401                                                    
402                          Long gadeident = postnrVeje.get(vasketVej);                          Integer gadeident = postnrVeje.get(vasketVej);
403                          if (gadeident == null) {                          if (gadeident == null) {
404                                  //Kender ikke den oprindelige vej                                  //Kender ikke den oprindelige vej
405                                  continue;                                  continue;
406                          }                          }
407                                                    
408                          Long aliasIdent = postnrVeje.get(vasketAlias);                          Integer aliasIdent = postnrVeje.get(vasketAlias);
409                                                    
410                          if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet                          if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet
411                                  postnrVeje.put(vasketAlias, gadeident);                                  postnrVeje.put(vasketAlias, gadeident);
# Line 265  public class AddressSearch { Line 415  public class AddressSearch {
415                  }                  }
416                  System.out.println("Anvendte " + vaskCount + " aliaser fra databasen");                  System.out.println("Anvendte " + vaskCount + " aliaser fra databasen");
417                                    
418                    aliasList.clear();//cleanup inden stage3
419                    
420                                    
421                  ////////////////////////////////////////////////////////////////////////////////////////                  ////////////////////////////////////////////////////////////////////////////////////////
422                  long start3 = System.currentTimeMillis();                  long start3 = System.currentTimeMillis();
423                  System.out.println("Build, stage2 elapsed: " + (start3-start2) );                  System.out.println("Build, stage2 elapsed: " + (start3-start2) );
424                  System.out.println("Build -- stage 3 udvidet dækning");                  System.out.println("Build -- stage 3 udvidet dækning");
425                                    
426                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();                  DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>();
427                    DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>();
428                    
429                    List<ExtendedBean> extDao = db.getExtendedAdresslist();
430                  for (ExtendedBean eb : extDao) {                  for (ExtendedBean eb : extDao) {
431                                                    
432                          Address orgAddress = idAddressMap.get(eb.orgId);                                                  Address orgAddress = idAddressMap.get(eb.orgId);                        
433                          if (orgAddress == null)                          if (orgAddress == null)
434                                  continue;                                  continue;
435                                                    
436                            if (orgAddress.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
437                                    //kan være at adressen er blevet markeret dækket og - find-nærmeste data ikke er opdateret i mellemtiden
438                                    continue;
439                            }
440                            
441                          Address targetAddress = idAddressMap.get(eb.targetId);                          Address targetAddress = idAddressMap.get(eb.targetId);
442                          if (targetAddress == null)                          if (targetAddress == null) {
443                                  continue;                                  continue;
444                            }
445                            
446                                                    
447                          if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) {                          if ( StringUtils.equals(orgAddress.distributor, "LUKKET") ) {
448                                  continue;                                  continue;
449                          }                                                }                      
450                                                    
451                          if (targetAddress.distributor.equals("LUKKET")) {                          
452                            
453                            if ( StringUtils.equals(targetAddress.distributor, "LUKKET") ) {
454                                  continue;                                  continue;
455                          }                          }
456                                                    
# Line 295  public class AddressSearch { Line 459  public class AddressSearch {
459    
460                          boolean covered = false;                          boolean covered = false;
461                          if (targetAddress.distributor.equals("DAO")) {                          if (targetAddress.distributor.equals("DAO")) {
462                                  orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);                                                                orgAddress.ruteMandag = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);
463                                  if (orgAddress.rute != null) {                                  orgAddress.ruteMandag = ruteHelper.getInstance(orgAddress.ruteMandag);
464                                          orgAddress.koreliste = targetAddress.koreliste;                                  
465                                    if (orgAddress.ruteMandag != null) {
466                                            orgAddress.korelisteMandag = targetAddress.korelisteMandag;
467                                          covered = true;                                          covered = true;
468                                  }                                  }
469                          }                          }
470                                                    
471                          if (targetAddress.distributor.equals("BK")) {                          if (targetAddress.distributor.equals("BK")) {
472                                  orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);                                                                orgAddress.korelisteMandag = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);
473                                  if (orgAddress.koreliste != null) {                                  orgAddress.korelisteMandag = korelisteHelper.getInstance(orgAddress.korelisteMandag);
474                                          orgAddress.rute = targetAddress.rute;                                  
475                                    if (orgAddress.korelisteMandag != null) {
476                                            orgAddress.ruteMandag = targetAddress.ruteMandag;
477                                          covered = true;                                          covered = true;
478                                  }                                  }
479                          }                          }
# Line 315  public class AddressSearch { Line 483  public class AddressSearch {
483                                  orgAddress.dbkBane = targetAddress.dbkBane;                                  orgAddress.dbkBane = targetAddress.dbkBane;
484                                                                    
485                                  /* Sådan gør den gamle service */                                  /* Sådan gør den gamle service */
486                                  orgAddress.kommunekode = targetAddress.kommunekode;                                  /* 20150520 THN- hvis vi bibeholder de originale kommune+vejkoder kan vi bruge DAVID til join i databasen*/
487                                  orgAddress.vejkode = targetAddress.vejkode;                                  //orgAddress.kommunekode = targetAddress.kommunekode;
488                                    //orgAddress.vejkode = targetAddress.vejkode;
489                                    
490                                                                    
491                                  orgAddress.distributor = targetAddress.distributor;                                  orgAddress.distributor = targetAddress.distributor;
492                          }                          }
493                  }                  }
494                                    
495                  // nu skal vi ikke bruge idAddressMap længere                  // cleanup inden stage 4
496                  idAddressMap = null;                  idAddressMap = null;
497                    ruteHelper = null;
498                    korelisteHelper = null;
499                                    
500                  //////////////////////////////////////////////////////////////////////////////////////                  //////////////////////////////////////////////////////////////////////////////////////
501                  long start4 = System.currentTimeMillis();                  long start4 = System.currentTimeMillis();
502                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );
503                  System.out.println("Build -- stage 4 - 100pct");                  System.out.println("Build -- stage 4 - 100pct");
504                                    
505                  Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();                  Map<Short,HundredePctBean> hundredePct = db.get100PctList();
506                  for (Address addr : alleAdresser) {                  for (Address addr : alleAdresser) {
507                          if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                                                  if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                        
508                                  continue;                                  continue;
# Line 347  public class AddressSearch { Line 519  public class AddressSearch {
519                          }                          }
520                                                    
521                          addr.daekningsType = DaekningsType.DAEKNING_100PCT;                          addr.daekningsType = DaekningsType.DAEKNING_100PCT;
522                          addr.rute = bean.rute;                          addr.ruteMandag = bean.rute;
523                          addr.koreliste = bean.koreliste;                          addr.korelisteMandag = bean.koreliste;
524                          addr.dbkBane = bean.dbkBane;                          addr.dbkBane = bean.dbkBane;
525                          addr.distributor = bean.distributor;                          addr.distributor = bean.distributor;
526                  }                  }
527                                    
528                  ////////////////////////////////////////////////////////////////////////////////////                  ////////////////////////////////////////////////////////////////////////////////////
529                  long stop = System.currentTimeMillis();                  long stop = System.currentTimeMillis();
530                  System.out.println("Build, stage3 elapsed: " + (stop-start4) );                  System.out.println("Build, stage4 elapsed: " + (stop-start4) );
531                  System.out.println("Build -- Gathering statistics");                  System.out.println("Build -- Gathering statistics");
532                                                                    
533                  for (Address addr : alleAdresser) {                  for (Address addr : alleAdresser) {
# Line 367  public class AddressSearch { Line 539  public class AddressSearch {
539                                  stats.extendedCount++;                                  stats.extendedCount++;
540                                  break;                                  break;
541                          case DAEKNING_100PCT:                          case DAEKNING_100PCT:
542                                    hundredePctAdresser.add(addr);
543                                  stats.hundredePctCount++;                                  stats.hundredePctCount++;
544                                  break;                                  break;
545                          default:                          default:
546                                    ikkeDaekkedeAdresser.add(addr);
547                                  stats.ikkeDaekketCount++;                                  stats.ikkeDaekketCount++;
548                          }                          }
549                  }                                }              
550                    stats.totalCount = alleAdresser.size();
551                                    
552                    Collections.sort( ikkeDaekkedeAdresser ); //Bruger Comparable interfacet
553                    Collections.sort( hundredePctAdresser );
554    
555                                    
556                  stats.elapsed = stop-start1;                              stats.elapsed = stop-start1;            
557                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );                  stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
558                                    
559                    System.out.println("Build: totalCount: " + stats.totalCount);
560                  System.out.println("Build: direkteCount: " + stats.direkteCount);                  System.out.println("Build: direkteCount: " + stats.direkteCount);
561                  System.out.println("Build: extendedCount: " + stats.extendedCount);                  System.out.println("Build: extendedCount: " + stats.extendedCount);
562                  System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);                  System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
# Line 392  public class AddressSearch { Line 571  public class AddressSearch {
571                  return stats;                  return stats;
572          }          }
573                    
574            public DatabaseLayer getDatabaseLayer() {
575                    return db;
576            }
577            
578          public void clear() {          public void clear() {
579                  searchPostnrVejnavnGadeid.clear();                  searchPostnrVejnavnGadeid.clear();
580                  searchGadeidentAdresser.clear();                  searchGadeidentAdresser.clear();
                 alleAdresser.clear();  
581                  helperCache.clear();                  helperCache.clear();
582          }          }
583                    
584                    
585          private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {          private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {
586                    if (targetAddress.ruteMandag == null) { //hvis targetAdress.rute er null så er adressen ikke dækket alligevel
587                            return null;
588                    }
589    
590                  // ///////////////////////////////////////////////////////////////////                  // ///////////////////////////////////////////////////////////////////
591                  switch( eb.transport) {                  switch( eb.transport) {
592                  case "cykel":                  case "cykel":
593                          if (eb.afstand < 0.151) {                          if (eb.afstand < 0.151) {
594                                  return "." + targetAddress.rute;                                  return "." + targetAddress.ruteMandag;
595                          } else if (eb.afstand < 0.501) {                          } else if (eb.afstand < 0.501) {
596                                  return ".." + targetAddress.rute;                                  return ".." + targetAddress.ruteMandag;
597                          } else if (eb.afstand < 0.701) {                          } else if (eb.afstand < 0.701) {
598                                  return "..." + targetAddress.rute;                                  return "..." + targetAddress.ruteMandag;
599                          } else if (eb.afstand < 0.501) {                          } else if (eb.afstand < 1.001) {
600                                  return "...." + targetAddress.rute;                                  return "...." + targetAddress.ruteMandag;
601                          }                          }
602                          break;                                            break;                  
603                  case "scooter":                  case "scooter":
604                          if (eb.afstand < 0.151) {                          if (eb.afstand < 0.151) {
605                                  return "." + targetAddress.rute;                                  return "." + targetAddress.ruteMandag;
606                          } else if (eb.afstand < 0.801) {                          } else if (eb.afstand < 0.801) {
607                                  return ".." + targetAddress.rute;                                  return ".." + targetAddress.ruteMandag;
608                          } else if (eb.afstand < 1.201) {                          } else if (eb.afstand < 1.201) {
609                                  return "..." + targetAddress.rute;                                  return "..." + targetAddress.ruteMandag;
610                          } else if (eb.afstand < 2.101) {                          } else if (eb.afstand < 2.101) {
611                                  return "...." + targetAddress.rute;                                  return "...." + targetAddress.ruteMandag;
612                          }                          }
613                          break;                                                    break;                          
614                  case "bil":                  case "bil":
615                          if (eb.afstand < 0.151) {                          if (eb.afstand < 0.151) {
616                                  return "." + targetAddress.rute;                                  return "." + targetAddress.ruteMandag;
617                          } else if (eb.afstand < 1.001) {                          } else if (eb.afstand < 1.001) {
618                                  return ".." + targetAddress.rute;                                  return ".." + targetAddress.ruteMandag;
619                          } else if (eb.afstand < 1.601) {                          } else if (eb.afstand < 1.601) {
620                                  return "..." + targetAddress.rute;                                  return "..." + targetAddress.ruteMandag;
621                          } else if (eb.afstand < 2.601) {                          } else if (eb.afstand < 2.601) {
622                                  return "...." + targetAddress.rute;                                  return "...." + targetAddress.ruteMandag;
623                          }                          }
624                          break;                          break;
625                    default:
626                            System.out.println("Ukendt transport type: " + eb );
627                  }                                }              
628                  return null;                  return null;
629          }          }
630                    
631          public List<Address> getNonCoveredAddresses() {          public List<Address> getNonCoveredAddresses() {
632                  List<Address> result = new ArrayList<Address>(60000);                  return ikkeDaekkedeAdresser;
633                  for (Address a : alleAdresser) {          }
634                          if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {          
635                                  result.add(a);          public List<Address> get100PctAddresses() {
636                          }                  return hundredePctAdresser;
                 }  
                 Collections.sort(result );  
                 return result;  
637          }          }
638                    
639          ///////////////////////////////////////////////////////////          ///////////////////////////////////////////////////////////
# Line 460  public class AddressSearch { Line 644  public class AddressSearch {
644                  } else {                  } else {
645                          inject = "..";                          inject = "..";
646                  }                  }
647                  return AddressUtils.injectIntoBk(targetAddress.koreliste, inject);                  return AddressUtils.injectIntoBk(targetAddress.korelisteMandag, inject);
648          }          }
649                    
650          private Set<String> findVejAliaser(String vejnavn) {          
651                  vejnavn = vejnavn.toLowerCase();          public Set<Short> getPostnumre() {
652                  HashSet<String> aliasSet = new HashSet<String>();                  return new TreeSet<Short>( searchPostnrVejnavnGadeid.keySet() );
653                  aliasSet.add(vejnavn);          }
654                            
655                  aliasSet.add(vejnavn.replace("u", "ü") );          public Set<Entry<String,Integer>> getVejnavne(short postnr) {
656                  aliasSet.add(vejnavn.replace("ü", "u") );                  Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr);
                   
                 aliasSet.add(vejnavn.replace("alle", "allé") );  
                 aliasSet.add(vejnavn.replace("allé", "alle") );                  
                   
                 aliasSet.add(vejnavn.replace("dronningens", "dr") );  
                 aliasSet.add(vejnavn.replace("dr.", "dronningens") );  
                 aliasSet.add(vejnavn.replace("dr ", "dronningens") );  
                   
                 aliasSet.add(vejnavn.replace("dronning", "dr") );  
                 aliasSet.add(vejnavn.replace("dr.", "dronning") );  
                 aliasSet.add(vejnavn.replace("dr ", "dronning") );  
                   
                 aliasSet.add(vejnavn.replace("kng", "kongen") );  
                 aliasSet.add(vejnavn.replace("kongen", "kng") );  
                   
                 aliasSet.add(vejnavn.replace("kvt", "kvarter") );  
                 aliasSet.add(vejnavn.replace("kvarter", "kvt") );  
                   
                 aliasSet.add(vejnavn.replace("gl", "gammel") );  
                 aliasSet.add(vejnavn.replace("gammel", "gl") );  
                   
                 aliasSet.add(vejnavn.replace("lille", "ll") );  
                 aliasSet.add(vejnavn.replace("ll ", "lille") );  
                 aliasSet.add(vejnavn.replace("ll.", "lille") );  
                   
                 aliasSet.add(vejnavn.replace("store", "st") );  
                 aliasSet.add(vejnavn.replace("st ", "store") );  
                 aliasSet.add(vejnavn.replace("st.", "store") );  
                   
                 aliasSet.add(vejnavn.replace("søndre", "sdr") );  
                 aliasSet.add(vejnavn.replace("sdr", "søndre") );  
   
657                                    
658                  aliasSet.add(vejnavn.replace("nørre", "nr") );                  TreeMap<String,Integer> newMap = new TreeMap<String,Integer>( map );//Lav et nyt TreeMap for at sikre sortering
                 aliasSet.add(vejnavn.replace("nr", "nørre") );  
659                                    
660                  aliasSet.add(vejnavn.replace("nordre", "ndr") );                  return newMap.entrySet();
661                  aliasSet.add(vejnavn.replace("ndr", "nordre") );          }
662            
663            public Set<String> getHusnumre(int gadeid) {
664                                                                    
665                  aliasSet.add(vejnavn.replace("sankt", "skt") );                  Map<Short,Map<String, Address>> gade = searchGadeidentAdresser.get(gadeid);
                 aliasSet.add(vejnavn.replace("sankt", "sct") );  
                 aliasSet.add(vejnavn.replace("skt", "sankt") );  
                   
                 aliasSet.add(vejnavn.replace("skt", "sct") );  
                 aliasSet.add(vejnavn.replace("sct", "skt") );  
                   
                   
                 // fornavn forkortelser  
                 aliasSet.add(vejnavn.replace("john", "j") );  
                 aliasSet.add(vejnavn.replace("thomas", "th") );  
                 aliasSet.add(vejnavn.replace("thorvald", "th") );  
   
                   
                 // Romertal  
                 aliasSet.add(vejnavn.replace("1", "i") );  
                 aliasSet.add(vejnavn.replace("i", "1") );  
                   
                 aliasSet.add(vejnavn.replace("2", "ii") );  
                 aliasSet.add(vejnavn.replace("ii", "2") );  
                   
                 aliasSet.add(vejnavn.replace("3", "iii") );  
                 aliasSet.add(vejnavn.replace("iii", "3") );  
666                                    
667                  aliasSet.add(vejnavn.replace("4", "iv") );                  Set<String> set = new TreeSet<String>( new NaturalOrderComparator<String>() );
668                  aliasSet.add(vejnavn.replace("iv", "4") );                  for(Map<String,Address> litraList : gade.values()) {
669                                            for (Address a: litraList.values()) {
670                  aliasSet.add(vejnavn.replace("5", "v") );                                  set.add( a.husnr + a.husnrbogstav );                            
671                  aliasSet.add(vejnavn.replace("v", "5") );                          }
                   
                 aliasSet.add(vejnavn.replace("6", "vi") );  
                 aliasSet.add(vejnavn.replace("vi", "6") );  
                   
                 aliasSet.add(vejnavn.replace("7", "vii") );  
                 aliasSet.add(vejnavn.replace("vii", "7") );  
                   
                 aliasSet.add(vejnavn.replace("8", "viii") );  
                 aliasSet.add(vejnavn.replace("viii", "8") );  
                   
                 aliasSet.add(vejnavn.replace("9", "ix") );  
                 aliasSet.add(vejnavn.replace("ix", "9") );  
                   
                 aliasSet.add(vejnavn.replace("10", "x") );  
                 aliasSet.add(vejnavn.replace("x", "10") );                
   
                   
                 //alternative måder at stave vej/gade/alle  
                 aliasSet.add(vejnavn.replace("vej", "ve") );  
                 aliasSet.add(vejnavn.replace("vej", "vj") );  
                 aliasSet.add(vejnavn.replace("vej", "v") );  
                 aliasSet.add(vejnavn.replace("vej", "vejen") );  
                 aliasSet.add(vejnavn.replace("vejen", "vej") );  
                   
                 aliasSet.add(vejnavn.replace("alle", "all") );  
                 aliasSet.add(vejnavn.replace("allé", "all") );  
                 aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo  
                 aliasSet.add(vejnavn.replace("allé", "allú") );  
                   
                 aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo  
                   
                 aliasSet.add(vejnavn.replace("plads", "pl") );  
                 aliasSet.add(vejnavn.replace("vænget", "vænge") );  
                   
                   
                 // Opbyg æøå varianter over alle fundne aliaser  
                   
                 @SuppressWarnings("unchecked")  
                 HashSet<String> variants = (HashSet<String>) aliasSet.clone();  
                   
                 for (String vVejnavn : variants) {                                        
                         // danske tegn 1  
                         aliasSet.add( vVejnavn.replace("æ", "ae") );  
                         aliasSet.add( vVejnavn.replace("ø", "oe") );  
                         aliasSet.add( vVejnavn.replace("å", "aa") );  
                         aliasSet.add( vVejnavn.replace("ae", "æ") );  
                         aliasSet.add( vVejnavn.replace("oe", "ø") );  
                         aliasSet.add( vVejnavn.replace("aa", "å") );  
                           
                         //danske tegn 2  
                         aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );  
                         aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );  
                         aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") );  
                         aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );  
                         aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );  
                         aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );  
                           
                         //danske tegn 3  
                         aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );  
                         aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );  
672                  }                  }
673                                    
674                  return aliasSet;                  return set;
675          }          }
676                    
677                    public Address getAdresse(int gadeid, String husnrStr) {
678                    short husnr = Short.parseShort( husnrStr.replaceAll("[^\\d]","") );
679                    String litra =  husnrStr.replaceAll("\\d", "");        
680                    
681                    Map<Short,Map<String, Address>> gade = searchGadeidentAdresser.get(gadeid);
682                    Map<String, Address> litraList = gade.get(husnr);
683                    return litraList.get(litra);
684                    
685            }
686                    
687  }  }
Legend:
Removed from v.2411  
changed lines
  Added in v.2832
  ViewVC Help
Powered by ViewVC 1.1.20