/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AdressSearch.java revision 2409 by torben, Sat Feb 28 16:14:55 2015 UTC dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java revision 2493 by torben, Tue Mar 24 20:51:37 2015 UTC
# Line 9  import java.util.HashMap; Line 9  import java.util.HashMap;
9  import java.util.HashSet;  import java.util.HashSet;
10  import java.util.List;  import java.util.List;
11  import java.util.Map;  import java.util.Map;
12    import java.util.Map.Entry;
13  import java.util.Set;  import java.util.Set;
14    import java.util.TreeMap;
15    import java.util.TreeSet;
16  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
17    
18  import org.apache.commons.lang3.StringUtils;  import org.apache.commons.lang3.StringUtils;
# Line 20  import dk.daoas.daoadresseservice.beans. Line 23  import dk.daoas.daoadresseservice.beans.
23  import dk.daoas.daoadresseservice.beans.DataStatisticsBean;  import dk.daoas.daoadresseservice.beans.DataStatisticsBean;
24  import dk.daoas.daoadresseservice.beans.ExtendedBean;  import dk.daoas.daoadresseservice.beans.ExtendedBean;
25  import dk.daoas.daoadresseservice.beans.HundredePctBean;  import dk.daoas.daoadresseservice.beans.HundredePctBean;
26    import dk.daoas.daoadresseservice.beans.SearchRequest;
27  import dk.daoas.daoadresseservice.beans.SearchResult;  import dk.daoas.daoadresseservice.beans.SearchResult;
28  import dk.daoas.daoadresseservice.beans.SearchResult.Status;  import dk.daoas.daoadresseservice.beans.SearchResult.Status;
29  import dk.daoas.daoadresseservice.db.DatabaseLayer;  import dk.daoas.daoadresseservice.db.DatabaseLayer;
30    import dk.daoas.daoadresseservice.util.DeduplicateHelper;
31    
32  public class AdressSearch {  public class AddressSearch {
33    
34          private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;                private Map<Short, Map<String,Integer>> searchPostnrVejnavnGadeid;      
35          private Map<Long,  Map<String,Address>> searchGadeidentAdresser;          private Map<Integer,  Map<String,Address>> searchGadeidentAdresser;
36    
37          private List<Address> alleAdresser;          private List<Address> alleAdresser;
38                    
39          private Map<String,Long> helperCache;          private Map<String,Integer> helperCache;
40                    
41          private DataStatisticsBean stats = new DataStatisticsBean();          private DataStatisticsBean stats = new DataStatisticsBean();
42                    
43          ServiceConfig config;          ServiceConfig config;
44                    
45            StreetnameHelper levenshteinHelper;
46          StreetnameHelper googleHelper;          StreetnameHelper googleHelper;
47          StreetnameHelper osmHelper;          StreetnameHelper osmHelper;
48                    
49          public AdressSearch(ServiceConfig config) {          
50            public AddressSearch(ServiceConfig config) {
51                  this.config = config;                  this.config = config;
52                                    
53                    levenshteinHelper = new LevenshteinStreetnameHelper( this );
54                  googleHelper = new GoogleStreetnameHelper( config );                  googleHelper = new GoogleStreetnameHelper( config );
55                  osmHelper = new OSMStreetnameHelper( config );                  osmHelper = new OSMStreetnameHelper( config );
56          }          }
57                    
58                    
59          public SearchResult search(String postnrStr, String adresse)  {          public SearchResult search(String postnrStr, String adresse)  {
60                                    SearchRequest request = new SearchRequest();
61                  SearchResult result = new SearchResult();                  SearchResult result = new SearchResult();
62                                    
                 int postnr=0;  
63    
64                  String helperSearchKey = "";                  String helperSearchKey = "";
65                                    
66                  try {                  try {
67                          postnr = Integer.parseInt(postnrStr);                          request.postnr = Integer.parseInt(postnrStr);
68                  } catch (Exception E) {                  } catch (Exception E) {
69                          result.status = Status.ERROR_UNKNOWN_POSTAL;                          result.status = Status.ERROR_UNKNOWN_POSTAL;
70                          return result;                          return result;
71                  }                                }              
72                                    
                 Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(postnr);                      
73                                    
74                  if (postnrVeje == null) {                  request.streetNames = searchPostnrVejnavnGadeid.get(request.postnr);                    
75                    
76                    if (request.streetNames == null) {
77                          result.status = Status.ERROR_UNKNOWN_POSTAL;                          result.status = Status.ERROR_UNKNOWN_POSTAL;
78                          return result;                          return result;
79                  }                  }
80                                    
81                                    
82                  result.splitResult = AddressUtils.splitAdresse(adresse);                  result.splitResult = AddressUtils.splitAdresse(adresse);
83                    request.vejnavn = result.splitResult.vej;
84                    
85                                                                                                    
86                                    
87                  if (result.splitResult.husnr.length() == 0) {                  if (result.splitResult.husnr.length() == 0) {
# Line 79  public class AdressSearch { Line 89  public class AdressSearch {
89                          return result;                          return result;
90                  }                  }
91                                    
92                  String vasketVejnavn = AddressUtils.vaskVejnavn( result.splitResult.vej );                  request.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
93                                    
94                  Long gadeident =  postnrVeje.get(vasketVejnavn);  
95                    if (request.vasketVejnavn.indexOf("pakkebo") > -1
96                                    || request.vasketVejnavn.indexOf("døgnpost") > -1
97                                    || request.vasketVejnavn.indexOf("døgnbo") > -1
98                                    || request.vasketVejnavn.equals("id")
99                                    ) {
100                            result.status = Status.ERROR_POSTBOX;
101                            return result;                  
102                    }
103                    
104                    Integer gadeident =  request.streetNames.get(request.vasketVejnavn);
105                                    
106                                    
107                  if ( gadeident == null) {                  if ( gadeident == null) {
108                          helperSearchKey = "" + postnr + "/" + vasketVejnavn;                          helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn;
109                          gadeident = helperCache.get(helperSearchKey);                          gadeident = helperCache.get(helperSearchKey);
110                  }                  }
111                                    
112                  if (gadeident == null) {                  if (gadeident == null) {
113                          String best = getbestLevenshteinDistance(vasketVejnavn, postnrVeje);                          String vej = levenshteinHelper.proposeStreetName(request, result);
114                          if (best != null) {                          if (vej != null) {
115                                  result.levenshtein = true;                                  gadeident =  request.streetNames.get(vej);
                                 gadeident =  postnrVeje.get(best);  
116                          }                          }
117                  }                  }
118                                    
# Line 101  public class AdressSearch { Line 120  public class AdressSearch {
120                  // Brug OpenStreetMap før vi prøver google                  // Brug OpenStreetMap før vi prøver google
121                  // For google har en request limit, det har OSM ikke!                  // For google har en request limit, det har OSM ikke!
122                  if ( gadeident == null) {                  if ( gadeident == null) {
123                          String vej = osmHelper.proposeStreetName(result, postnr, result.splitResult.vej);                                        String vej = osmHelper.proposeStreetName(request, result);              
124                          gadeident = helperWrapper(vej, postnrVeje, helperSearchKey);                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
125                  }                  }
126                                    
127                  if ( gadeident == null) {                  if ( gadeident == null) {
128                          String vej = googleHelper.proposeStreetName(result, postnr, result.splitResult.vej);                                      String vej = googleHelper.proposeStreetName(request, result);          
129                          gadeident = helperWrapper(vej, postnrVeje, helperSearchKey);                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
130                  }                  }
131                                    
132    
# Line 158  public class AdressSearch { Line 177  public class AdressSearch {
177                  return result;                  return result;
178          }          }
179                    
180          private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) {          private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) {
181                  if (vej == null)                  if (vej == null)
182                          return null;                          return null;
183                                    
184                  String vejVasket = AddressUtils.vaskVejnavn( vej );                  String vejVasket = AddressUtils.vaskVejnavn( vej );
185                  Long gadeident =  postnrVeje.get(vejVasket);                  Integer gadeident =  postnrVeje.get(vejVasket);
186                                    
187                  if (gadeident != null) {                  if (gadeident != null) {
188                          helperCache.put(helperSearchKey, gadeident);                          helperCache.put(helperSearchKey, gadeident);
# Line 172  public class AdressSearch { Line 191  public class AdressSearch {
191                                    
192          }          }
193                    
194            public Map<String,Integer> getStretsByPostal(int zip) {
195                    return searchPostnrVejnavnGadeid.get(zip);
196            }
197    
198                    
199                    
200          public void buildSearchStructures() throws SQLException{          public void buildSearchStructures() throws SQLException{
201                  searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();                  searchPostnrVejnavnGadeid = new HashMap<Short, Map<String,Integer>>();
202                  searchGadeidentAdresser = new HashMap<Long,  Map<String,Address>>();                  searchGadeidentAdresser = new HashMap<Integer,  Map<String,Address>>();
203                  helperCache = new ConcurrentHashMap<String,Long>();                  helperCache = new ConcurrentHashMap<String,Integer>();
204                                    
205                  long start1 = System.currentTimeMillis();                  long start1 = System.currentTimeMillis();
206                  System.out.println("Build -- stage 1");                  System.out.println("Build -- stage 1");
# Line 189  public class AdressSearch { Line 210  public class AdressSearch {
210                                    
211                  /* Mapper mellem db Row ID og adresse noden */                  /* Mapper mellem db Row ID og adresse noden */
212                  Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );                  Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
213                    DeduplicateHelper<String> aliasHelper = new DeduplicateHelper<String>();
214                    DeduplicateHelper<String> husnrHelper = new DeduplicateHelper<String>();
215                                    
216                  for (Address a : alleAdresser) {                  for (Address a : alleAdresser) {
217                          idAddressMap.put(a.id, a);                          idAddressMap.put(a.id, a);
218                                                    
219                          Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);                                    Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);              
220                                                    
221                          if (postnrVeje == null) {                          if (postnrVeje == null) {
222                                  postnrVeje = new ConcurrentHashMap<String,Long>();                                  postnrVeje = new ConcurrentHashMap<String,Integer>();
223                                  searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);                                  searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);
224                          }                          }
225                                    
226                                                    
227                          String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);                          String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
228                          Long gadeident = postnrVeje.get(vasketVejnavn);                          Integer gadeident = postnrVeje.get(vasketVejnavn);
229                          if (gadeident == null) {                                                          if (gadeident == null) {                                
230                                  //postnrVeje.put(vasketVejnavn, a.gadeid);                                  //postnrVeje.put(vasketVejnavn, a.gadeid);
231                                                                    
# Line 210  public class AdressSearch { Line 234  public class AdressSearch {
234                                  Set<String> aliaser = findVejAliaser(a.vejnavn);                                  Set<String> aliaser = findVejAliaser(a.vejnavn);
235                                  for(String alias : aliaser) {                                  for(String alias : aliaser) {
236                                          String vasketAlias = AddressUtils.vaskVejnavn(alias);                                          String vasketAlias = AddressUtils.vaskVejnavn(alias);
237                                            vasketAlias = aliasHelper.getInstance(vasketAlias);
238                                            
239                                          postnrVeje.put(vasketAlias, gadeident);                                          postnrVeje.put(vasketAlias, gadeident);
240                                  }                                                                }                              
241                          }                          }
# Line 220  public class AdressSearch { Line 246  public class AdressSearch {
246                                  searchGadeidentAdresser.put(gadeident, gade);                                  searchGadeidentAdresser.put(gadeident, gade);
247                          }                          }
248                          String husnrSearch = "" + a.husnr + a.husnrbogstav;                          String husnrSearch = "" + a.husnr + a.husnrbogstav;
249                            husnrSearch = husnrHelper.getInstance(husnrSearch);
250                          gade.put(husnrSearch, a);                                                gade.put(husnrSearch, a);                      
251                  }                  }
252                                    
# Line 231  public class AdressSearch { Line 258  public class AdressSearch {
258                  int vaskCount = 0;                  int vaskCount = 0;
259                  List<AliasBean> aliasList = DatabaseLayer.getAliasList();                  List<AliasBean> aliasList = DatabaseLayer.getAliasList();
260                  for (AliasBean alias : aliasList) {                  for (AliasBean alias : aliasList) {
261                          Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);                          Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
262                                                    
263                          if (postnrVeje == null) {                          if (postnrVeje == null) {
264                                  //Burde ikke kunne ske - men better safe than sorry                                  //Burde ikke kunne ske - men better safe than sorry
# Line 241  public class AdressSearch { Line 268  public class AdressSearch {
268                          String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);                          String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);
269                          String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);                          String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);
270                                                    
271                          Long gadeident = postnrVeje.get(vasketVej);                          Integer gadeident = postnrVeje.get(vasketVej);
272                          if (gadeident == null) {                          if (gadeident == null) {
273                                  //Kender ikke den oprindelige vej                                  //Kender ikke den oprindelige vej
274                                  continue;                                  continue;
275                          }                          }
276                                                    
277                          Long aliasIdent = postnrVeje.get(vasketAlias);                          Integer aliasIdent = postnrVeje.get(vasketAlias);
278                                                    
279                          if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet                          if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet
280                                  postnrVeje.put(vasketAlias, gadeident);                                  postnrVeje.put(vasketAlias, gadeident);
# Line 263  public class AdressSearch { Line 290  public class AdressSearch {
290                  System.out.println("Build, stage2 elapsed: " + (start3-start2) );                  System.out.println("Build, stage2 elapsed: " + (start3-start2) );
291                  System.out.println("Build -- stage 3 udvidet dækning");                  System.out.println("Build -- stage 3 udvidet dækning");
292                                    
293                    DeduplicateHelper<String> ruteHelper = new DeduplicateHelper<String>();
294                    DeduplicateHelper<String> korelisteHelper = new DeduplicateHelper<String>();
295                    
296                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();                  List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();
297                  for (ExtendedBean eb : extDao) {                  for (ExtendedBean eb : extDao) {
298                                                    
# Line 287  public class AdressSearch { Line 317  public class AdressSearch {
317    
318                          boolean covered = false;                          boolean covered = false;
319                          if (targetAddress.distributor.equals("DAO")) {                          if (targetAddress.distributor.equals("DAO")) {
320                                  orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);                                                                orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);      
321                                    orgAddress.rute = ruteHelper.getInstance(orgAddress.rute);
322                                    
323                                  if (orgAddress.rute != null) {                                  if (orgAddress.rute != null) {
324                                          orgAddress.koreliste = targetAddress.koreliste;                                          orgAddress.koreliste = targetAddress.koreliste;
325                                          covered = true;                                          covered = true;
# Line 295  public class AdressSearch { Line 327  public class AdressSearch {
327                          }                          }
328                                                    
329                          if (targetAddress.distributor.equals("BK")) {                          if (targetAddress.distributor.equals("BK")) {
330                                  orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);                                                                orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);
331                                    orgAddress.koreliste = korelisteHelper.getInstance(orgAddress.koreliste);
332                                    
333                                  if (orgAddress.koreliste != null) {                                  if (orgAddress.koreliste != null) {
334                                          orgAddress.rute = targetAddress.rute;                                          orgAddress.rute = targetAddress.rute;
335                                          covered = true;                                          covered = true;
# Line 322  public class AdressSearch { Line 356  public class AdressSearch {
356                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );                  System.out.println("Build, stage3 elapsed: " + (start4-start3) );
357                  System.out.println("Build -- stage 4 - 100pct");                  System.out.println("Build -- stage 4 - 100pct");
358                                    
359                  Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();                  Map<Short,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();
360                  for (Address addr : alleAdresser) {                  for (Address addr : alleAdresser) {
361                          if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                                                  if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                        
362                                  continue;                                  continue;
# Line 392  public class AdressSearch { Line 426  public class AdressSearch {
426          }          }
427                    
428                    
         private String getbestLevenshteinDistance(String vasketVejnavn, Map<String,Long> postnrVeje) {  
                 for(String vej : postnrVeje.keySet()) {  
                         if ( StringUtils.getLevenshteinDistance(vasketVejnavn, vej) == 1) {  
                                 System.out.println("Levenstein: " + vasketVejnavn + "->" + vej);  
                                 return vej;  
                         }  
                 }  
                   
                 return null;  
         }  
           
429          private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {          private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {
430                    if (targetAddress.rute == null) { //hvis targetAdress.rute er null så er adressen ikke dækket alligevel
431                            return null;
432                    }
433    
434                  // ///////////////////////////////////////////////////////////////////                  // ///////////////////////////////////////////////////////////////////
435                  switch( eb.transport) {                  switch( eb.transport) {
# Line 571  public class AdressSearch { Line 597  public class AdressSearch {
597                  aliasSet.add(vejnavn.replace("allé", "allú") );                  aliasSet.add(vejnavn.replace("allé", "allú") );
598                                    
599                  aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo                  aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo
600                    aliasSet.add(vejnavn.replace("gade", "gde") );
601                                    
602                  aliasSet.add(vejnavn.replace("plads", "pl") );                  aliasSet.add(vejnavn.replace("plads", "pl") );
603                  aliasSet.add(vejnavn.replace("vænget", "vænge") );                  aliasSet.add(vejnavn.replace("vænget", "vænge") );
# Line 593  public class AdressSearch { Line 620  public class AdressSearch {
620                          //danske tegn 2                          //danske tegn 2
621                          aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );                          aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );
622                          aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );                          aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );
623                          aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") );                          aliasSet.add( vVejnavn.replace("ø", "oe").replace("å", "aa") );
624                          aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );                          aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );
625                          aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );                          aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );
626                          aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );                          aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );
# Line 606  public class AdressSearch { Line 633  public class AdressSearch {
633                  return aliasSet;                  return aliasSet;
634          }          }
635                    
636            public Set<Short> getPostnumre() {
637                    return new TreeSet<Short>( searchPostnrVejnavnGadeid.keySet() );
638            }
639                    
640            public Set<Entry<String,Integer>> getVejnavne(short postnr) {
641                    Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr);
642                    TreeMap<String,Integer> newMap = new TreeMap<String,Integer>();
643                    for (Entry<String,Integer> entry : map.entrySet() ) {
644                            newMap.put(entry.getKey(), entry.getValue());
645                    }
646                    
647                    return newMap.entrySet();
648            }
649            
650            public Set<String> getHusnumre(int gadeid) {
651                                    
652                    Map<String, Address> gade = searchGadeidentAdresser.get(gadeid);
653                    return new TreeSet<String>( gade.keySet() );            
654            }
655            
656            public Address getAdresse(int gadeid, String husnr) {
657                    
658                    Map<String, Address> gade = searchGadeidentAdresser.get(gadeid);
659                    return gade.get(husnr);
660                    
661            }
662                    
663  }  }
Legend:
Removed from v.2409  
changed lines
  Added in v.2493
  ViewVC Help
Powered by ViewVC 1.1.20