/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AdressSearch.java revision 2397 by torben, Fri Feb 27 10:19:15 2015 UTC dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java revision 2490 by torben, Tue Mar 24 12:38:21 2015 UTC
# Line 9  import java.util.HashMap; Line 9  import java.util.HashMap;
9  import java.util.HashSet;  import java.util.HashSet;
10  import java.util.List;  import java.util.List;
11  import java.util.Map;  import java.util.Map;
12    import java.util.Map.Entry;
13  import java.util.Set;  import java.util.Set;
14    import java.util.TreeMap;
15    import java.util.TreeSet;
16  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
17    
18  import org.apache.commons.lang3.StringUtils;  import org.apache.commons.lang3.StringUtils;
# Line 20  import dk.daoas.daoadresseservice.beans. Line 23  import dk.daoas.daoadresseservice.beans.
23  import dk.daoas.daoadresseservice.beans.DataStatisticsBean;  import dk.daoas.daoadresseservice.beans.DataStatisticsBean;
24  import dk.daoas.daoadresseservice.beans.ExtendedBean;  import dk.daoas.daoadresseservice.beans.ExtendedBean;
25  import dk.daoas.daoadresseservice.beans.HundredePctBean;  import dk.daoas.daoadresseservice.beans.HundredePctBean;
26    import dk.daoas.daoadresseservice.beans.SearchRequest;
27  import dk.daoas.daoadresseservice.beans.SearchResult;  import dk.daoas.daoadresseservice.beans.SearchResult;
28  import dk.daoas.daoadresseservice.beans.SearchResult.Status;  import dk.daoas.daoadresseservice.beans.SearchResult.Status;
29  import dk.daoas.daoadresseservice.db.DatabaseLayer;  import dk.daoas.daoadresseservice.db.DatabaseLayer;
30    
31  public class AdressSearch {  public class AddressSearch {
32    
33          private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;                private Map<Short, Map<String,Integer>> searchPostnrVejnavnGadeid;      
34          private Map<Long,  Map<String,Address>> searchGadeidentAdresser;          private Map<Integer,  Map<String,Address>> searchGadeidentAdresser;
35    
36          private List<Address> alleAdresser;          private List<Address> alleAdresser;
37                    
38          private Map<String,Long> helperCache;          private Map<String,Integer> helperCache;
39                    
40          private DataStatisticsBean stats = new DataStatisticsBean();          private DataStatisticsBean stats = new DataStatisticsBean();
41                    
42          ServiceConfig config;          ServiceConfig config;
43                    
44          public AdressSearch(ServiceConfig config) {          StreetnameHelper levenshteinHelper;
45            StreetnameHelper googleHelper;
46            StreetnameHelper osmHelper;
47            
48            
49            public AddressSearch(ServiceConfig config) {
50                  this.config = config;                  this.config = config;
51                    
52                    levenshteinHelper = new LevenshteinStreetnameHelper( this );
53                    googleHelper = new GoogleStreetnameHelper( config );
54                    osmHelper = new OSMStreetnameHelper( config );
55          }          }
56                    
57                    
58          public SearchResult search(String postnrStr, String adresse)  {          public SearchResult search(String postnrStr, String adresse)  {
59                                    SearchRequest request = new SearchRequest();
60                  SearchResult result = new SearchResult();                  SearchResult result = new SearchResult();
61                                    
                 int postnr=0;  
62    
63                  String helperSearchKey = "";                  String helperSearchKey = "";
64                                    
65                  try {                  try {
66                          postnr = Integer.parseInt(postnrStr);                          request.postnr = Integer.parseInt(postnrStr);
67                  } catch (Exception E) {                  } catch (Exception E) {
68                          result.status = Status.ERROR_UNKNOWN_POSTAL;                          result.status = Status.ERROR_UNKNOWN_POSTAL;
69                          return result;                          return result;
70                  }                                }              
71                                    
                 Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(postnr);                      
72                                    
73                  if (postnrVeje == null) {                  request.streetNames = searchPostnrVejnavnGadeid.get(request.postnr);                    
74                    
75                    if (request.streetNames == null) {
76                          result.status = Status.ERROR_UNKNOWN_POSTAL;                          result.status = Status.ERROR_UNKNOWN_POSTAL;
77                          return result;                          return result;
78                  }                  }
79                                    
80                                    
81                  result.splitResult = AddressUtils.splitAdresse(adresse);                  result.splitResult = AddressUtils.splitAdresse(adresse);
82                    request.vejnavn = result.splitResult.vej;
83                    
84                                                                                                    
85                                    
86                  if (result.splitResult.husnr.length() == 0) {                  if (result.splitResult.husnr.length() == 0) {
# Line 73  public class AdressSearch { Line 88  public class AdressSearch {
88                          return result;                          return result;
89                  }                  }
90                                    
91                  String vasketVejnavn = AddressUtils.vaskVejnavn( result.splitResult.vej );                  request.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
92                                    
93                  Long gadeident =  postnrVeje.get(vasketVejnavn);  
94                    if (request.vasketVejnavn.indexOf("pakkebo") > -1
95                                    || request.vasketVejnavn.indexOf("døgnpost") > -1
96                                    || request.vasketVejnavn.indexOf("døgnbo") > -1
97                                    || request.vasketVejnavn.equals("id")
98                                    ) {
99                            result.status = Status.ERROR_POSTBOX;
100                            return result;                  
101                    }
102                    
103                    Integer gadeident =  request.streetNames.get(request.vasketVejnavn);
104                                    
105                                    
106                  if ( gadeident == null) {                  if ( gadeident == null) {
107                          helperSearchKey = "" + postnr + "/" + vasketVejnavn;                          helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn;
108                          gadeident = helperCache.get(helperSearchKey);                          gadeident = helperCache.get(helperSearchKey);
109                  }                  }
110                                    
111                  if (gadeident == null) {                  if (gadeident == null) {
112                          String best = getbestLevenshteinDistance(vasketVejnavn, postnrVeje);                          String vej = levenshteinHelper.proposeStreetName(request, result);
113                          if (best != null) {                          if (vej != null) {
114                                  result.levenshtein = true;                                  gadeident =  request.streetNames.get(vej);
                                 gadeident =  postnrVeje.get(best);  
115                          }                          }
116                  }                  }
117                                    
# Line 95  public class AdressSearch { Line 119  public class AdressSearch {
119                  // Brug OpenStreetMap før vi prøver google                  // Brug OpenStreetMap før vi prøver google
120                  // For google har en request limit, det har OSM ikke!                  // For google har en request limit, det har OSM ikke!
121                  if ( gadeident == null) {                  if ( gadeident == null) {
122                          if (config.useOpenStreetMaps) {                          String vej = osmHelper.proposeStreetName(request, result);              
123                                  result.osmVej = GeocodeHelper.openstreetmapHelper(config, postnr, result.splitResult.vej );                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
                                 result.osm = true;  
                                   
                                 gadeident = helperWrapper(result.osmVej, postnrVeje, helperSearchKey);  
                         }  
124                  }                  }
125                                    
126                  if ( gadeident == null) {                  if ( gadeident == null) {
127                          if (config.useGoogle) {                          String vej = googleHelper.proposeStreetName(request, result);          
128                                  result.googleVej = GeocodeHelper.googleHelper(config, postnr, result.splitResult.vej );                          gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
                                 result.google = true;  
                                   
                                 gadeident = helperWrapper(result.googleVej, postnrVeje, helperSearchKey);                                
                         }  
129                  }                  }
130                                    
131    
# Line 129  public class AdressSearch { Line 145  public class AdressSearch {
145                  }                  }
146                                    
147                                    
148                    //Kunne evt klares med Iterables.get fra Guava/Collections
149                    Address firstAddress = gade.values().iterator().next();
150                    result.vej = firstAddress.vejnavn;
151                    
152                  String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra;                  String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra;
153                  Address addr = gade.get(husnrSearch);                  Address addr = gade.get(husnrSearch);
154    
# Line 156  public class AdressSearch { Line 176  public class AdressSearch {
176                  return result;                  return result;
177          }          }
178                    
179          private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) {          private Integer helperWrapper(String vej, Map<String,Integer> postnrVeje, String helperSearchKey) {
180                  if (vej == null)                  if (vej == null)
181                          return null;                          return null;
182                                    
183                  String vejVasket = AddressUtils.vaskVejnavn( vej );                  String vejVasket = AddressUtils.vaskVejnavn( vej );
184                  Long gadeident =  postnrVeje.get(vejVasket);                  Integer gadeident =  postnrVeje.get(vejVasket);
185                                    
186                  if (gadeident != null) {                  if (gadeident != null) {
187                          helperCache.put(helperSearchKey, gadeident);                          helperCache.put(helperSearchKey, gadeident);
# Line 170  public class AdressSearch { Line 190  public class AdressSearch {
190                                    
191          }          }
192                    
193            public Map<String,Integer> getStretsByPostal(int zip) {
194                    return searchPostnrVejnavnGadeid.get(zip);
195            }
196    
197                    
198                    
199          public void buildSearchStructures() throws SQLException{          public void buildSearchStructures() throws SQLException{
200                  searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();                  searchPostnrVejnavnGadeid = new HashMap<Short, Map<String,Integer>>();
201                  searchGadeidentAdresser = new HashMap<Long,  Map<String,Address>>();                  searchGadeidentAdresser = new HashMap<Integer,  Map<String,Address>>();
202                  helperCache = new ConcurrentHashMap<String,Long>();                  helperCache = new ConcurrentHashMap<String,Integer>();
203                                    
204                  long start1 = System.currentTimeMillis();                  long start1 = System.currentTimeMillis();
205                  System.out.println("Build -- stage 1");                  System.out.println("Build -- stage 1");
# Line 191  public class AdressSearch { Line 213  public class AdressSearch {
213                  for (Address a : alleAdresser) {                  for (Address a : alleAdresser) {
214                          idAddressMap.put(a.id, a);                          idAddressMap.put(a.id, a);
215                                                    
216                          Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);                                    Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);              
217                                                    
218                          if (postnrVeje == null) {                          if (postnrVeje == null) {
219                                  postnrVeje = new ConcurrentHashMap<String,Long>();                                  postnrVeje = new ConcurrentHashMap<String,Integer>();
220                                  searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);                                  searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);
221                          }                          }
222                                                    
223                          String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);                          String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
224                          Long gadeident = postnrVeje.get(vasketVejnavn);                          Integer gadeident = postnrVeje.get(vasketVejnavn);
225                          if (gadeident == null) {                                                          if (gadeident == null) {                                
226                                  //postnrVeje.put(vasketVejnavn, a.gadeid);                                  //postnrVeje.put(vasketVejnavn, a.gadeid);
227                                                                    
# Line 229  public class AdressSearch { Line 251  public class AdressSearch {
251                  int vaskCount = 0;                  int vaskCount = 0;
252                  List<AliasBean> aliasList = DatabaseLayer.getAliasList();                  List<AliasBean> aliasList = DatabaseLayer.getAliasList();
253                  for (AliasBean alias : aliasList) {                  for (AliasBean alias : aliasList) {
254                          Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);                          Map<String,Integer> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
255                                                    
256                          if (postnrVeje == null) {                          if (postnrVeje == null) {
257                                  //Burde ikke kunne ske - men better safe than sorry                                  //Burde ikke kunne ske - men better safe than sorry
# Line 239  public class AdressSearch { Line 261  public class AdressSearch {
261                          String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);                          String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);
262                          String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);                          String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);
263                                                    
264                          Long gadeident = postnrVeje.get(vasketVej);                          Integer gadeident = postnrVeje.get(vasketVej);
265                          if (gadeident == null) {                          if (gadeident == null) {
266                                  //Kender ikke den oprindelige vej                                  //Kender ikke den oprindelige vej
267                                  continue;                                  continue;
268                          }                          }
269                                                    
270                          Long aliasIdent = postnrVeje.get(vasketAlias);                          Integer aliasIdent = postnrVeje.get(vasketAlias);
271                                                    
272                          if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet                          if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet
273                                  postnrVeje.put(vasketAlias, gadeident);                                  postnrVeje.put(vasketAlias, gadeident);
# Line 390  public class AdressSearch { Line 412  public class AdressSearch {
412          }          }
413                    
414                    
         private String getbestLevenshteinDistance(String vasketVejnavn, Map<String,Long> postnrVeje) {  
                 for(String vej : postnrVeje.keySet()) {  
                         if ( StringUtils.getLevenshteinDistance(vasketVejnavn, vej) == 1) {  
                                 System.out.println("Levenstein: " + vasketVejnavn + "->" + vej);  
                                 return vej;  
                         }  
                 }  
                   
                 return null;  
         }  
           
415          private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {          private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {
416                    if (targetAddress.rute == null) { //hvis targetAdress.rute er null så er adressen ikke dækket alligevel
417                            return null;
418                    }
419    
420                  // ///////////////////////////////////////////////////////////////////                  // ///////////////////////////////////////////////////////////////////
421                  switch( eb.transport) {                  switch( eb.transport) {
# Line 518  public class AdressSearch { Line 532  public class AdressSearch {
532                  aliasSet.add(vejnavn.replace("sct", "skt") );                  aliasSet.add(vejnavn.replace("sct", "skt") );
533                                    
534                                    
535                    // fornavn forkortelser
536                    aliasSet.add(vejnavn.replace("john", "j") );
537                    aliasSet.add(vejnavn.replace("thomas", "th") );
538                    aliasSet.add(vejnavn.replace("thorvald", "th") );
539    
540                    
541                    // Romertal
542                    aliasSet.add(vejnavn.replace("1", "i") );
543                    aliasSet.add(vejnavn.replace("i", "1") );
544                    
545                    aliasSet.add(vejnavn.replace("2", "ii") );
546                    aliasSet.add(vejnavn.replace("ii", "2") );
547                    
548                    aliasSet.add(vejnavn.replace("3", "iii") );
549                    aliasSet.add(vejnavn.replace("iii", "3") );
550                    
551                    aliasSet.add(vejnavn.replace("4", "iv") );
552                    aliasSet.add(vejnavn.replace("iv", "4") );
553                    
554                    aliasSet.add(vejnavn.replace("5", "v") );
555                    aliasSet.add(vejnavn.replace("v", "5") );
556                    
557                    aliasSet.add(vejnavn.replace("6", "vi") );
558                    aliasSet.add(vejnavn.replace("vi", "6") );
559                    
560                    aliasSet.add(vejnavn.replace("7", "vii") );
561                    aliasSet.add(vejnavn.replace("vii", "7") );
562                    
563                    aliasSet.add(vejnavn.replace("8", "viii") );
564                    aliasSet.add(vejnavn.replace("viii", "8") );
565                    
566                    aliasSet.add(vejnavn.replace("9", "ix") );
567                    aliasSet.add(vejnavn.replace("ix", "9") );
568                    
569                    aliasSet.add(vejnavn.replace("10", "x") );
570                    aliasSet.add(vejnavn.replace("x", "10") );              
571    
572                    
573                  //alternative måder at stave vej/gade/alle                  //alternative måder at stave vej/gade/alle
574                  aliasSet.add(vejnavn.replace("vej", "ve") );                  aliasSet.add(vejnavn.replace("vej", "ve") );
575                  aliasSet.add(vejnavn.replace("vej", "vj") );                  aliasSet.add(vejnavn.replace("vej", "vj") );
# Line 531  public class AdressSearch { Line 583  public class AdressSearch {
583                  aliasSet.add(vejnavn.replace("allé", "allú") );                  aliasSet.add(vejnavn.replace("allé", "allú") );
584                                    
585                  aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo                  aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo
586                    aliasSet.add(vejnavn.replace("gade", "gde") );
587                    
588                    aliasSet.add(vejnavn.replace("plads", "pl") );
589                    aliasSet.add(vejnavn.replace("vænget", "vænge") );
590                                    
591                                    
592                  // Opbyg æøå varianter over alle fundne aliaser                  // Opbyg æøå varianter over alle fundne aliaser
# Line 550  public class AdressSearch { Line 606  public class AdressSearch {
606                          //danske tegn 2                          //danske tegn 2
607                          aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );                          aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );
608                          aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );                          aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );
609                          aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") );                          aliasSet.add( vVejnavn.replace("ø", "oe").replace("å", "aa") );
610                          aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );                          aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );
611                          aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );                          aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );
612                          aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );                          aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );
# Line 563  public class AdressSearch { Line 619  public class AdressSearch {
619                  return aliasSet;                  return aliasSet;
620          }          }
621                    
622            public Set<Short> getPostnumre() {
623                    return new TreeSet<Short>( searchPostnrVejnavnGadeid.keySet() );
624            }
625            
626            public Set<Entry<String,Integer>> getVejnavne(int postnr) {
627                    Map<String,Integer> map = searchPostnrVejnavnGadeid.get(postnr);
628                    TreeMap<String,Integer> newMap = new TreeMap<String,Integer>();
629                    for (Entry<String,Integer> entry : map.entrySet() ) {
630                            newMap.put(entry.getKey(), entry.getValue());
631                    }
632                    
633                    return newMap.entrySet();
634            }
635            
636            public Set<String> getHusnumre(long gadeid) {
637                                    
638                    Map<String, Address> gade = searchGadeidentAdresser.get(gadeid);
639                    return new TreeSet<String>( gade.keySet() );            
640            }
641                    
642            public Address getAdresse(long gadeid, String husnr) {
643                    
644                    Map<String, Address> gade = searchGadeidentAdresser.get(gadeid);
645                    return gade.get(husnr);
646                    
647            }
648                    
649  }  }
Legend:
Removed from v.2397  
changed lines
  Added in v.2490
  ViewVC Help
Powered by ViewVC 1.1.20