--- dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java 2015/03/24 20:51:37 2493
+++ dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java 2015/07/15 13:39:46 2615
@@ -27,7 +27,9 @@
import dk.daoas.daoadresseservice.beans.SearchResult;
import dk.daoas.daoadresseservice.beans.SearchResult.Status;
import dk.daoas.daoadresseservice.db.DatabaseLayer;
+import dk.daoas.daoadresseservice.util.DaoUtils;
import dk.daoas.daoadresseservice.util.DeduplicateHelper;
+import dk.daoas.daoadresseservice.util.NaturalOrderComparator;
public class AddressSearch {
@@ -40,15 +42,17 @@
private DataStatisticsBean stats = new DataStatisticsBean();
- ServiceConfig config;
+ private DatabaseLayer db;
+
StreetnameHelper levenshteinHelper;
StreetnameHelper googleHelper;
StreetnameHelper osmHelper;
- public AddressSearch(ServiceConfig config) {
- this.config = config;
+ public AddressSearch(DatabaseLayer db, ServiceConfig config) {
+
+ this.db = db;
levenshteinHelper = new LevenshteinStreetnameHelper( this );
googleHelper = new GoogleStreetnameHelper( config );
@@ -57,14 +61,17 @@
public SearchResult search(String postnrStr, String adresse) {
+
+ postnrStr = postnrStr.trim();
+ adresse = adresse.trim();
+
+
SearchRequest request = new SearchRequest();
SearchResult result = new SearchResult();
-
- String helperSearchKey = "";
try {
- request.postnr = Integer.parseInt(postnrStr);
+ request.postnr = Short.parseShort(postnrStr);
} catch (Exception E) {
result.status = Status.ERROR_UNKNOWN_POSTAL;
return result;
@@ -89,44 +96,50 @@
return result;
}
- request.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
+ result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
- if (request.vasketVejnavn.indexOf("pakkebo") > -1
- || request.vasketVejnavn.indexOf("døgnpost") > -1
- || request.vasketVejnavn.indexOf("døgnbo") > -1
- || request.vasketVejnavn.equals("id")
+ if (result.vasketVejnavn.indexOf("pakkebo") > -1
+ || result.vasketVejnavn.indexOf("pakkepost") > -1
+ || result.vasketVejnavn.indexOf("postbo") > -1 // postbox/postboks
+ || result.vasketVejnavn.indexOf("døgnpost") > -1
+ || result.vasketVejnavn.indexOf("døgnbo") > -1 // døgnbox // døgnboks
+ || result.vasketVejnavn.equals("id")
) {
result.status = Status.ERROR_POSTBOX;
return result;
}
- Integer gadeident = request.streetNames.get(request.vasketVejnavn);
+ // LookupStreetname er en indkapsling af alm + levenstein + google + osm
+ Integer gadeident = lookupStretname(request, result, true);
- if ( gadeident == null) {
- helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn;
- gadeident = helperCache.get(helperSearchKey);
- }
-
+ /*
+ * Hvis der ikke er direkte hits, prøver vi at skære ord af vejnavn
+ *
+ * Denne sektion er MEGET experimental da den øger antallet af kald til google/OSM væsentligt*/
if (gadeident == null) {
- String vej = levenshteinHelper.proposeStreetName(request, result);
- if (vej != null) {
- gadeident = request.streetNames.get(vej);
- }
- }
-
-
- // Brug OpenStreetMap før vi prøver google
- // For google har en request limit, det har OSM ikke!
- if ( gadeident == null) {
- String vej = osmHelper.proposeStreetName(request, result);
- gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
- }
-
- if ( gadeident == null) {
- String vej = googleHelper.proposeStreetName(request, result);
- gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
+ final int MAX_TRIES = 4;
+
+ String vejnavnParts[] = request.vejnavn.split(" ");
+
+ for (int i=1; i<=MAX_TRIES && i postnrVeje, String helperSearchKey) {
if (vej == null)
@@ -191,7 +238,7 @@
}
- public Map getStretsByPostal(int zip) {
+ public Map getStretsByPostal(short zip) {
return searchPostnrVejnavnGadeid.get(zip);
}
@@ -205,7 +252,7 @@
long start1 = System.currentTimeMillis();
System.out.println("Build -- stage 1");
- alleAdresser = DatabaseLayer.getAllAdresses();
+ alleAdresser = db.getAllAdresses();
/* Mapper mellem db Row ID og adresse noden */
@@ -256,7 +303,7 @@
System.out.println("Build -- stage 2 alias tabel");
int vaskCount = 0;
- List aliasList = DatabaseLayer.getAliasList();
+ List aliasList = db.getAliasList();
for (AliasBean alias : aliasList) {
Map postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
@@ -293,22 +340,31 @@
DeduplicateHelper ruteHelper = new DeduplicateHelper();
DeduplicateHelper korelisteHelper = new DeduplicateHelper();
- List extDao = DatabaseLayer.getExtendedAdresslist();
+ List extDao = db.getExtendedAdresslist();
for (ExtendedBean eb : extDao) {
Address orgAddress = idAddressMap.get(eb.orgId);
if (orgAddress == null)
continue;
+ if (orgAddress.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
+ //kan være at adressen er blevet markeret dækket og - find-nærmeste data ikke er opdateret i mellemtiden
+ continue;
+ }
+
Address targetAddress = idAddressMap.get(eb.targetId);
- if (targetAddress == null)
+ if (targetAddress == null) {
continue;
+ }
+
- if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) {
+ if ( StringUtils.equals(orgAddress.distributor, "LUKKET") ) {
continue;
}
- if (targetAddress.distributor.equals("LUKKET")) {
+
+
+ if ( StringUtils.equals(targetAddress.distributor, "LUKKET") ) {
continue;
}
@@ -341,8 +397,10 @@
orgAddress.dbkBane = targetAddress.dbkBane;
/* Sådan gør den gamle service */
- orgAddress.kommunekode = targetAddress.kommunekode;
- orgAddress.vejkode = targetAddress.vejkode;
+ /* 20150520 THN- hvis vi bibeholder de originale kommune+vejkoder kan vi bruge DAVID til join i databasen*/
+ //orgAddress.kommunekode = targetAddress.kommunekode;
+ //orgAddress.vejkode = targetAddress.vejkode;
+
orgAddress.distributor = targetAddress.distributor;
}
@@ -356,7 +414,7 @@
System.out.println("Build, stage3 elapsed: " + (start4-start3) );
System.out.println("Build -- stage 4 - 100pct");
- Map hundredePct = DatabaseLayer.get100PctList();
+ Map hundredePct = db.get100PctList();
for (Address addr : alleAdresser) {
if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
continue;
@@ -399,11 +457,13 @@
stats.ikkeDaekketCount++;
}
}
+ stats.totalCount = alleAdresser.size();
stats.elapsed = stop-start1;
stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
+ System.out.println("Build: totalCount: " + stats.totalCount);
System.out.println("Build: direkteCount: " + stats.direkteCount);
System.out.println("Build: extendedCount: " + stats.extendedCount);
System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
@@ -418,6 +478,10 @@
return stats;
}
+ public DatabaseLayer getDatabaseLayer() {
+ return db;
+ }
+
public void clear() {
searchPostnrVejnavnGadeid.clear();
searchGadeidentAdresser.clear();
@@ -496,13 +560,12 @@
vejnavn = vejnavn.toLowerCase();
HashSet aliasSet = new HashSet();
aliasSet.add(vejnavn);
-
- aliasSet.add(vejnavn.replace("u", "ü") );
- aliasSet.add(vejnavn.replace("ü", "u") );
-
+
aliasSet.add(vejnavn.replace("alle", "allé") );
aliasSet.add(vejnavn.replace("allé", "alle") );
+
+ // forkortelser
aliasSet.add(vejnavn.replace("dronningens", "dr") );
aliasSet.add(vejnavn.replace("dr.", "dronningens") );
aliasSet.add(vejnavn.replace("dr ", "dronningens") );
@@ -529,7 +592,9 @@
aliasSet.add(vejnavn.replace("st.", "store") );
aliasSet.add(vejnavn.replace("søndre", "sdr") );
- aliasSet.add(vejnavn.replace("sdr", "søndre") );
+ aliasSet.add(vejnavn.replace("sdr", "søndre") );
+ aliasSet.add(vejnavn.replace("sønder", "sdr") );
+ aliasSet.add(vejnavn.replace("sdr", "sønder") );
aliasSet.add(vejnavn.replace("nørre", "nr") );
@@ -537,19 +602,48 @@
aliasSet.add(vejnavn.replace("nordre", "ndr") );
aliasSet.add(vejnavn.replace("ndr", "nordre") );
+
+
+ aliasSet.add(vejnavn.replace("vestre", "vester") );
+ aliasSet.add(vejnavn.replace("vester", "vestre") );
+
+ aliasSet.add(vejnavn.replace("søndre", "sønder") );
+ aliasSet.add(vejnavn.replace("sønder", "søndre") );
+
+ aliasSet.add(vejnavn.replace("østre", "øster") );
+ aliasSet.add(vejnavn.replace("øster", "østre") );
+
+ aliasSet.add(vejnavn.replace("borgmester", "borgm") );
+ aliasSet.add(vejnavn.replace("borgm", "borgmester") );
+
aliasSet.add(vejnavn.replace("sankt", "skt") );
aliasSet.add(vejnavn.replace("sankt", "sct") );
aliasSet.add(vejnavn.replace("skt", "sankt") );
aliasSet.add(vejnavn.replace("skt", "sct") );
- aliasSet.add(vejnavn.replace("sct", "skt") );
+ aliasSet.add(vejnavn.replace("sct", "skt") );
+
// fornavn forkortelser
aliasSet.add(vejnavn.replace("john", "j") );
aliasSet.add(vejnavn.replace("thomas", "th") );
aliasSet.add(vejnavn.replace("thorvald", "th") );
+ aliasSet.add(vejnavn.replace("frederik", "fr") );
+ aliasSet.add(vejnavn.replace("frederiks", "fr") );
+
+
+ aliasSet.add(vejnavn.replace("christian", "chr") );
+ aliasSet.add(vejnavn.replace("christians", "chr") );
+ aliasSet.add(vejnavn.replace("kristian", "kr") );
+ aliasSet.add(vejnavn.replace("kristians", "kr") );
+
+
+ // alternative stavninger
+ aliasSet.add(vejnavn.replace("peder", "peter") );
+ aliasSet.add(vejnavn.replace("peter", "peder") );
+
// Romertal
@@ -591,6 +685,8 @@
aliasSet.add(vejnavn.replace("vej", "vejen") );
aliasSet.add(vejnavn.replace("vejen", "vej") );
+ aliasSet.add(vejnavn.replace("v", "vej") );//Vi kan have vejnavne i DB der bare slutter på v istedet for vej
+
aliasSet.add(vejnavn.replace("alle", "all") );
aliasSet.add(vejnavn.replace("allé", "all") );
aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
@@ -601,7 +697,15 @@
aliasSet.add(vejnavn.replace("plads", "pl") );
aliasSet.add(vejnavn.replace("vænget", "vænge") );
-
+
+ aliasSet.add(vejnavn.replace("boulevard", "blvd") );
+ aliasSet.add(vejnavn.replace("blvd", "boulevard") );
+
+ aliasSet.add(vejnavn.replace("boulevard", "boule") );
+ aliasSet.add(vejnavn.replace("boule", "boulevard") );
+
+ aliasSet.add(vejnavn.replace("kronborg", "krbg") ); //Krbg ladegårdsvej, 3000
+ aliasSet.add(vejnavn.replace("krbg", "kronborg") );
// Opbyg æøå varianter over alle fundne aliaser
@@ -628,6 +732,17 @@
//danske tegn 3
aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
+
+
+ //udenlandsketegn
+ aliasSet.add(vejnavn.replace("u", "ü") );
+ aliasSet.add(vejnavn.replace("ü", "u") );
+
+ aliasSet.add(vejnavn.replace("ä", "æ") );
+ aliasSet.add(vejnavn.replace("æ", "ä") );
+
+ aliasSet.add(vejnavn.replace("ö", "ø") );
+ aliasSet.add(vejnavn.replace("ø", "ö") );
}
return aliasSet;
@@ -650,7 +765,11 @@
public Set getHusnumre(int gadeid) {
Map gade = searchGadeidentAdresser.get(gadeid);
- return new TreeSet( gade.keySet() );
+
+ Set set = new TreeSet( new NaturalOrderComparator() );
+ set.addAll( gade.keySet() );
+
+ return set;
}
public Address getAdresse(int gadeid, String husnr) {