--- dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java 2015/03/24 12:38:21 2490
+++ dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/AddressSearch.java 2015/07/17 08:27:50 2626
@@ -27,6 +27,9 @@
import dk.daoas.daoadresseservice.beans.SearchResult;
import dk.daoas.daoadresseservice.beans.SearchResult.Status;
import dk.daoas.daoadresseservice.db.DatabaseLayer;
+import dk.daoas.daoadresseservice.util.DaoUtils;
+import dk.daoas.daoadresseservice.util.DeduplicateHelper;
+import dk.daoas.daoadresseservice.util.NaturalOrderComparator;
public class AddressSearch {
@@ -39,15 +42,17 @@
private DataStatisticsBean stats = new DataStatisticsBean();
- ServiceConfig config;
+ private DatabaseLayer db;
+
StreetnameHelper levenshteinHelper;
StreetnameHelper googleHelper;
StreetnameHelper osmHelper;
- public AddressSearch(ServiceConfig config) {
- this.config = config;
+ public AddressSearch(DatabaseLayer db, ServiceConfig config) {
+
+ this.db = db;
levenshteinHelper = new LevenshteinStreetnameHelper( this );
googleHelper = new GoogleStreetnameHelper( config );
@@ -56,14 +61,17 @@
public SearchResult search(String postnrStr, String adresse) {
+
+ postnrStr = postnrStr.trim();
+ adresse = adresse.trim();
+
+
SearchRequest request = new SearchRequest();
SearchResult result = new SearchResult();
-
- String helperSearchKey = "";
try {
- request.postnr = Integer.parseInt(postnrStr);
+ request.postnr = Short.parseShort(postnrStr);
} catch (Exception E) {
result.status = Status.ERROR_UNKNOWN_POSTAL;
return result;
@@ -88,44 +96,50 @@
return result;
}
- request.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
+ result.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
- if (request.vasketVejnavn.indexOf("pakkebo") > -1
- || request.vasketVejnavn.indexOf("døgnpost") > -1
- || request.vasketVejnavn.indexOf("døgnbo") > -1
- || request.vasketVejnavn.equals("id")
+ if (result.vasketVejnavn.indexOf("pakkebo") > -1
+ || result.vasketVejnavn.indexOf("pakkepost") > -1
+ || result.vasketVejnavn.indexOf("postbo") > -1 // postbox/postboks
+ || result.vasketVejnavn.indexOf("døgnpost") > -1
+ || result.vasketVejnavn.indexOf("døgnbo") > -1 // døgnbox // døgnboks
+ || result.vasketVejnavn.equals("id")
) {
result.status = Status.ERROR_POSTBOX;
return result;
}
- Integer gadeident = request.streetNames.get(request.vasketVejnavn);
+ // LookupStreetname er en indkapsling af alm + levenstein + google + osm
+ Integer gadeident = lookupStretname(request, result, true);
- if ( gadeident == null) {
- helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn;
- gadeident = helperCache.get(helperSearchKey);
- }
-
+ /*
+ * Hvis der ikke er direkte hits, prøver vi at skære ord af vejnavn
+ *
+ * Denne sektion er MEGET experimental da den øger antallet af kald til google/OSM væsentligt*/
if (gadeident == null) {
- String vej = levenshteinHelper.proposeStreetName(request, result);
- if (vej != null) {
- gadeident = request.streetNames.get(vej);
- }
- }
-
-
- // Brug OpenStreetMap før vi prøver google
- // For google har en request limit, det har OSM ikke!
- if ( gadeident == null) {
- String vej = osmHelper.proposeStreetName(request, result);
- gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
- }
-
- if ( gadeident == null) {
- String vej = googleHelper.proposeStreetName(request, result);
- gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
+ final int MAX_TRIES = 4;
+
+ String vejnavnParts[] = request.vejnavn.split(" ");
+
+ for (int i=1; i<=MAX_TRIES && i postnrVeje, String helperSearchKey) {
if (vej == null)
@@ -190,7 +238,7 @@
}
- public Map getStretsByPostal(int zip) {
+ public Map getStretsByPostal(short zip) {
return searchPostnrVejnavnGadeid.get(zip);
}
@@ -204,11 +252,13 @@
long start1 = System.currentTimeMillis();
System.out.println("Build -- stage 1");
- alleAdresser = DatabaseLayer.getAllAdresses();
+ alleAdresser = db.getAllAdresses();
/* Mapper mellem db Row ID og adresse noden */
Map idAddressMap = new HashMap( alleAdresser.size() );
+ DeduplicateHelper aliasHelper = new DeduplicateHelper();
+ DeduplicateHelper husnrHelper = new DeduplicateHelper();
for (Address a : alleAdresser) {
idAddressMap.put(a.id, a);
@@ -219,6 +269,7 @@
postnrVeje = new ConcurrentHashMap();
searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);
}
+
String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
Integer gadeident = postnrVeje.get(vasketVejnavn);
@@ -230,6 +281,8 @@
Set aliaser = findVejAliaser(a.vejnavn);
for(String alias : aliaser) {
String vasketAlias = AddressUtils.vaskVejnavn(alias);
+ vasketAlias = aliasHelper.getInstance(vasketAlias);
+
postnrVeje.put(vasketAlias, gadeident);
}
}
@@ -240,6 +293,7 @@
searchGadeidentAdresser.put(gadeident, gade);
}
String husnrSearch = "" + a.husnr + a.husnrbogstav;
+ husnrSearch = husnrHelper.getInstance(husnrSearch);
gade.put(husnrSearch, a);
}
@@ -249,7 +303,7 @@
System.out.println("Build -- stage 2 alias tabel");
int vaskCount = 0;
- List aliasList = DatabaseLayer.getAliasList();
+ List aliasList = db.getAliasList();
for (AliasBean alias : aliasList) {
Map postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
@@ -283,22 +337,34 @@
System.out.println("Build, stage2 elapsed: " + (start3-start2) );
System.out.println("Build -- stage 3 udvidet dækning");
- List extDao = DatabaseLayer.getExtendedAdresslist();
+ DeduplicateHelper ruteHelper = new DeduplicateHelper();
+ DeduplicateHelper korelisteHelper = new DeduplicateHelper();
+
+ List extDao = db.getExtendedAdresslist();
for (ExtendedBean eb : extDao) {
Address orgAddress = idAddressMap.get(eb.orgId);
if (orgAddress == null)
continue;
+ if (orgAddress.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
+ //kan være at adressen er blevet markeret dækket og - find-nærmeste data ikke er opdateret i mellemtiden
+ continue;
+ }
+
Address targetAddress = idAddressMap.get(eb.targetId);
- if (targetAddress == null)
+ if (targetAddress == null) {
continue;
+ }
- if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) {
+
+ if ( StringUtils.equals(orgAddress.distributor, "LUKKET") ) {
continue;
}
- if (targetAddress.distributor.equals("LUKKET")) {
+
+
+ if ( StringUtils.equals(targetAddress.distributor, "LUKKET") ) {
continue;
}
@@ -307,7 +373,9 @@
boolean covered = false;
if (targetAddress.distributor.equals("DAO")) {
- orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);
+ orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);
+ orgAddress.rute = ruteHelper.getInstance(orgAddress.rute);
+
if (orgAddress.rute != null) {
orgAddress.koreliste = targetAddress.koreliste;
covered = true;
@@ -315,7 +383,9 @@
}
if (targetAddress.distributor.equals("BK")) {
- orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);
+ orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);
+ orgAddress.koreliste = korelisteHelper.getInstance(orgAddress.koreliste);
+
if (orgAddress.koreliste != null) {
orgAddress.rute = targetAddress.rute;
covered = true;
@@ -327,8 +397,10 @@
orgAddress.dbkBane = targetAddress.dbkBane;
/* Sådan gør den gamle service */
- orgAddress.kommunekode = targetAddress.kommunekode;
- orgAddress.vejkode = targetAddress.vejkode;
+ /* 20150520 THN- hvis vi bibeholder de originale kommune+vejkoder kan vi bruge DAVID til join i databasen*/
+ //orgAddress.kommunekode = targetAddress.kommunekode;
+ //orgAddress.vejkode = targetAddress.vejkode;
+
orgAddress.distributor = targetAddress.distributor;
}
@@ -342,7 +414,7 @@
System.out.println("Build, stage3 elapsed: " + (start4-start3) );
System.out.println("Build -- stage 4 - 100pct");
- Map hundredePct = DatabaseLayer.get100PctList();
+ Map hundredePct = db.get100PctList();
for (Address addr : alleAdresser) {
if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
continue;
@@ -385,11 +457,13 @@
stats.ikkeDaekketCount++;
}
}
+ stats.totalCount = alleAdresser.size();
stats.elapsed = stop-start1;
stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
+ System.out.println("Build: totalCount: " + stats.totalCount);
System.out.println("Build: direkteCount: " + stats.direkteCount);
System.out.println("Build: extendedCount: " + stats.extendedCount);
System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
@@ -404,6 +478,10 @@
return stats;
}
+ public DatabaseLayer getDatabaseLayer() {
+ return db;
+ }
+
public void clear() {
searchPostnrVejnavnGadeid.clear();
searchGadeidentAdresser.clear();
@@ -482,13 +560,12 @@
vejnavn = vejnavn.toLowerCase();
HashSet aliasSet = new HashSet();
aliasSet.add(vejnavn);
-
- aliasSet.add(vejnavn.replace("u", "ü") );
- aliasSet.add(vejnavn.replace("ü", "u") );
-
+
aliasSet.add(vejnavn.replace("alle", "allé") );
aliasSet.add(vejnavn.replace("allé", "alle") );
+
+ // forkortelser
aliasSet.add(vejnavn.replace("dronningens", "dr") );
aliasSet.add(vejnavn.replace("dr.", "dronningens") );
aliasSet.add(vejnavn.replace("dr ", "dronningens") );
@@ -515,7 +592,9 @@
aliasSet.add(vejnavn.replace("st.", "store") );
aliasSet.add(vejnavn.replace("søndre", "sdr") );
- aliasSet.add(vejnavn.replace("sdr", "søndre") );
+ aliasSet.add(vejnavn.replace("sdr", "søndre") );
+ aliasSet.add(vejnavn.replace("sønder", "sdr") );
+ aliasSet.add(vejnavn.replace("sdr", "sønder") );
aliasSet.add(vejnavn.replace("nørre", "nr") );
@@ -523,19 +602,48 @@
aliasSet.add(vejnavn.replace("nordre", "ndr") );
aliasSet.add(vejnavn.replace("ndr", "nordre") );
+
+
+ aliasSet.add(vejnavn.replace("vestre", "vester") );
+ aliasSet.add(vejnavn.replace("vester", "vestre") );
+
+ aliasSet.add(vejnavn.replace("søndre", "sønder") );
+ aliasSet.add(vejnavn.replace("sønder", "søndre") );
+
+ aliasSet.add(vejnavn.replace("østre", "øster") );
+ aliasSet.add(vejnavn.replace("øster", "østre") );
+
+ aliasSet.add(vejnavn.replace("borgmester", "borgm") );
+ aliasSet.add(vejnavn.replace("borgm", "borgmester") );
+
aliasSet.add(vejnavn.replace("sankt", "skt") );
aliasSet.add(vejnavn.replace("sankt", "sct") );
aliasSet.add(vejnavn.replace("skt", "sankt") );
aliasSet.add(vejnavn.replace("skt", "sct") );
- aliasSet.add(vejnavn.replace("sct", "skt") );
+ aliasSet.add(vejnavn.replace("sct", "skt") );
+
// fornavn forkortelser
aliasSet.add(vejnavn.replace("john", "j") );
aliasSet.add(vejnavn.replace("thomas", "th") );
aliasSet.add(vejnavn.replace("thorvald", "th") );
+ aliasSet.add(vejnavn.replace("frederik", "fr") );
+ aliasSet.add(vejnavn.replace("frederiks", "fr") );
+
+
+ aliasSet.add(vejnavn.replace("christian", "chr") );
+ aliasSet.add(vejnavn.replace("christians", "chr") );
+ aliasSet.add(vejnavn.replace("kristian", "kr") );
+ aliasSet.add(vejnavn.replace("kristians", "kr") );
+
+
+ // alternative stavninger
+ aliasSet.add(vejnavn.replace("peder", "peter") );
+ aliasSet.add(vejnavn.replace("peter", "peder") );
+
// Romertal
@@ -577,6 +685,8 @@
aliasSet.add(vejnavn.replace("vej", "vejen") );
aliasSet.add(vejnavn.replace("vejen", "vej") );
+ aliasSet.add(vejnavn.replace("v", "vej") );//Vi kan have vejnavne i DB der bare slutter på v istedet for vej
+
aliasSet.add(vejnavn.replace("alle", "all") );
aliasSet.add(vejnavn.replace("allé", "all") );
aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
@@ -587,7 +697,15 @@
aliasSet.add(vejnavn.replace("plads", "pl") );
aliasSet.add(vejnavn.replace("vænget", "vænge") );
-
+
+ aliasSet.add(vejnavn.replace("boulevard", "blvd") );
+ aliasSet.add(vejnavn.replace("blvd", "boulevard") );
+
+ aliasSet.add(vejnavn.replace("boulevard", "boule") );
+ aliasSet.add(vejnavn.replace("boule", "boulevard") );
+
+ aliasSet.add(vejnavn.replace("kronborg", "krbg") ); //Krbg ladegårdsvej, 3000
+ aliasSet.add(vejnavn.replace("krbg", "kronborg") );
// Opbyg æøå varianter over alle fundne aliaser
@@ -614,6 +732,17 @@
//danske tegn 3
aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
+
+
+ //udenlandsketegn
+ aliasSet.add(vejnavn.replace("u", "ü") );
+ aliasSet.add(vejnavn.replace("ü", "u") );
+
+ aliasSet.add(vejnavn.replace("ä", "æ") );
+ aliasSet.add(vejnavn.replace("æ", "ä") );
+
+ aliasSet.add(vejnavn.replace("ö", "ø") );
+ aliasSet.add(vejnavn.replace("ø", "ö") );
}
return aliasSet;
@@ -623,23 +752,25 @@
return new TreeSet( searchPostnrVejnavnGadeid.keySet() );
}
- public Set> getVejnavne(int postnr) {
+ public Set> getVejnavne(short postnr) {
Map map = searchPostnrVejnavnGadeid.get(postnr);
- TreeMap newMap = new TreeMap();
- for (Entry entry : map.entrySet() ) {
- newMap.put(entry.getKey(), entry.getValue());
- }
+
+ TreeMap newMap = new TreeMap( map );//Lav et nyt TreeMap for at sikre sortering
return newMap.entrySet();
}
- public Set getHusnumre(long gadeid) {
+ public Set getHusnumre(int gadeid) {
Map gade = searchGadeidentAdresser.get(gadeid);
- return new TreeSet( gade.keySet() );
+
+ Set set = new TreeSet( new NaturalOrderComparator() );
+ set.addAll( gade.keySet() );
+
+ return set;
}
- public Address getAdresse(long gadeid, String husnr) {
+ public Address getAdresse(int gadeid, String husnr) {
Map gade = searchGadeidentAdresser.get(gadeid);
return gade.get(husnr);