--- dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AdressSearch.java 2015/02/16 13:24:45 2309 +++ dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AdressSearch.java 2015/02/26 16:09:39 2391 @@ -1,6 +1,10 @@ package dk.daoas.daoadresseservice; import java.sql.SQLException; +import java.text.SimpleDateFormat; +import java.util.ArrayList; +import java.util.Collections; +import java.util.Date; import java.util.HashMap; import java.util.HashSet; import java.util.List; @@ -8,8 +12,11 @@ import java.util.Set; import java.util.concurrent.ConcurrentHashMap; -import dk.daoas.daoadresseservice.AddressUtils.SplitResult; +import org.apache.commons.lang3.StringUtils; + +import dk.daoas.daoadresseservice.admin.ServiceConfig; import dk.daoas.daoadresseservice.beans.Address; +import dk.daoas.daoadresseservice.beans.DataStatisticsBean; import dk.daoas.daoadresseservice.beans.ExtendedBean; import dk.daoas.daoadresseservice.beans.HundredePctBean; import dk.daoas.daoadresseservice.beans.SearchResult; @@ -18,44 +25,55 @@ public class AdressSearch { - Map> searchPostnrVejnavnGadeid; - Map> searchGadeidentAdresser; + private Map> searchPostnrVejnavnGadeid; + private Map> searchGadeidentAdresser; - List
alleAdresser; + private List
alleAdresser; + + private Map helperCache; - Map helperCache; + private DataStatisticsBean stats = new DataStatisticsBean(); + ServiceConfig config; - Map hundredePct; + public AdressSearch(ServiceConfig config) { + this.config = config; + } public SearchResult search(String postnrStr, String adresse) { + SearchResult result = new SearchResult(); + int postnr=0; - boolean google = false; - boolean osm = false; + String helperSearchKey = ""; try { postnr = Integer.parseInt(postnrStr); } catch (Exception E) { - return new SearchResult(Status.ERROR_UNKNOWN_POSTAL); + result.status = Status.ERROR_UNKNOWN_POSTAL; + return result; } Map postnrVeje = searchPostnrVejnavnGadeid.get(postnr); if (postnrVeje == null) { - return new SearchResult(Status.ERROR_UNKNOWN_POSTAL); + result.status = Status.ERROR_UNKNOWN_POSTAL; + return result; } - SplitResult split = AddressUtils.splitAdresse(adresse); - String vasketVejnavn = AddressUtils.vaskVejnavn( split.vej ); + result.splitResult = AddressUtils.splitAdresse(adresse); + - if (split.husnr.length() == 0) { - return new SearchResult(Status.ERROR_MISSING_HOUSENUMBER); + if (result.splitResult.husnr.length() == 0) { + result.status = Status.ERROR_MISSING_HOUSENUMBER; + return result; } + String vasketVejnavn = AddressUtils.vaskVejnavn( result.splitResult.vej ); + Long gadeident = postnrVeje.get(vasketVejnavn); @@ -64,61 +82,88 @@ gadeident = helperCache.get(helperSearchKey); } + if (gadeident == null) { + String best = getbestLevenshteinDistance(vasketVejnavn, postnrVeje); + if (best != null) { + result.levenshtein = true; + gadeident = postnrVeje.get(best); + } + } + + // Brug OpenStreetMap før vi prøver google + // For google har en request limit, det har OSM ikke! if ( gadeident == null) { - String googleVej = GeocodeHelper.googleHelper(postnr, split.vej ); - google = true; - - if (googleVej != null) { - String googleVasket = AddressUtils.vaskVejnavn( googleVej ); - gadeident = postnrVeje.get(googleVasket); + if (config.useOpenStreetMaps) { + result.osmVej = GeocodeHelper.openstreetmapHelper(config, postnr, result.splitResult.vej ); + result.osm = true; - if (gadeident != null) { - helperCache.put(helperSearchKey, gadeident); + if (result.osmVej != null) { + String osmVasket = AddressUtils.vaskVejnavn( result.osmVej ); + gadeident = postnrVeje.get(osmVasket); + + if (gadeident != null) { + helperCache.put(helperSearchKey, gadeident); + } } } } if ( gadeident == null) { - String osmVej = GeocodeHelper.openstreetmapHelper(postnr, split.vej ); - osm = true; - - if (osmVej != null) { - String osmVasket = AddressUtils.vaskVejnavn( osmVej ); - gadeident = postnrVeje.get(osmVasket); + if (config.useGoogle) { + result.googleVej = GeocodeHelper.googleHelper(config, postnr, result.splitResult.vej ); + result.google = true; - if (gadeident != null) { - helperCache.put(helperSearchKey, gadeident); + if (result.googleVej != null) { + String googleVasket = AddressUtils.vaskVejnavn( result.googleVej ); + gadeident = postnrVeje.get(googleVasket); + + if (gadeident != null) { + helperCache.put(helperSearchKey, gadeident); + } } } } - if (gadeident == null) { - return new SearchResult(Status.ERROR_UNKNOWN_STREETNAME); + + + if (gadeident == null) { + result.status = Status.ERROR_UNKNOWN_STREETNAME; + return result; } - Map gade = searchGadeidentAdresser.get(gadeident); //Denne søgning må ikke fejle + Map gade = searchGadeidentAdresser.get(gadeident); + if (gade == null) { //Denne søgning må ikke fejle + result.status = Status.ERROR_INTERNAL; + return result; + } - String husnrSearch = "" + split.husnr + split.litra; + String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra; Address addr = gade.get(husnrSearch); if (addr == null) { - return new SearchResult(Status.ERROR_UNKNOWN_ADDRESSPOINT); + result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT; + return result; } + result.address = addr; + + + if ( StringUtils.equals(addr.distributor, "LUKKET") ) { + result.status = Status.STATUS_NOT_COVERED; //Skal vi have en special status til Lukkede adresser ? + return result; + } + if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) { - return new SearchResult(Status.STATUS_NOT_COVERED); + result.status = Status.STATUS_NOT_COVERED; + return result; } + - if (addr.distributor.equals("LUKKET")) { - return new SearchResult(Status.STATUS_NOT_COVERED); //Skal vi have en special status til Lukkede adresser ? - } - - SearchResult res = new SearchResult(addr); - res.google = google; - res.osm = osm; - return res; + result.status = Status.STATUS_OK; + + return result; } @@ -233,7 +278,7 @@ System.out.println("Build, stage2 elapsed: " + (start3-start2) ); System.out.println("Build -- stage 3 - 100pct"); - hundredePct = DatabaseLayer.get100PctList(); + Map hundredePct = DatabaseLayer.get100PctList(); for (Address addr : alleAdresser) { if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) { continue; @@ -260,38 +305,59 @@ long stop = System.currentTimeMillis(); System.out.println("Build, stage3 elapsed: " + (stop-start3) ); System.out.println("Build -- Gathering statistics"); - - int direkteCount = 0; - int extendedCount = 0; - int hundredePctCount = 0; - int ikkeDaekketCount = 0; - + for (Address addr : alleAdresser) { switch (addr.daekningsType) { case DAEKNING_DIREKTE: - direkteCount++; + stats.direkteCount++; break; case DAEKNING_UDVIDET: - extendedCount++; + stats.extendedCount++; break; case DAEKNING_100PCT: - hundredePctCount++; + stats.hundredePctCount++; break; default: - ikkeDaekketCount++; + stats.ikkeDaekketCount++; } - } + } + - System.out.println("Build: direkteCount: " + direkteCount); - System.out.println("Build: extendedCount: " + extendedCount); - System.out.println("Build: hundredePctCount: " + hundredePctCount); - System.out.println("Build: ikkeDaekketCount: " + ikkeDaekketCount); + stats.elapsed = stop-start1; + stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() ); + + System.out.println("Build: direkteCount: " + stats.direkteCount); + System.out.println("Build: extendedCount: " + stats.extendedCount); + System.out.println("Build: hundredePctCount: " + stats.hundredePctCount); + System.out.println("Build: ikkeDaekketCount: " + stats.ikkeDaekketCount); System.out.println("Build: Total Elapsed: " + (stop-start1) ); System.out.println("Build Completed"); } + public DataStatisticsBean getStatistics() { + return stats; + } + + public void clear() { + searchPostnrVejnavnGadeid.clear(); + searchGadeidentAdresser.clear(); + alleAdresser.clear(); + helperCache.clear(); + } + + + private String getbestLevenshteinDistance(String vasketVejnavn, Map postnrVeje) { + for(String vej : postnrVeje.keySet()) { + if ( StringUtils.getLevenshteinDistance(vasketVejnavn, vej) == 1) { + System.out.println("Levenstein: " + vasketVejnavn + "->" + vej); + return vej; + } + } + + return null; + } private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) { @@ -332,7 +398,18 @@ break; } return null; - } + } + + public List
getNonCoveredAddresses() { + List
result = new ArrayList
(60000); + for (Address a : alleAdresser) { + if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) { + result.add(a); + } + } + Collections.sort(result ); + return result; + } /////////////////////////////////////////////////////////// private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) { @@ -347,37 +424,26 @@ private Set findVejAliaser(String vejnavn) { vejnavn = vejnavn.toLowerCase(); - Set aliasSet = new HashSet(); + HashSet aliasSet = new HashSet(); aliasSet.add(vejnavn); - aliasSet.add(vejnavn.replace("alle", "allé") ); - aliasSet.add(vejnavn.replace("allé", "alle") ); - - // danske tegn 1 - aliasSet.add(vejnavn.replace("æ", "ae") ); - aliasSet.add(vejnavn.replace("ø", "oe") ); - aliasSet.add(vejnavn.replace("å", "aa") ); - aliasSet.add(vejnavn.replace("ae", "æ") ); - aliasSet.add(vejnavn.replace("oe", "ø") ); - aliasSet.add(vejnavn.replace("aa", "å") ); - - //danske tegn 2 - aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe") ); - aliasSet.add( vejnavn.replace("æ", "ae").replace("å", "aa") ); - aliasSet.add( vejnavn.replace("ø", "ae").replace("å", "aa") ); - aliasSet.add( vejnavn.replace("ae", "æ").replace("oe","ø") ); - aliasSet.add( vejnavn.replace("ae", "æ").replace("aa","å") ); - aliasSet.add( vejnavn.replace("oe", "ø").replace("aa", "å") ); - - //danske tegn 3 - aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") ); - aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") ); + aliasSet.add(vejnavn.replace("u", "ü") ); + aliasSet.add(vejnavn.replace("ü", "u") ); + aliasSet.add(vejnavn.replace("alle", "allé") ); + aliasSet.add(vejnavn.replace("allé", "alle") ); aliasSet.add(vejnavn.replace("dronningens", "dr") ); aliasSet.add(vejnavn.replace("dr.", "dronningens") ); aliasSet.add(vejnavn.replace("dr ", "dronningens") ); + aliasSet.add(vejnavn.replace("dronning", "dr") ); + aliasSet.add(vejnavn.replace("dr.", "dronning") ); + aliasSet.add(vejnavn.replace("dr ", "dronning") ); + + aliasSet.add(vejnavn.replace("kng", "kongen") ); + aliasSet.add(vejnavn.replace("kongen", "kng") ); + aliasSet.add(vejnavn.replace("kvt", "kvarter") ); aliasSet.add(vejnavn.replace("kvarter", "kvt") ); @@ -403,10 +469,52 @@ aliasSet.add(vejnavn.replace("ndr", "nordre") ); aliasSet.add(vejnavn.replace("sankt", "skt") ); + aliasSet.add(vejnavn.replace("sankt", "sct") ); aliasSet.add(vejnavn.replace("skt", "sankt") ); aliasSet.add(vejnavn.replace("skt", "sct") ); - aliasSet.add(vejnavn.replace("sct", "skt") ); + aliasSet.add(vejnavn.replace("sct", "skt") ); + + + //alternative måder at stave vej/gade/alle + aliasSet.add(vejnavn.replace("vej", "ve") ); + aliasSet.add(vejnavn.replace("vej", "vj") ); + aliasSet.add(vejnavn.replace("vej", "v") ); + + aliasSet.add(vejnavn.replace("alle", "all") ); + aliasSet.add(vejnavn.replace("allé", "all") ); + aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo + aliasSet.add(vejnavn.replace("allé", "allú") ); + + aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo + + + // Opbyg æøå varianter over alle fundne aliaser + + @SuppressWarnings("unchecked") + HashSet variants = (HashSet) aliasSet.clone(); + + for (String vVejnavn : variants) { + // danske tegn 1 + aliasSet.add( vVejnavn.replace("æ", "ae") ); + aliasSet.add( vVejnavn.replace("ø", "oe") ); + aliasSet.add( vVejnavn.replace("å", "aa") ); + aliasSet.add( vVejnavn.replace("ae", "æ") ); + aliasSet.add( vVejnavn.replace("oe", "ø") ); + aliasSet.add( vVejnavn.replace("aa", "å") ); + + //danske tegn 2 + aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") ); + aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") ); + aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") ); + aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") ); + aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") ); + aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") ); + + //danske tegn 3 + aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") ); + aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") ); + } return aliasSet; }