--- dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AdressSearch.java 2015/02/13 11:48:23 2274 +++ dao/DaoAdresseService/src/dk/daoas/daoadresseservice/AddressSearch.java 2015/03/02 07:45:27 2419 @@ -1,73 +1,212 @@ package dk.daoas.daoadresseservice; import java.sql.SQLException; +import java.text.SimpleDateFormat; +import java.util.ArrayList; +import java.util.Collections; +import java.util.Date; import java.util.HashMap; +import java.util.HashSet; import java.util.List; import java.util.Map; +import java.util.Set; import java.util.concurrent.ConcurrentHashMap; -import dk.daoas.daoadresseservice.AddressUtils.SplitResult; -import dk.daoas.daoadresseservice.SearchResult.Status; +import org.apache.commons.lang3.StringUtils; + +import dk.daoas.daoadresseservice.admin.ServiceConfig; +import dk.daoas.daoadresseservice.beans.Address; +import dk.daoas.daoadresseservice.beans.AliasBean; +import dk.daoas.daoadresseservice.beans.DataStatisticsBean; +import dk.daoas.daoadresseservice.beans.ExtendedBean; +import dk.daoas.daoadresseservice.beans.HundredePctBean; +import dk.daoas.daoadresseservice.beans.SearchRequest; +import dk.daoas.daoadresseservice.beans.SearchResult; +import dk.daoas.daoadresseservice.beans.SearchResult.Status; import dk.daoas.daoadresseservice.db.DatabaseLayer; -public class AdressSearch { +public class AddressSearch { - Map> searchPostnrVejnavnGadeid; - Map> searchGadeidentAdresser; + private Map> searchPostnrVejnavnGadeid; + private Map> searchGadeidentAdresser; - List
alleAdresser; + private List
alleAdresser; + + private Map helperCache; + + private DataStatisticsBean stats = new DataStatisticsBean(); - /* Mapper mellem db Row ID og adresse noden */ - Map idAddressMap; + ServiceConfig config; + + StreetnameHelper levenshteinHelper; + StreetnameHelper googleHelper; + StreetnameHelper osmHelper; + + + public AddressSearch(ServiceConfig config) { + this.config = config; + + levenshteinHelper = new LevenshteinStreetnameHelper( this ); + googleHelper = new GoogleStreetnameHelper( config ); + osmHelper = new OSMStreetnameHelper( config ); + } public SearchResult search(String postnrStr, String adresse) { - int postnr=0; + SearchRequest request = new SearchRequest(); + SearchResult result = new SearchResult(); + + + String helperSearchKey = ""; try { - postnr = Integer.parseInt(postnrStr); + request.postnr = Integer.parseInt(postnrStr); } catch (Exception E) { - return new SearchResult(Status.ERROR_UNKNOWN_POSTAL); + result.status = Status.ERROR_UNKNOWN_POSTAL; + return result; } - Map postnrVeje = searchPostnrVejnavnGadeid.get(postnr); - if (postnrVeje == null) { - return new SearchResult(Status.ERROR_UNKNOWN_POSTAL); + request.streetNames = searchPostnrVejnavnGadeid.get(request.postnr); + + if (request.streetNames == null) { + result.status = Status.ERROR_UNKNOWN_POSTAL; + return result; } - SplitResult split = AddressUtils.splitAdresse(adresse); - String vasketVejnavn = AddressUtils.vaskVejnavn( split.vej ); - if (split.husnr.length() == 0) { - return new SearchResult(Status.ERROR_MISSING_HOUSENUMBER); + result.splitResult = AddressUtils.splitAdresse(adresse); + request.vejnavn = result.splitResult.vej; + + + + if (result.splitResult.husnr.length() == 0) { + result.status = Status.ERROR_MISSING_HOUSENUMBER; + return result; + } + + request.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn ); + + + if (request.vasketVejnavn.indexOf("pakkebo") > -1 + || request.vasketVejnavn.indexOf("døgnpost") > -1 + || request.vasketVejnavn.indexOf("døgnbo") > -1 + || request.vasketVejnavn.equals("id") + ) { + result.status = Status.ERROR_POSTBOX; + return result; + } + + Long gadeident = request.streetNames.get(request.vasketVejnavn); + + + if ( gadeident == null) { + helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn; + gadeident = helperCache.get(helperSearchKey); } - Long gadeident = postnrVeje.get(vasketVejnavn); if (gadeident == null) { - return new SearchResult(Status.ERROR_UNKNOWN_STREETNAME); - } + String vej = levenshteinHelper.proposeStreetName(request, result); + if (vej != null) { + gadeident = request.streetNames.get(vej); + } + } + + + // Brug OpenStreetMap før vi prøver google + // For google har en request limit, det har OSM ikke! + if ( gadeident == null) { + String vej = osmHelper.proposeStreetName(request, result); + gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); + } + + if ( gadeident == null) { + String vej = googleHelper.proposeStreetName(request, result); + gadeident = helperWrapper(vej, request.streetNames, helperSearchKey); + } + + + + if (gadeident == null) { + result.status = Status.ERROR_UNKNOWN_STREETNAME; + return result; + } - Map gade = searchGadeidentAdresser.get(gadeident); //Denne søgning må ikke fejle + result.gadeident = gadeident; - String husnrSearch = "" + split.husnr + split.litra; + Map gade = searchGadeidentAdresser.get(gadeident); + if (gade == null) { //Denne søgning må ikke fejle + result.status = Status.ERROR_INTERNAL; + return result; + } + + + //Kunne evt klares med Iterables.get fra Guava/Collections + Address firstAddress = gade.values().iterator().next(); + result.vej = firstAddress.vejnavn; + + String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra; Address addr = gade.get(husnrSearch); + if (addr == null) { - return new SearchResult(Status.ERROR_UNKNOWN_ADDRESSPOINT); + result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT; + return result; } - - return new SearchResult(addr); + result.address = addr; + + + if ( StringUtils.equals(addr.distributor, "LUKKET") ) { + result.status = Status.STATUS_NOT_COVERED; //Skal vi have en special status til Lukkede adresser ? + return result; + } + + if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) { + result.status = Status.STATUS_NOT_COVERED; + return result; + } + + + result.status = Status.STATUS_OK; + + return result; } + private Long helperWrapper(String vej, Map postnrVeje, String helperSearchKey) { + if (vej == null) + return null; + + String vejVasket = AddressUtils.vaskVejnavn( vej ); + Long gadeident = postnrVeje.get(vejVasket); + + if (gadeident != null) { + helperCache.put(helperSearchKey, gadeident); + } + return gadeident; + + } + + public Map getStretsByPostal(int zip) { + return searchPostnrVejnavnGadeid.get(zip); + } + + public void buildSearchStructures() throws SQLException{ searchPostnrVejnavnGadeid = new HashMap>(); searchGadeidentAdresser = new HashMap>(); - idAddressMap = new HashMap(); + helperCache = new ConcurrentHashMap(); + + long start1 = System.currentTimeMillis(); + System.out.println("Build -- stage 1"); alleAdresser = DatabaseLayer.getAllAdresses(); + + + /* Mapper mellem db Row ID og adresse noden */ + Map idAddressMap = new HashMap( alleAdresser.size() ); + for (Address a : alleAdresser) { idAddressMap.put(a.id, a); @@ -78,22 +217,401 @@ searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje); } - Long gadeident = postnrVeje.get(a.vasketVejnavn); - if (gadeident == null) { - postnrVeje.put(a.vasketVejnavn, a.gadeid); + String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn); + Long gadeident = postnrVeje.get(vasketVejnavn); + if (gadeident == null) { + //postnrVeje.put(vasketVejnavn, a.gadeid); + + gadeident = a.gadeid; + + Set aliaser = findVejAliaser(a.vejnavn); + for(String alias : aliaser) { + String vasketAlias = AddressUtils.vaskVejnavn(alias); + postnrVeje.put(vasketAlias, gadeident); + } } - Map gade = searchGadeidentAdresser.get(a.gadeid); + Map gade = searchGadeidentAdresser.get(gadeident); if (gade == null) { gade = new HashMap(); - searchGadeidentAdresser.put(a.gadeid, gade); + searchGadeidentAdresser.put(gadeident, gade); } String husnrSearch = "" + a.husnr + a.husnrbogstav; - gade.put(husnrSearch, a); - + gade.put(husnrSearch, a); + } + + //////////////////////////////////////////////////////////////////////////////////////// + long start2 = System.currentTimeMillis(); + System.out.println("Build, stage1 elapsed: " + (start2-start1) ); + System.out.println("Build -- stage 2 alias tabel"); + + int vaskCount = 0; + List aliasList = DatabaseLayer.getAliasList(); + for (AliasBean alias : aliasList) { + Map postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr); + + if (postnrVeje == null) { + //Burde ikke kunne ske - men better safe than sorry + continue; + } + + String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn); + String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn); + + Long gadeident = postnrVeje.get(vasketVej); + if (gadeident == null) { + //Kender ikke den oprindelige vej + continue; + } + + Long aliasIdent = postnrVeje.get(vasketAlias); + + if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet + postnrVeje.put(vasketAlias, gadeident); + vaskCount++; + } } + System.out.println("Anvendte " + vaskCount + " aliaser fra databasen"); + + //////////////////////////////////////////////////////////////////////////////////////// + long start3 = System.currentTimeMillis(); + System.out.println("Build, stage2 elapsed: " + (start3-start2) ); + System.out.println("Build -- stage 3 udvidet dækning"); + + List extDao = DatabaseLayer.getExtendedAdresslist(); + for (ExtendedBean eb : extDao) { + + Address orgAddress = idAddressMap.get(eb.orgId); + if (orgAddress == null) + continue; + + Address targetAddress = idAddressMap.get(eb.targetId); + if (targetAddress == null) + continue; + + if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) { + continue; + } + + if (targetAddress.distributor.equals("LUKKET")) { + continue; + } + + orgAddress.extTarget = targetAddress; + orgAddress.extAfstand = eb.afstand; + + boolean covered = false; + if (targetAddress.distributor.equals("DAO")) { + orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress); + if (orgAddress.rute != null) { + orgAddress.koreliste = targetAddress.koreliste; + covered = true; + } + } + + if (targetAddress.distributor.equals("BK")) { + orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress); + if (orgAddress.koreliste != null) { + orgAddress.rute = targetAddress.rute; + covered = true; + } + } + + if (covered) { //Kopier resten af felterne + orgAddress.daekningsType = DaekningsType.DAEKNING_UDVIDET; + orgAddress.dbkBane = targetAddress.dbkBane; + + /* Sådan gør den gamle service */ + orgAddress.kommunekode = targetAddress.kommunekode; + orgAddress.vejkode = targetAddress.vejkode; + + orgAddress.distributor = targetAddress.distributor; + } + } + + // nu skal vi ikke bruge idAddressMap længere + idAddressMap = null; + + ////////////////////////////////////////////////////////////////////////////////////// + long start4 = System.currentTimeMillis(); + System.out.println("Build, stage3 elapsed: " + (start4-start3) ); + System.out.println("Build -- stage 4 - 100pct"); + + Map hundredePct = DatabaseLayer.get100PctList(); + for (Address addr : alleAdresser) { + if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) { + continue; + } + + if (addr.distributor != null && addr.distributor.equals("LUKKET")) { + continue; + } + + + HundredePctBean bean = hundredePct.get(addr.postnr); + if (bean == null) { + continue; + } + + addr.daekningsType = DaekningsType.DAEKNING_100PCT; + addr.rute = bean.rute; + addr.koreliste = bean.koreliste; + addr.dbkBane = bean.dbkBane; + addr.distributor = bean.distributor; + } + + //////////////////////////////////////////////////////////////////////////////////// + long stop = System.currentTimeMillis(); + System.out.println("Build, stage3 elapsed: " + (stop-start4) ); + System.out.println("Build -- Gathering statistics"); + + for (Address addr : alleAdresser) { + switch (addr.daekningsType) { + case DAEKNING_DIREKTE: + stats.direkteCount++; + break; + case DAEKNING_UDVIDET: + stats.extendedCount++; + break; + case DAEKNING_100PCT: + stats.hundredePctCount++; + break; + default: + stats.ikkeDaekketCount++; + } + } + + + stats.elapsed = stop-start1; + stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() ); + + System.out.println("Build: direkteCount: " + stats.direkteCount); + System.out.println("Build: extendedCount: " + stats.extendedCount); + System.out.println("Build: hundredePctCount: " + stats.hundredePctCount); + System.out.println("Build: ikkeDaekketCount: " + stats.ikkeDaekketCount); + + System.out.println("Build: Total Elapsed: " + (stop-start1) ); + System.out.println("Build Completed"); + + } + + public DataStatisticsBean getStatistics() { + return stats; + } + + public void clear() { + searchPostnrVejnavnGadeid.clear(); + searchGadeidentAdresser.clear(); + alleAdresser.clear(); + helperCache.clear(); + } + + + private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) { + + // /////////////////////////////////////////////////////////////////// + switch( eb.transport) { + case "cykel": + if (eb.afstand < 0.151) { + return "." + targetAddress.rute; + } else if (eb.afstand < 0.501) { + return ".." + targetAddress.rute; + } else if (eb.afstand < 0.701) { + return "..." + targetAddress.rute; + } else if (eb.afstand < 0.501) { + return "...." + targetAddress.rute; + } + break; + case "scooter": + if (eb.afstand < 0.151) { + return "." + targetAddress.rute; + } else if (eb.afstand < 0.801) { + return ".." + targetAddress.rute; + } else if (eb.afstand < 1.201) { + return "..." + targetAddress.rute; + } else if (eb.afstand < 2.101) { + return "...." + targetAddress.rute; + } + break; + case "bil": + if (eb.afstand < 0.151) { + return "." + targetAddress.rute; + } else if (eb.afstand < 1.001) { + return ".." + targetAddress.rute; + } else if (eb.afstand < 1.601) { + return "..." + targetAddress.rute; + } else if (eb.afstand < 2.601) { + return "...." + targetAddress.rute; + } + break; + } + return null; + } + + public List
getNonCoveredAddresses() { + List
result = new ArrayList
(60000); + for (Address a : alleAdresser) { + if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) { + result.add(a); + } + } + Collections.sort(result ); + return result; + } + + /////////////////////////////////////////////////////////// + private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) { + String inject; + if (eb.afstand <= 0.500) { + inject = "."; + } else { + inject = ".."; + } + return AddressUtils.injectIntoBk(targetAddress.koreliste, inject); } + private Set findVejAliaser(String vejnavn) { + vejnavn = vejnavn.toLowerCase(); + HashSet aliasSet = new HashSet(); + aliasSet.add(vejnavn); + + aliasSet.add(vejnavn.replace("u", "ü") ); + aliasSet.add(vejnavn.replace("ü", "u") ); + + aliasSet.add(vejnavn.replace("alle", "allé") ); + aliasSet.add(vejnavn.replace("allé", "alle") ); + + aliasSet.add(vejnavn.replace("dronningens", "dr") ); + aliasSet.add(vejnavn.replace("dr.", "dronningens") ); + aliasSet.add(vejnavn.replace("dr ", "dronningens") ); + + aliasSet.add(vejnavn.replace("dronning", "dr") ); + aliasSet.add(vejnavn.replace("dr.", "dronning") ); + aliasSet.add(vejnavn.replace("dr ", "dronning") ); + + aliasSet.add(vejnavn.replace("kng", "kongen") ); + aliasSet.add(vejnavn.replace("kongen", "kng") ); + + aliasSet.add(vejnavn.replace("kvt", "kvarter") ); + aliasSet.add(vejnavn.replace("kvarter", "kvt") ); + + aliasSet.add(vejnavn.replace("gl", "gammel") ); + aliasSet.add(vejnavn.replace("gammel", "gl") ); + + aliasSet.add(vejnavn.replace("lille", "ll") ); + aliasSet.add(vejnavn.replace("ll ", "lille") ); + aliasSet.add(vejnavn.replace("ll.", "lille") ); + + aliasSet.add(vejnavn.replace("store", "st") ); + aliasSet.add(vejnavn.replace("st ", "store") ); + aliasSet.add(vejnavn.replace("st.", "store") ); + + aliasSet.add(vejnavn.replace("søndre", "sdr") ); + aliasSet.add(vejnavn.replace("sdr", "søndre") ); + + + aliasSet.add(vejnavn.replace("nørre", "nr") ); + aliasSet.add(vejnavn.replace("nr", "nørre") ); + + aliasSet.add(vejnavn.replace("nordre", "ndr") ); + aliasSet.add(vejnavn.replace("ndr", "nordre") ); + + aliasSet.add(vejnavn.replace("sankt", "skt") ); + aliasSet.add(vejnavn.replace("sankt", "sct") ); + aliasSet.add(vejnavn.replace("skt", "sankt") ); + + aliasSet.add(vejnavn.replace("skt", "sct") ); + aliasSet.add(vejnavn.replace("sct", "skt") ); + + + // fornavn forkortelser + aliasSet.add(vejnavn.replace("john", "j") ); + aliasSet.add(vejnavn.replace("thomas", "th") ); + aliasSet.add(vejnavn.replace("thorvald", "th") ); + + + // Romertal + aliasSet.add(vejnavn.replace("1", "i") ); + aliasSet.add(vejnavn.replace("i", "1") ); + + aliasSet.add(vejnavn.replace("2", "ii") ); + aliasSet.add(vejnavn.replace("ii", "2") ); + + aliasSet.add(vejnavn.replace("3", "iii") ); + aliasSet.add(vejnavn.replace("iii", "3") ); + + aliasSet.add(vejnavn.replace("4", "iv") ); + aliasSet.add(vejnavn.replace("iv", "4") ); + + aliasSet.add(vejnavn.replace("5", "v") ); + aliasSet.add(vejnavn.replace("v", "5") ); + + aliasSet.add(vejnavn.replace("6", "vi") ); + aliasSet.add(vejnavn.replace("vi", "6") ); + + aliasSet.add(vejnavn.replace("7", "vii") ); + aliasSet.add(vejnavn.replace("vii", "7") ); + + aliasSet.add(vejnavn.replace("8", "viii") ); + aliasSet.add(vejnavn.replace("viii", "8") ); + + aliasSet.add(vejnavn.replace("9", "ix") ); + aliasSet.add(vejnavn.replace("ix", "9") ); + + aliasSet.add(vejnavn.replace("10", "x") ); + aliasSet.add(vejnavn.replace("x", "10") ); + + + //alternative måder at stave vej/gade/alle + aliasSet.add(vejnavn.replace("vej", "ve") ); + aliasSet.add(vejnavn.replace("vej", "vj") ); + aliasSet.add(vejnavn.replace("vej", "v") ); + aliasSet.add(vejnavn.replace("vej", "vejen") ); + aliasSet.add(vejnavn.replace("vejen", "vej") ); + + aliasSet.add(vejnavn.replace("alle", "all") ); + aliasSet.add(vejnavn.replace("allé", "all") ); + aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo + aliasSet.add(vejnavn.replace("allé", "allú") ); + + aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo + aliasSet.add(vejnavn.replace("gade", "gde") ); + + aliasSet.add(vejnavn.replace("plads", "pl") ); + aliasSet.add(vejnavn.replace("vænget", "vænge") ); + + + // Opbyg æøå varianter over alle fundne aliaser + + @SuppressWarnings("unchecked") + HashSet variants = (HashSet) aliasSet.clone(); + + for (String vVejnavn : variants) { + // danske tegn 1 + aliasSet.add( vVejnavn.replace("æ", "ae") ); + aliasSet.add( vVejnavn.replace("ø", "oe") ); + aliasSet.add( vVejnavn.replace("å", "aa") ); + aliasSet.add( vVejnavn.replace("ae", "æ") ); + aliasSet.add( vVejnavn.replace("oe", "ø") ); + aliasSet.add( vVejnavn.replace("aa", "å") ); + + //danske tegn 2 + aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") ); + aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") ); + aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") ); + aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") ); + aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") ); + aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") ); + + //danske tegn 3 + aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") ); + aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") ); + } + + return aliasSet; + } + + }