daoas/daoadresseservice/AddressSearch.java

package dk.daoas.daoadresseservice;

import java.sql.SQLException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Date;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.concurrent.ConcurrentHashMap;

import org.apache.commons.lang3.StringUtils;

import dk.daoas.daoadresseservice.admin.ServiceConfig;
import dk.daoas.daoadresseservice.beans.Address;
import dk.daoas.daoadresseservice.beans.AliasBean;
import dk.daoas.daoadresseservice.beans.DataStatisticsBean;
import dk.daoas.daoadresseservice.beans.ExtendedBean;
import dk.daoas.daoadresseservice.beans.HundredePctBean;
import dk.daoas.daoadresseservice.beans.SearchRequest;
import dk.daoas.daoadresseservice.beans.SearchResult;
import dk.daoas.daoadresseservice.beans.SearchResult.Status;
import dk.daoas.daoadresseservice.db.DatabaseLayer;

public class AddressSearch {

        private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;       
        private Map<Long,  Map<String,Address>> searchGadeidentAdresser;

        private List<Address> alleAdresser;
        
        private Map<String,Long> helperCache;
        
        private DataStatisticsBean stats = new DataStatisticsBean();
        
        ServiceConfig config;
        
        StreetnameHelper levenshteinHelper;
        StreetnameHelper googleHelper;
        StreetnameHelper osmHelper;
        
        
        public AddressSearch(ServiceConfig config) {
                this.config = config;
                
                levenshteinHelper = new LevenshteinStreetnameHelper( this );
                googleHelper = new GoogleStreetnameHelper( config );
                osmHelper = new OSMStreetnameHelper( config );
        }
        
        
        public SearchResult search(String postnrStr, String adresse)  {
                SearchRequest request = new SearchRequest();
                SearchResult result = new SearchResult();
                

                String helperSearchKey = "";
                
                try {
                        request.postnr = Integer.parseInt(postnrStr);
                } catch (Exception E) {
                        result.status = Status.ERROR_UNKNOWN_POSTAL;
                        return result;
                }               
                
                
                request.streetNames = searchPostnrVejnavnGadeid.get(request.postnr);                    
                
                if (request.streetNames == null) {
                        result.status = Status.ERROR_UNKNOWN_POSTAL;
                        return result;
                }
                
                
                result.splitResult = AddressUtils.splitAdresse(adresse);
                request.vejnavn = result.splitResult.vej;
                
                                                
                
                if (result.splitResult.husnr.length() == 0) {
                        result.status = Status.ERROR_MISSING_HOUSENUMBER;
                        return result;
                }
                
                request.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
                
                Long gadeident =  request.streetNames.get(request.vasketVejnavn);
                
                
                if ( gadeident == null) {
                        helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn;
                        gadeident = helperCache.get(helperSearchKey);
                }
                
                if (gadeident == null) {
                        String vej = levenshteinHelper.proposeStreetName(request, result);
                        if (vej != null) {
                                gadeident =  request.streetNames.get(vej);
                        }
                }
                
                
                // Brug OpenStreetMap før vi prøver google
                // For google har en request limit, det har OSM ikke!
                if ( gadeident == null) {
                        String vej = osmHelper.proposeStreetName(request, result);              
                        gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
                }
                
                if ( gadeident == null) {
                        String vej = googleHelper.proposeStreetName(request, result);           
                        gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
                }
                

                
                if (gadeident == null) {                        
                        result.status = Status.ERROR_UNKNOWN_STREETNAME; 
                        return result;
                }
                
                result.gadeident = gadeident;
                
                
                Map<String, Address> gade = searchGadeidentAdresser.get(gadeident); 
                if (gade == null) { //Denne søgning må ikke fejle
                        result.status = Status.ERROR_INTERNAL; 
                        return result;                  
                }
                
                
                //Kunne evt klares med Iterables.get fra Guava/Collections
                Address firstAddress = gade.values().iterator().next();
                result.vej = firstAddress.vejnavn;
                
                String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra;
                Address addr = gade.get(husnrSearch);

                if (addr == null) {
                        result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT; 
                        return result;
                }
                
                result.address = addr;
                
                
                if ( StringUtils.equals(addr.distributor, "LUKKET") ) {                 
                        result.status = Status.STATUS_NOT_COVERED; //Skal vi have en special status til Lukkede adresser ?
                        return result;
                }                               
                
                if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
                        result.status = Status.STATUS_NOT_COVERED; 
                        return result;
                }

                
                result.status = Status.STATUS_OK;

                return result;
        }
        
        private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) {
                if (vej == null)
                        return null;
                
                String vejVasket = AddressUtils.vaskVejnavn( vej );
                Long gadeident =  postnrVeje.get(vejVasket);
                
                if (gadeident != null) {
                        helperCache.put(helperSearchKey, gadeident);
                }
                return gadeident;
                
        }
        
        public Map<String,Long> getStretsByPostal(int zip) {
                return searchPostnrVejnavnGadeid.get(zip);
        }

        
        
        public void buildSearchStructures() throws SQLException{
                searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();
                searchGadeidentAdresser = new HashMap<Long,  Map<String,Address>>();
                helperCache = new ConcurrentHashMap<String,Long>();
                
                long start1 = System.currentTimeMillis();
                System.out.println("Build -- stage 1");
                
                alleAdresser = DatabaseLayer.getAllAdresses();
                
                
                /* Mapper mellem db Row ID og adresse noden */
                Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
                
                for (Address a : alleAdresser) {
                        idAddressMap.put(a.id, a);
                        
                        Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);          
                        
                        if (postnrVeje == null) {
                                postnrVeje = new ConcurrentHashMap<String,Long>();
                                searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);
                        }
                        
                        String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
                        Long gadeident = postnrVeje.get(vasketVejnavn);
                        if (gadeident == null) {                                
                                //postnrVeje.put(vasketVejnavn, a.gadeid);
                                
                                gadeident = a.gadeid;
                                
                                Set<String> aliaser = findVejAliaser(a.vejnavn);
                                for(String alias : aliaser) {
                                        String vasketAlias = AddressUtils.vaskVejnavn(alias);
                                        postnrVeje.put(vasketAlias, gadeident); 
                                }                               
                        }
                        
                        Map<String, Address> gade =  searchGadeidentAdresser.get(gadeident); 
                        if (gade == null) {
                                gade = new HashMap<String, Address>();
                                searchGadeidentAdresser.put(gadeident, gade);
                        }
                        String husnrSearch = "" + a.husnr + a.husnrbogstav;
                        gade.put(husnrSearch, a);                       
                }
                
                ////////////////////////////////////////////////////////////////////////////////////////
                long start2 = System.currentTimeMillis();
                System.out.println("Build, stage1 elapsed: " + (start2-start1) );
                System.out.println("Build -- stage 2 alias tabel");
                
                int vaskCount = 0;
                List<AliasBean> aliasList = DatabaseLayer.getAliasList();
                for (AliasBean alias : aliasList) {
                        Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
                        
                        if (postnrVeje == null) {
                                //Burde ikke kunne ske - men better safe than sorry
                                continue;
                        }
                        
                        String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);
                        String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);
                        
                        Long gadeident = postnrVeje.get(vasketVej);
                        if (gadeident == null) {
                                //Kender ikke den oprindelige vej
                                continue;
                        }
                        
                        Long aliasIdent = postnrVeje.get(vasketAlias);
                        
                        if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet
                                postnrVeje.put(vasketAlias, gadeident); 
                                vaskCount++;
                        }
                        
                }
                System.out.println("Anvendte " + vaskCount + " aliaser fra databasen");
                
                
                ////////////////////////////////////////////////////////////////////////////////////////
                long start3 = System.currentTimeMillis();
                System.out.println("Build, stage2 elapsed: " + (start3-start2) );
                System.out.println("Build -- stage 3 udvidet dækning");
                
                List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();
                for (ExtendedBean eb : extDao) {
                        
                        Address orgAddress = idAddressMap.get(eb.orgId);                        
                        if (orgAddress == null)
                                continue;
                        
                        Address targetAddress = idAddressMap.get(eb.targetId);
                        if (targetAddress == null)
                                continue;
                        
                        if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) {
                                continue;
                        }                       
                        
                        if (targetAddress.distributor.equals("LUKKET")) {
                                continue;
                        }
                        
                        orgAddress.extTarget = targetAddress;
                        orgAddress.extAfstand = eb.afstand;

                        boolean covered = false;
                        if (targetAddress.distributor.equals("DAO")) {
                                orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);                               
                                if (orgAddress.rute != null) {
                                        orgAddress.koreliste = targetAddress.koreliste;
                                        covered = true;
                                }
                        }
                        
                        if (targetAddress.distributor.equals("BK")) {
                                orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);                               
                                if (orgAddress.koreliste != null) {
                                        orgAddress.rute = targetAddress.rute;
                                        covered = true;
                                }
                        }
                        
                        if (covered) { //Kopier resten af felterne
                                orgAddress.daekningsType = DaekningsType.DAEKNING_UDVIDET;
                                orgAddress.dbkBane = targetAddress.dbkBane;
                                
                                /* Sådan gør den gamle service */
                                orgAddress.kommunekode = targetAddress.kommunekode;
                                orgAddress.vejkode = targetAddress.vejkode;
                                
                                orgAddress.distributor = targetAddress.distributor;
                        }
                }
                
                // nu skal vi ikke bruge idAddressMap længere
                idAddressMap = null;
                
                //////////////////////////////////////////////////////////////////////////////////////
                long start4 = System.currentTimeMillis();
                System.out.println("Build, stage3 elapsed: " + (start4-start3) );
                System.out.println("Build -- stage 4 - 100pct");
                
                Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();
                for (Address addr : alleAdresser) {
                        if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                         
                                continue;
                        }
                        
                        if (addr.distributor != null && addr.distributor.equals("LUKKET")) {
                                continue;
                        }
                        
                        
                        HundredePctBean bean = hundredePct.get(addr.postnr);
                        if (bean == null) {
                                continue;
                        }
                        
                        addr.daekningsType = DaekningsType.DAEKNING_100PCT;
                        addr.rute = bean.rute;
                        addr.koreliste = bean.koreliste;
                        addr.dbkBane = bean.dbkBane;
                        addr.distributor = bean.distributor;
                }
                
                ////////////////////////////////////////////////////////////////////////////////////
                long stop = System.currentTimeMillis();
                System.out.println("Build, stage3 elapsed: " + (stop-start4) );
                System.out.println("Build -- Gathering statistics");
                                
                for (Address addr : alleAdresser) {
                        switch (addr.daekningsType) {
                        case DAEKNING_DIREKTE:
                                stats.direkteCount++;
                                break;
                        case DAEKNING_UDVIDET:
                                stats.extendedCount++;
                                break;
                        case DAEKNING_100PCT:
                                stats.hundredePctCount++;
                                break;
                        default:
                                stats.ikkeDaekketCount++;
                        }
                }               
                
                
                stats.elapsed = stop-start1;            
                stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
                
                System.out.println("Build: direkteCount: " + stats.direkteCount);
                System.out.println("Build: extendedCount: " + stats.extendedCount);
                System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
                System.out.println("Build: ikkeDaekketCount: " + stats.ikkeDaekketCount);
                
                System.out.println("Build: Total Elapsed: " + (stop-start1) );
                System.out.println("Build Completed");
                
        }
        
        public DataStatisticsBean getStatistics() {
                return stats;
        }
        
        public void clear() {
                searchPostnrVejnavnGadeid.clear();
                searchGadeidentAdresser.clear();
                alleAdresser.clear();
                helperCache.clear();
        }
        
        
        private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {

                // ///////////////////////////////////////////////////////////////////
                switch( eb.transport) {
                case "cykel":
                        if (eb.afstand < 0.151) {
                                return "." + targetAddress.rute;
                        } else if (eb.afstand < 0.501) {
                                return ".." + targetAddress.rute;
                        } else if (eb.afstand < 0.701) {
                                return "..." + targetAddress.rute;
                        } else if (eb.afstand < 0.501) {
                                return "...." + targetAddress.rute;
                        }
                        break;                  
                case "scooter":
                        if (eb.afstand < 0.151) {
                                return "." + targetAddress.rute;
                        } else if (eb.afstand < 0.801) {
                                return ".." + targetAddress.rute;
                        } else if (eb.afstand < 1.201) {
                                return "..." + targetAddress.rute;
                        } else if (eb.afstand < 2.101) {
                                return "...." + targetAddress.rute;
                        }
                        break;                          
                case "bil":
                        if (eb.afstand < 0.151) {
                                return "." + targetAddress.rute;
                        } else if (eb.afstand < 1.001) {
                                return ".." + targetAddress.rute;
                        } else if (eb.afstand < 1.601) {
                                return "..." + targetAddress.rute;
                        } else if (eb.afstand < 2.601) {
                                return "...." + targetAddress.rute;
                        }
                        break;
                }               
                return null;
        }
        
        public List<Address> getNonCoveredAddresses() {
                List<Address> result = new ArrayList<Address>(60000);
                for (Address a : alleAdresser) {
                        if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
                                result.add(a);
                        }
                }
                Collections.sort(result );
                return result;
        }
        
        ///////////////////////////////////////////////////////////
        private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {
                String inject;
                if (eb.afstand <= 0.500) {
                        inject = ".";
                } else {
                        inject = "..";
                }
                return AddressUtils.injectIntoBk(targetAddress.koreliste, inject);
        }
        
        private Set<String> findVejAliaser(String vejnavn) {
                vejnavn = vejnavn.toLowerCase();
                HashSet<String> aliasSet = new HashSet<String>();
                aliasSet.add(vejnavn);
                
                aliasSet.add(vejnavn.replace("u", "ü") );
                aliasSet.add(vejnavn.replace("ü", "u") );
                
                aliasSet.add(vejnavn.replace("alle", "allé") );
                aliasSet.add(vejnavn.replace("allé", "alle") );                
                
                aliasSet.add(vejnavn.replace("dronningens", "dr") );
                aliasSet.add(vejnavn.replace("dr.", "dronningens") );
                aliasSet.add(vejnavn.replace("dr ", "dronningens") );
                
                aliasSet.add(vejnavn.replace("dronning", "dr") );
                aliasSet.add(vejnavn.replace("dr.", "dronning") );
                aliasSet.add(vejnavn.replace("dr ", "dronning") );
                
                aliasSet.add(vejnavn.replace("kng", "kongen") );
                aliasSet.add(vejnavn.replace("kongen", "kng") );
                
                aliasSet.add(vejnavn.replace("kvt", "kvarter") );
                aliasSet.add(vejnavn.replace("kvarter", "kvt") );
                
                aliasSet.add(vejnavn.replace("gl", "gammel") );
                aliasSet.add(vejnavn.replace("gammel", "gl") );
                
                aliasSet.add(vejnavn.replace("lille", "ll") );
                aliasSet.add(vejnavn.replace("ll ", "lille") );
                aliasSet.add(vejnavn.replace("ll.", "lille") );
                
                aliasSet.add(vejnavn.replace("store", "st") );
                aliasSet.add(vejnavn.replace("st ", "store") );
                aliasSet.add(vejnavn.replace("st.", "store") );
                
                aliasSet.add(vejnavn.replace("søndre", "sdr") );
                aliasSet.add(vejnavn.replace("sdr", "søndre") );

                
                aliasSet.add(vejnavn.replace("nørre", "nr") );
                aliasSet.add(vejnavn.replace("nr", "nørre") );
                
                aliasSet.add(vejnavn.replace("nordre", "ndr") );
                aliasSet.add(vejnavn.replace("ndr", "nordre") );
                                
                aliasSet.add(vejnavn.replace("sankt", "skt") );
                aliasSet.add(vejnavn.replace("sankt", "sct") );
                aliasSet.add(vejnavn.replace("skt", "sankt") );
                
                aliasSet.add(vejnavn.replace("skt", "sct") );
                aliasSet.add(vejnavn.replace("sct", "skt") );
                
                
                // fornavn forkortelser
                aliasSet.add(vejnavn.replace("john", "j") );
                aliasSet.add(vejnavn.replace("thomas", "th") );
                aliasSet.add(vejnavn.replace("thorvald", "th") );

                
                // Romertal
                aliasSet.add(vejnavn.replace("1", "i") );
                aliasSet.add(vejnavn.replace("i", "1") );
                
                aliasSet.add(vejnavn.replace("2", "ii") );
                aliasSet.add(vejnavn.replace("ii", "2") );
                
                aliasSet.add(vejnavn.replace("3", "iii") );
                aliasSet.add(vejnavn.replace("iii", "3") );
                
                aliasSet.add(vejnavn.replace("4", "iv") );
                aliasSet.add(vejnavn.replace("iv", "4") );
                
                aliasSet.add(vejnavn.replace("5", "v") );
                aliasSet.add(vejnavn.replace("v", "5") );
                
                aliasSet.add(vejnavn.replace("6", "vi") );
                aliasSet.add(vejnavn.replace("vi", "6") );
                
                aliasSet.add(vejnavn.replace("7", "vii") );
                aliasSet.add(vejnavn.replace("vii", "7") );
                
                aliasSet.add(vejnavn.replace("8", "viii") );
                aliasSet.add(vejnavn.replace("viii", "8") );
                
                aliasSet.add(vejnavn.replace("9", "ix") );
                aliasSet.add(vejnavn.replace("ix", "9") );
                
                aliasSet.add(vejnavn.replace("10", "x") );
                aliasSet.add(vejnavn.replace("x", "10") );              

                
                //alternative måder at stave vej/gade/alle
                aliasSet.add(vejnavn.replace("vej", "ve") );
                aliasSet.add(vejnavn.replace("vej", "vj") );
                aliasSet.add(vejnavn.replace("vej", "v") );
                aliasSet.add(vejnavn.replace("vej", "vejen") );
                aliasSet.add(vejnavn.replace("vejen", "vej") );
                
                aliasSet.add(vejnavn.replace("alle", "all") );
                aliasSet.add(vejnavn.replace("allé", "all") );
                aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
                aliasSet.add(vejnavn.replace("allé", "allú") );
                
                aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo
                
                aliasSet.add(vejnavn.replace("plads", "pl") );
                aliasSet.add(vejnavn.replace("vænget", "vænge") );
                
                
                // Opbyg æøå varianter over alle fundne aliaser
                
                @SuppressWarnings("unchecked")
                HashSet<String> variants = (HashSet<String>) aliasSet.clone();
                
                for (String vVejnavn : variants) {                                      
                        // danske tegn 1
                        aliasSet.add( vVejnavn.replace("æ", "ae") );
                        aliasSet.add( vVejnavn.replace("ø", "oe") );
                        aliasSet.add( vVejnavn.replace("å", "aa") );
                        aliasSet.add( vVejnavn.replace("ae", "æ") );
                        aliasSet.add( vVejnavn.replace("oe", "ø") );
                        aliasSet.add( vVejnavn.replace("aa", "å") );
                        
                        //danske tegn 2
                        aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );
                        aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );
                        aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") );
                        aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );
                        aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );
                        aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );
                        
                        //danske tegn 3
                        aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
                        aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
                }
                
                return aliasSet;
        }
        
        
}
1	package dk.daoas.daoadresseservice;
2
3	import java.sql.SQLException;
4	import java.text.SimpleDateFormat;
5	import java.util.ArrayList;
6	import java.util.Collections;
7	import java.util.Date;
8	import java.util.HashMap;
9	import java.util.HashSet;
10	import java.util.List;
11	import java.util.Map;
12	import java.util.Set;
13	import java.util.concurrent.ConcurrentHashMap;
14
15	import org.apache.commons.lang3.StringUtils;
16
17	import dk.daoas.daoadresseservice.admin.ServiceConfig;
18	import dk.daoas.daoadresseservice.beans.Address;
19	import dk.daoas.daoadresseservice.beans.AliasBean;
20	import dk.daoas.daoadresseservice.beans.DataStatisticsBean;
21	import dk.daoas.daoadresseservice.beans.ExtendedBean;
22	import dk.daoas.daoadresseservice.beans.HundredePctBean;
23	import dk.daoas.daoadresseservice.beans.SearchRequest;
24	import dk.daoas.daoadresseservice.beans.SearchResult;
25	import dk.daoas.daoadresseservice.beans.SearchResult.Status;
26	import dk.daoas.daoadresseservice.db.DatabaseLayer;
27
28	public class AddressSearch {
29
30	private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;
31	private Map<Long, Map<String,Address>> searchGadeidentAdresser;
32
33	private List<Address> alleAdresser;
34
35	private Map<String,Long> helperCache;
36
37	private DataStatisticsBean stats = new DataStatisticsBean();
38
39	ServiceConfig config;
40
41	StreetnameHelper levenshteinHelper;
42	StreetnameHelper googleHelper;
43	StreetnameHelper osmHelper;
44
45
46	public AddressSearch(ServiceConfig config) {
47	this.config = config;
48
49	levenshteinHelper = new LevenshteinStreetnameHelper( this );
50	googleHelper = new GoogleStreetnameHelper( config );
51	osmHelper = new OSMStreetnameHelper( config );
52	}
53
54
55	public SearchResult search(String postnrStr, String adresse) {
56	SearchRequest request = new SearchRequest();
57	SearchResult result = new SearchResult();
58
59
60	String helperSearchKey = "";
61
62	try {
63	request.postnr = Integer.parseInt(postnrStr);
64	} catch (Exception E) {
65	result.status = Status.ERROR_UNKNOWN_POSTAL;
66	return result;
67	}
68
69
70	request.streetNames = searchPostnrVejnavnGadeid.get(request.postnr);
71
72	if (request.streetNames == null) {
73	result.status = Status.ERROR_UNKNOWN_POSTAL;
74	return result;
75	}
76
77
78	result.splitResult = AddressUtils.splitAdresse(adresse);
79	request.vejnavn = result.splitResult.vej;
80
81
82
83	if (result.splitResult.husnr.length() == 0) {
84	result.status = Status.ERROR_MISSING_HOUSENUMBER;
85	return result;
86	}
87
88	request.vasketVejnavn = AddressUtils.vaskVejnavn( request.vejnavn );
89
90	Long gadeident = request.streetNames.get(request.vasketVejnavn);
91
92
93	if ( gadeident == null) {
94	helperSearchKey = "" + request.postnr + "/" + request.vasketVejnavn;
95	gadeident = helperCache.get(helperSearchKey);
96	}
97
98	if (gadeident == null) {
99	String vej = levenshteinHelper.proposeStreetName(request, result);
100	if (vej != null) {
101	gadeident = request.streetNames.get(vej);
102	}
103	}
104
105
106	// Brug OpenStreetMap før vi prøver google
107	// For google har en request limit, det har OSM ikke!
108	if ( gadeident == null) {
109	String vej = osmHelper.proposeStreetName(request, result);
110	gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
111	}
112
113	if ( gadeident == null) {
114	String vej = googleHelper.proposeStreetName(request, result);
115	gadeident = helperWrapper(vej, request.streetNames, helperSearchKey);
116	}
117
118
119
120	if (gadeident == null) {
121	result.status = Status.ERROR_UNKNOWN_STREETNAME;
122	return result;
123	}
124
125	result.gadeident = gadeident;
126
127
128	Map<String, Address> gade = searchGadeidentAdresser.get(gadeident);
129	if (gade == null) { //Denne søgning må ikke fejle
130	result.status = Status.ERROR_INTERNAL;
131	return result;
132	}
133
134
135	//Kunne evt klares med Iterables.get fra Guava/Collections
136	Address firstAddress = gade.values().iterator().next();
137	result.vej = firstAddress.vejnavn;
138
139	String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra;
140	Address addr = gade.get(husnrSearch);
141
142	if (addr == null) {
143	result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;
144	return result;
145	}
146
147	result.address = addr;
148
149
150	if ( StringUtils.equals(addr.distributor, "LUKKET") ) {
151	result.status = Status.STATUS_NOT_COVERED; //Skal vi have en special status til Lukkede adresser ?
152	return result;
153	}
154
155	if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
156	result.status = Status.STATUS_NOT_COVERED;
157	return result;
158	}
159
160
161	result.status = Status.STATUS_OK;
162
163	return result;
164	}
165
166	private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) {
167	if (vej == null)
168	return null;
169
170	String vejVasket = AddressUtils.vaskVejnavn( vej );
171	Long gadeident = postnrVeje.get(vejVasket);
172
173	if (gadeident != null) {
174	helperCache.put(helperSearchKey, gadeident);
175	}
176	return gadeident;
177
178	}
179
180	public Map<String,Long> getStretsByPostal(int zip) {
181	return searchPostnrVejnavnGadeid.get(zip);
182	}
183
184
185
186	public void buildSearchStructures() throws SQLException{
187	searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();
188	searchGadeidentAdresser = new HashMap<Long, Map<String,Address>>();
189	helperCache = new ConcurrentHashMap<String,Long>();
190
191	long start1 = System.currentTimeMillis();
192	System.out.println("Build -- stage 1");
193
194	alleAdresser = DatabaseLayer.getAllAdresses();
195
196
197	/* Mapper mellem db Row ID og adresse noden */
198	Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
199
200	for (Address a : alleAdresser) {
201	idAddressMap.put(a.id, a);
202
203	Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);
204
205	if (postnrVeje == null) {
206	postnrVeje = new ConcurrentHashMap<String,Long>();
207	searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);
208	}
209
210	String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
211	Long gadeident = postnrVeje.get(vasketVejnavn);
212	if (gadeident == null) {
213	//postnrVeje.put(vasketVejnavn, a.gadeid);
214
215	gadeident = a.gadeid;
216
217	Set<String> aliaser = findVejAliaser(a.vejnavn);
218	for(String alias : aliaser) {
219	String vasketAlias = AddressUtils.vaskVejnavn(alias);
220	postnrVeje.put(vasketAlias, gadeident);
221	}
222	}
223
224	Map<String, Address> gade = searchGadeidentAdresser.get(gadeident);
225	if (gade == null) {
226	gade = new HashMap<String, Address>();
227	searchGadeidentAdresser.put(gadeident, gade);
228	}
229	String husnrSearch = "" + a.husnr + a.husnrbogstav;
230	gade.put(husnrSearch, a);
231	}
232
233	////////////////////////////////////////////////////////////////////////////////////////
234	long start2 = System.currentTimeMillis();
235	System.out.println("Build, stage1 elapsed: " + (start2-start1) );
236	System.out.println("Build -- stage 2 alias tabel");
237
238	int vaskCount = 0;
239	List<AliasBean> aliasList = DatabaseLayer.getAliasList();
240	for (AliasBean alias : aliasList) {
241	Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
242
243	if (postnrVeje == null) {
244	//Burde ikke kunne ske - men better safe than sorry
245	continue;
246	}
247
248	String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);
249	String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);
250
251	Long gadeident = postnrVeje.get(vasketVej);
252	if (gadeident == null) {
253	//Kender ikke den oprindelige vej
254	continue;
255	}
256
257	Long aliasIdent = postnrVeje.get(vasketAlias);
258
259	if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet
260	postnrVeje.put(vasketAlias, gadeident);
261	vaskCount++;
262	}
263
264	}
265	System.out.println("Anvendte " + vaskCount + " aliaser fra databasen");
266
267
268	////////////////////////////////////////////////////////////////////////////////////////
269	long start3 = System.currentTimeMillis();
270	System.out.println("Build, stage2 elapsed: " + (start3-start2) );
271	System.out.println("Build -- stage 3 udvidet dækning");
272
273	List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();
274	for (ExtendedBean eb : extDao) {
275
276	Address orgAddress = idAddressMap.get(eb.orgId);
277	if (orgAddress == null)
278	continue;
279
280	Address targetAddress = idAddressMap.get(eb.targetId);
281	if (targetAddress == null)
282	continue;
283
284	if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) {
285	continue;
286	}
287
288	if (targetAddress.distributor.equals("LUKKET")) {
289	continue;
290	}
291
292	orgAddress.extTarget = targetAddress;
293	orgAddress.extAfstand = eb.afstand;
294
295	boolean covered = false;
296	if (targetAddress.distributor.equals("DAO")) {
297	orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);
298	if (orgAddress.rute != null) {
299	orgAddress.koreliste = targetAddress.koreliste;
300	covered = true;
301	}
302	}
303
304	if (targetAddress.distributor.equals("BK")) {
305	orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);
306	if (orgAddress.koreliste != null) {
307	orgAddress.rute = targetAddress.rute;
308	covered = true;
309	}
310	}
311
312	if (covered) { //Kopier resten af felterne
313	orgAddress.daekningsType = DaekningsType.DAEKNING_UDVIDET;
314	orgAddress.dbkBane = targetAddress.dbkBane;
315
316	/* Sådan gør den gamle service */
317	orgAddress.kommunekode = targetAddress.kommunekode;
318	orgAddress.vejkode = targetAddress.vejkode;
319
320	orgAddress.distributor = targetAddress.distributor;
321	}
322	}
323
324	// nu skal vi ikke bruge idAddressMap længere
325	idAddressMap = null;
326
327	//////////////////////////////////////////////////////////////////////////////////////
328	long start4 = System.currentTimeMillis();
329	System.out.println("Build, stage3 elapsed: " + (start4-start3) );
330	System.out.println("Build -- stage 4 - 100pct");
331
332	Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();
333	for (Address addr : alleAdresser) {
334	if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
335	continue;
336	}
337
338	if (addr.distributor != null && addr.distributor.equals("LUKKET")) {
339	continue;
340	}
341
342
343	HundredePctBean bean = hundredePct.get(addr.postnr);
344	if (bean == null) {
345	continue;
346	}
347
348	addr.daekningsType = DaekningsType.DAEKNING_100PCT;
349	addr.rute = bean.rute;
350	addr.koreliste = bean.koreliste;
351	addr.dbkBane = bean.dbkBane;
352	addr.distributor = bean.distributor;
353	}
354
355	////////////////////////////////////////////////////////////////////////////////////
356	long stop = System.currentTimeMillis();
357	System.out.println("Build, stage3 elapsed: " + (stop-start4) );
358	System.out.println("Build -- Gathering statistics");
359
360	for (Address addr : alleAdresser) {
361	switch (addr.daekningsType) {
362	case DAEKNING_DIREKTE:
363	stats.direkteCount++;
364	break;
365	case DAEKNING_UDVIDET:
366	stats.extendedCount++;
367	break;
368	case DAEKNING_100PCT:
369	stats.hundredePctCount++;
370	break;
371	default:
372	stats.ikkeDaekketCount++;
373	}
374	}
375
376
377	stats.elapsed = stop-start1;
378	stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
379
380	System.out.println("Build: direkteCount: " + stats.direkteCount);
381	System.out.println("Build: extendedCount: " + stats.extendedCount);
382	System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
383	System.out.println("Build: ikkeDaekketCount: " + stats.ikkeDaekketCount);
384
385	System.out.println("Build: Total Elapsed: " + (stop-start1) );
386	System.out.println("Build Completed");
387
388	}
389
390	public DataStatisticsBean getStatistics() {
391	return stats;
392	}
393
394	public void clear() {
395	searchPostnrVejnavnGadeid.clear();
396	searchGadeidentAdresser.clear();
397	alleAdresser.clear();
398	helperCache.clear();
399	}
400
401
402	private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {
403
404	// ///////////////////////////////////////////////////////////////////
405	switch( eb.transport) {
406	case "cykel":
407	if (eb.afstand < 0.151) {
408	return "." + targetAddress.rute;
409	} else if (eb.afstand < 0.501) {
410	return ".." + targetAddress.rute;
411	} else if (eb.afstand < 0.701) {
412	return "..." + targetAddress.rute;
413	} else if (eb.afstand < 0.501) {
414	return "...." + targetAddress.rute;
415	}
416	break;
417	case "scooter":
418	if (eb.afstand < 0.151) {
419	return "." + targetAddress.rute;
420	} else if (eb.afstand < 0.801) {
421	return ".." + targetAddress.rute;
422	} else if (eb.afstand < 1.201) {
423	return "..." + targetAddress.rute;
424	} else if (eb.afstand < 2.101) {
425	return "...." + targetAddress.rute;
426	}
427	break;
428	case "bil":
429	if (eb.afstand < 0.151) {
430	return "." + targetAddress.rute;
431	} else if (eb.afstand < 1.001) {
432	return ".." + targetAddress.rute;
433	} else if (eb.afstand < 1.601) {
434	return "..." + targetAddress.rute;
435	} else if (eb.afstand < 2.601) {
436	return "...." + targetAddress.rute;
437	}
438	break;
439	}
440	return null;
441	}
442
443	public List<Address> getNonCoveredAddresses() {
444	List<Address> result = new ArrayList<Address>(60000);
445	for (Address a : alleAdresser) {
446	if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
447	result.add(a);
448	}
449	}
450	Collections.sort(result );
451	return result;
452	}
453
454	///////////////////////////////////////////////////////////
455	private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {
456	String inject;
457	if (eb.afstand <= 0.500) {
458	inject = ".";
459	} else {
460	inject = "..";
461	}
462	return AddressUtils.injectIntoBk(targetAddress.koreliste, inject);
463	}
464
465	private Set<String> findVejAliaser(String vejnavn) {
466	vejnavn = vejnavn.toLowerCase();
467	HashSet<String> aliasSet = new HashSet<String>();
468	aliasSet.add(vejnavn);
469
470	aliasSet.add(vejnavn.replace("u", "ü") );
471	aliasSet.add(vejnavn.replace("ü", "u") );
472
473	aliasSet.add(vejnavn.replace("alle", "allé") );
474	aliasSet.add(vejnavn.replace("allé", "alle") );
475
476	aliasSet.add(vejnavn.replace("dronningens", "dr") );
477	aliasSet.add(vejnavn.replace("dr.", "dronningens") );
478	aliasSet.add(vejnavn.replace("dr ", "dronningens") );
479
480	aliasSet.add(vejnavn.replace("dronning", "dr") );
481	aliasSet.add(vejnavn.replace("dr.", "dronning") );
482	aliasSet.add(vejnavn.replace("dr ", "dronning") );
483
484	aliasSet.add(vejnavn.replace("kng", "kongen") );
485	aliasSet.add(vejnavn.replace("kongen", "kng") );
486
487	aliasSet.add(vejnavn.replace("kvt", "kvarter") );
488	aliasSet.add(vejnavn.replace("kvarter", "kvt") );
489
490	aliasSet.add(vejnavn.replace("gl", "gammel") );
491	aliasSet.add(vejnavn.replace("gammel", "gl") );
492
493	aliasSet.add(vejnavn.replace("lille", "ll") );
494	aliasSet.add(vejnavn.replace("ll ", "lille") );
495	aliasSet.add(vejnavn.replace("ll.", "lille") );
496
497	aliasSet.add(vejnavn.replace("store", "st") );
498	aliasSet.add(vejnavn.replace("st ", "store") );
499	aliasSet.add(vejnavn.replace("st.", "store") );
500
501	aliasSet.add(vejnavn.replace("søndre", "sdr") );
502	aliasSet.add(vejnavn.replace("sdr", "søndre") );
503
504
505	aliasSet.add(vejnavn.replace("nørre", "nr") );
506	aliasSet.add(vejnavn.replace("nr", "nørre") );
507
508	aliasSet.add(vejnavn.replace("nordre", "ndr") );
509	aliasSet.add(vejnavn.replace("ndr", "nordre") );
510
511	aliasSet.add(vejnavn.replace("sankt", "skt") );
512	aliasSet.add(vejnavn.replace("sankt", "sct") );
513	aliasSet.add(vejnavn.replace("skt", "sankt") );
514
515	aliasSet.add(vejnavn.replace("skt", "sct") );
516	aliasSet.add(vejnavn.replace("sct", "skt") );
517
518
519	// fornavn forkortelser
520	aliasSet.add(vejnavn.replace("john", "j") );
521	aliasSet.add(vejnavn.replace("thomas", "th") );
522	aliasSet.add(vejnavn.replace("thorvald", "th") );
523
524
525	// Romertal
526	aliasSet.add(vejnavn.replace("1", "i") );
527	aliasSet.add(vejnavn.replace("i", "1") );
528
529	aliasSet.add(vejnavn.replace("2", "ii") );
530	aliasSet.add(vejnavn.replace("ii", "2") );
531
532	aliasSet.add(vejnavn.replace("3", "iii") );
533	aliasSet.add(vejnavn.replace("iii", "3") );
534
535	aliasSet.add(vejnavn.replace("4", "iv") );
536	aliasSet.add(vejnavn.replace("iv", "4") );
537
538	aliasSet.add(vejnavn.replace("5", "v") );
539	aliasSet.add(vejnavn.replace("v", "5") );
540
541	aliasSet.add(vejnavn.replace("6", "vi") );
542	aliasSet.add(vejnavn.replace("vi", "6") );
543
544	aliasSet.add(vejnavn.replace("7", "vii") );
545	aliasSet.add(vejnavn.replace("vii", "7") );
546
547	aliasSet.add(vejnavn.replace("8", "viii") );
548	aliasSet.add(vejnavn.replace("viii", "8") );
549
550	aliasSet.add(vejnavn.replace("9", "ix") );
551	aliasSet.add(vejnavn.replace("ix", "9") );
552
553	aliasSet.add(vejnavn.replace("10", "x") );
554	aliasSet.add(vejnavn.replace("x", "10") );
555
556
557	//alternative måder at stave vej/gade/alle
558	aliasSet.add(vejnavn.replace("vej", "ve") );
559	aliasSet.add(vejnavn.replace("vej", "vj") );
560	aliasSet.add(vejnavn.replace("vej", "v") );
561	aliasSet.add(vejnavn.replace("vej", "vejen") );
562	aliasSet.add(vejnavn.replace("vejen", "vej") );
563
564	aliasSet.add(vejnavn.replace("alle", "all") );
565	aliasSet.add(vejnavn.replace("allé", "all") );
566	aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
567	aliasSet.add(vejnavn.replace("allé", "allú") );
568
569	aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo
570
571	aliasSet.add(vejnavn.replace("plads", "pl") );
572	aliasSet.add(vejnavn.replace("vænget", "vænge") );
573
574
575	// Opbyg æøå varianter over alle fundne aliaser
576
577	@SuppressWarnings("unchecked")
578	HashSet<String> variants = (HashSet<String>) aliasSet.clone();
579
580	for (String vVejnavn : variants) {
581	// danske tegn 1
582	aliasSet.add( vVejnavn.replace("æ", "ae") );
583	aliasSet.add( vVejnavn.replace("ø", "oe") );
584	aliasSet.add( vVejnavn.replace("å", "aa") );
585	aliasSet.add( vVejnavn.replace("ae", "æ") );
586	aliasSet.add( vVejnavn.replace("oe", "ø") );
587	aliasSet.add( vVejnavn.replace("aa", "å") );
588
589	//danske tegn 2
590	aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );
591	aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );
592	aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") );
593	aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );
594	aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );
595	aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );
596
597	//danske tegn 3
598	aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
599	aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
600	}
601
602	return aliasSet;
603	}
604
605
606	}