daoas/daoadresseservice/AdressSearch.java

package dk.daoas.daoadresseservice;

import java.sql.SQLException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Date;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Map;
import java.util.Set;
import java.util.concurrent.ConcurrentHashMap;

import org.apache.commons.lang3.StringUtils;

import dk.daoas.daoadresseservice.admin.ServiceConfig;
import dk.daoas.daoadresseservice.beans.Address;
import dk.daoas.daoadresseservice.beans.AliasBean;
import dk.daoas.daoadresseservice.beans.DataStatisticsBean;
import dk.daoas.daoadresseservice.beans.ExtendedBean;
import dk.daoas.daoadresseservice.beans.HundredePctBean;
import dk.daoas.daoadresseservice.beans.SearchResult;
import dk.daoas.daoadresseservice.beans.SearchResult.Status;
import dk.daoas.daoadresseservice.db.DatabaseLayer;

public class AdressSearch {

        private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;       
        private Map<Long,  Map<String,Address>> searchGadeidentAdresser;

        private List<Address> alleAdresser;
        
        private Map<String,Long> helperCache;
        
        private DataStatisticsBean stats = new DataStatisticsBean();
        
        ServiceConfig config;
        
        public AdressSearch(ServiceConfig config) {
                this.config = config;
        }
        
        
        public SearchResult search(String postnrStr, String adresse)  {
                
                SearchResult result = new SearchResult();
                
                int postnr=0;

                String helperSearchKey = "";
                
                try {
                        postnr = Integer.parseInt(postnrStr);
                } catch (Exception E) {
                        result.status = Status.ERROR_UNKNOWN_POSTAL;
                        return result;
                }               
                
                Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(postnr);                    
                
                if (postnrVeje == null) {
                        result.status = Status.ERROR_UNKNOWN_POSTAL;
                        return result;
                }
                
                
                result.splitResult = AddressUtils.splitAdresse(adresse);
                                                
                
                if (result.splitResult.husnr.length() == 0) {
                        result.status = Status.ERROR_MISSING_HOUSENUMBER;
                        return result;
                }
                
                String vasketVejnavn = AddressUtils.vaskVejnavn( result.splitResult.vej );
                
                Long gadeident =  postnrVeje.get(vasketVejnavn);
                
                
                if ( gadeident == null) {
                        helperSearchKey = "" + postnr + "/" + vasketVejnavn;
                        gadeident = helperCache.get(helperSearchKey);
                }
                
                if (gadeident == null) {
                        String best = getbestLevenshteinDistance(vasketVejnavn, postnrVeje);
                        if (best != null) {
                                result.levenshtein = true;
                                gadeident =  postnrVeje.get(best);
                        }
                }
                
                
                // Brug OpenStreetMap før vi prøver google
                // For google har en request limit, det har OSM ikke!
                if ( gadeident == null) {
                        if (config.useOpenStreetMaps) {
                                result.osmVej = GeocodeHelper.openstreetmapHelper(config, postnr, result.splitResult.vej );
                                result.osm = true;
                                
                                gadeident = helperWrapper(result.osmVej, postnrVeje, helperSearchKey);
                        }
                }
                
                if ( gadeident == null) {
                        if (config.useGoogle) {
                                result.googleVej = GeocodeHelper.googleHelper(config, postnr, result.splitResult.vej );
                                result.google = true;
                                
                                gadeident = helperWrapper(result.googleVej, postnrVeje, helperSearchKey);                               
                        }
                }
                

                if (gadeident == null) {                        
                        result.status = Status.ERROR_UNKNOWN_STREETNAME; 
                        return result;
                }
                
                
                Map<String, Address> gade = searchGadeidentAdresser.get(gadeident); 
                if (gade == null) { //Denne søgning må ikke fejle
                        result.status = Status.ERROR_INTERNAL; 
                        return result;                  
                }
                
                
                String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra;
                Address addr = gade.get(husnrSearch);

                if (addr == null) {
                        result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT; 
                        return result;
                }
                
                result.address = addr;
                
                
                if ( StringUtils.equals(addr.distributor, "LUKKET") ) {                 
                        result.status = Status.STATUS_NOT_COVERED; //Skal vi have en special status til Lukkede adresser ?
                        return result;
                }                               
                
                if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
                        result.status = Status.STATUS_NOT_COVERED; 
                        return result;
                }

                
                result.status = Status.STATUS_OK;

                return result;
        }
        
        private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) {
                if (vej == null)
                        return null;
                
                String vejVasket = AddressUtils.vaskVejnavn( vej );
                Long gadeident =  postnrVeje.get(vejVasket);
                
                if (gadeident != null) {
                        helperCache.put(helperSearchKey, gadeident);
                }
                return gadeident;
                
        }
        

        public void buildSearchStructures() throws SQLException{
                searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();
                searchGadeidentAdresser = new HashMap<Long,  Map<String,Address>>();
                helperCache = new ConcurrentHashMap<String,Long>();
                
                long start1 = System.currentTimeMillis();
                System.out.println("Build -- stage 1");
                
                alleAdresser = DatabaseLayer.getAllAdresses();
                
                
                /* Mapper mellem db Row ID og adresse noden */
                Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
                
                for (Address a : alleAdresser) {
                        idAddressMap.put(a.id, a);
                        
                        Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);          
                        
                        if (postnrVeje == null) {
                                postnrVeje = new ConcurrentHashMap<String,Long>();
                                searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);
                        }
                        
                        String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
                        Long gadeident = postnrVeje.get(vasketVejnavn);
                        if (gadeident == null) {
                                //postnrVeje.put(vasketVejnavn, a.gadeid);
                                
                                Set<String> aliaser = findVejAliaser(a.vejnavn);
                                for(String alias : aliaser) {
                                        String vasketAlias = AddressUtils.vaskVejnavn(alias);
                                        postnrVeje.put(vasketAlias, a.gadeid);  
                                }
                                
                        }
                        
                        Map<String, Address> gade =  searchGadeidentAdresser.get(a.gadeid); 
                        if (gade == null) {
                                gade = new HashMap<String, Address>();
                                searchGadeidentAdresser.put(a.gadeid, gade);
                        }
                        String husnrSearch = "" + a.husnr + a.husnrbogstav;
                        gade.put(husnrSearch, a);                       
                }
                
                ////////////////////////////////////////////////////////////////////////////////////////
                long start2 = System.currentTimeMillis();
                System.out.println("Build, stage1 elapsed: " + (start2-start1) );
                System.out.println("Build -- stage 2 alias tabel");
                
                int vaskCount = 0;
                List<AliasBean> aliasList = DatabaseLayer.getAliasList();
                for (AliasBean alias : aliasList) {
                        Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
                        
                        if (postnrVeje == null) {
                                //Burde ikke kunne ske - men better safe than sorry
                                continue;
                        }
                        
                        String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);
                        String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);
                        
                        Long gadeident = postnrVeje.get(vasketVej);
                        if (gadeident == null) {
                                //Kender ikke den oprindelige vej
                                continue;
                        }
                        
                        Long aliasIdent = postnrVeje.get(vasketAlias);
                        
                        if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet
                                postnrVeje.put(vasketAlias, gadeident); 
                                vaskCount++;
                        }
                        
                }
                System.out.println("Anvendte " + vaskCount + " aliaser fra databasen");
                
                
                ////////////////////////////////////////////////////////////////////////////////////////
                long start3 = System.currentTimeMillis();
                System.out.println("Build, stage2 elapsed: " + (start3-start2) );
                System.out.println("Build -- stage 3 udvidet dækning");
                
                List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();
                for (ExtendedBean eb : extDao) {
                        
                        Address orgAddress = idAddressMap.get(eb.orgId);                        
                        if (orgAddress == null)
                                continue;
                        
                        Address targetAddress = idAddressMap.get(eb.targetId);
                        if (targetAddress == null)
                                continue;
                        
                        if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) {
                                continue;
                        }                       
                        
                        if (targetAddress.distributor.equals("LUKKET")) {
                                continue;
                        }
                        
                        orgAddress.extTarget = targetAddress;
                        orgAddress.extAfstand = eb.afstand;

                        boolean covered = false;
                        if (targetAddress.distributor.equals("DAO")) {
                                orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);                               
                                if (orgAddress.rute != null) {
                                        orgAddress.koreliste = targetAddress.koreliste;
                                        covered = true;
                                }
                        }
                        
                        if (targetAddress.distributor.equals("BK")) {
                                orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);                               
                                if (orgAddress.koreliste != null) {
                                        orgAddress.rute = targetAddress.rute;
                                        covered = true;
                                }
                        }
                        
                        if (covered) { //Kopier resten af felterne
                                orgAddress.daekningsType = DaekningsType.DAEKNING_UDVIDET;
                                orgAddress.dbkBane = targetAddress.dbkBane;
                                
                                /* Sådan gør den gamle service */
                                orgAddress.kommunekode = targetAddress.kommunekode;
                                orgAddress.vejkode = targetAddress.vejkode;
                                
                                orgAddress.distributor = targetAddress.distributor;
                        }
                }
                
                // nu skal vi ikke bruge idAddressMap længere
                idAddressMap = null;
                
                //////////////////////////////////////////////////////////////////////////////////////
                long start4 = System.currentTimeMillis();
                System.out.println("Build, stage3 elapsed: " + (start4-start3) );
                System.out.println("Build -- stage 4 - 100pct");
                
                Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();
                for (Address addr : alleAdresser) {
                        if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {                         
                                continue;
                        }
                        
                        if (addr.distributor != null && addr.distributor.equals("LUKKET")) {
                                continue;
                        }
                        
                        
                        HundredePctBean bean = hundredePct.get(addr.postnr);
                        if (bean == null) {
                                continue;
                        }
                        
                        addr.daekningsType = DaekningsType.DAEKNING_100PCT;
                        addr.rute = bean.rute;
                        addr.koreliste = bean.koreliste;
                        addr.dbkBane = bean.dbkBane;
                        addr.distributor = bean.distributor;
                }
                
                ////////////////////////////////////////////////////////////////////////////////////
                long stop = System.currentTimeMillis();
                System.out.println("Build, stage3 elapsed: " + (stop-start4) );
                System.out.println("Build -- Gathering statistics");
                                
                for (Address addr : alleAdresser) {
                        switch (addr.daekningsType) {
                        case DAEKNING_DIREKTE:
                                stats.direkteCount++;
                                break;
                        case DAEKNING_UDVIDET:
                                stats.extendedCount++;
                                break;
                        case DAEKNING_100PCT:
                                stats.hundredePctCount++;
                                break;
                        default:
                                stats.ikkeDaekketCount++;
                        }
                }               
                
                
                stats.elapsed = stop-start1;            
                stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
                
                System.out.println("Build: direkteCount: " + stats.direkteCount);
                System.out.println("Build: extendedCount: " + stats.extendedCount);
                System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
                System.out.println("Build: ikkeDaekketCount: " + stats.ikkeDaekketCount);
                
                System.out.println("Build: Total Elapsed: " + (stop-start1) );
                System.out.println("Build Completed");
                
        }
        
        public DataStatisticsBean getStatistics() {
                return stats;
        }
        
        public void clear() {
                searchPostnrVejnavnGadeid.clear();
                searchGadeidentAdresser.clear();
                alleAdresser.clear();
                helperCache.clear();
        }
        
        
        private String getbestLevenshteinDistance(String vasketVejnavn, Map<String,Long> postnrVeje) {
                for(String vej : postnrVeje.keySet()) {
                        if ( StringUtils.getLevenshteinDistance(vasketVejnavn, vej) == 1) {
                                System.out.println("Levenstein: " + vasketVejnavn + "->" + vej);
                                return vej;
                        }
                }
                
                return null;
        }
        
        private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {

                // ///////////////////////////////////////////////////////////////////
                switch( eb.transport) {
                case "cykel":
                        if (eb.afstand < 0.151) {
                                return "." + targetAddress.rute;
                        } else if (eb.afstand < 0.501) {
                                return ".." + targetAddress.rute;
                        } else if (eb.afstand < 0.701) {
                                return "..." + targetAddress.rute;
                        } else if (eb.afstand < 0.501) {
                                return "...." + targetAddress.rute;
                        }
                        break;                  
                case "scooter":
                        if (eb.afstand < 0.151) {
                                return "." + targetAddress.rute;
                        } else if (eb.afstand < 0.801) {
                                return ".." + targetAddress.rute;
                        } else if (eb.afstand < 1.201) {
                                return "..." + targetAddress.rute;
                        } else if (eb.afstand < 2.101) {
                                return "...." + targetAddress.rute;
                        }
                        break;                          
                case "bil":
                        if (eb.afstand < 0.151) {
                                return "." + targetAddress.rute;
                        } else if (eb.afstand < 1.001) {
                                return ".." + targetAddress.rute;
                        } else if (eb.afstand < 1.601) {
                                return "..." + targetAddress.rute;
                        } else if (eb.afstand < 2.601) {
                                return "...." + targetAddress.rute;
                        }
                        break;
                }               
                return null;
        }
        
        public List<Address> getNonCoveredAddresses() {
                List<Address> result = new ArrayList<Address>(60000);
                for (Address a : alleAdresser) {
                        if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
                                result.add(a);
                        }
                }
                Collections.sort(result );
                return result;
        }
        
        ///////////////////////////////////////////////////////////
        private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {
                String inject;
                if (eb.afstand <= 0.500) {
                        inject = ".";
                } else {
                        inject = "..";
                }
                return AddressUtils.injectIntoBk(targetAddress.koreliste, inject);
        }
        
        private Set<String> findVejAliaser(String vejnavn) {
                vejnavn = vejnavn.toLowerCase();
                HashSet<String> aliasSet = new HashSet<String>();
                aliasSet.add(vejnavn);
                
                aliasSet.add(vejnavn.replace("u", "ü") );
                aliasSet.add(vejnavn.replace("ü", "u") );
                
                aliasSet.add(vejnavn.replace("alle", "allé") );
                aliasSet.add(vejnavn.replace("allé", "alle") );                
                
                aliasSet.add(vejnavn.replace("dronningens", "dr") );
                aliasSet.add(vejnavn.replace("dr.", "dronningens") );
                aliasSet.add(vejnavn.replace("dr ", "dronningens") );
                
                aliasSet.add(vejnavn.replace("dronning", "dr") );
                aliasSet.add(vejnavn.replace("dr.", "dronning") );
                aliasSet.add(vejnavn.replace("dr ", "dronning") );
                
                aliasSet.add(vejnavn.replace("kng", "kongen") );
                aliasSet.add(vejnavn.replace("kongen", "kng") );
                
                aliasSet.add(vejnavn.replace("kvt", "kvarter") );
                aliasSet.add(vejnavn.replace("kvarter", "kvt") );
                
                aliasSet.add(vejnavn.replace("gl", "gammel") );
                aliasSet.add(vejnavn.replace("gammel", "gl") );
                
                aliasSet.add(vejnavn.replace("lille", "ll") );
                aliasSet.add(vejnavn.replace("ll ", "lille") );
                aliasSet.add(vejnavn.replace("ll.", "lille") );
                
                aliasSet.add(vejnavn.replace("store", "st") );
                aliasSet.add(vejnavn.replace("st ", "store") );
                aliasSet.add(vejnavn.replace("st.", "store") );
                
                aliasSet.add(vejnavn.replace("søndre", "sdr") );
                aliasSet.add(vejnavn.replace("sdr", "søndre") );

                
                aliasSet.add(vejnavn.replace("nørre", "nr") );
                aliasSet.add(vejnavn.replace("nr", "nørre") );
                
                aliasSet.add(vejnavn.replace("nordre", "ndr") );
                aliasSet.add(vejnavn.replace("ndr", "nordre") );
                                
                aliasSet.add(vejnavn.replace("sankt", "skt") );
                aliasSet.add(vejnavn.replace("sankt", "sct") );
                aliasSet.add(vejnavn.replace("skt", "sankt") );
                
                aliasSet.add(vejnavn.replace("skt", "sct") );
                aliasSet.add(vejnavn.replace("sct", "skt") );
                
                
                //alternative måder at stave vej/gade/alle
                aliasSet.add(vejnavn.replace("vej", "ve") );
                aliasSet.add(vejnavn.replace("vej", "vj") );
                aliasSet.add(vejnavn.replace("vej", "v") );
                
                aliasSet.add(vejnavn.replace("alle", "all") );
                aliasSet.add(vejnavn.replace("allé", "all") );
                aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
                aliasSet.add(vejnavn.replace("allé", "allú") );
                
                aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo
                
                
                // Opbyg æøå varianter over alle fundne aliaser
                
                @SuppressWarnings("unchecked")
                HashSet<String> variants = (HashSet<String>) aliasSet.clone();
                
                for (String vVejnavn : variants) {                                      
                        // danske tegn 1
                        aliasSet.add( vVejnavn.replace("æ", "ae") );
                        aliasSet.add( vVejnavn.replace("ø", "oe") );
                        aliasSet.add( vVejnavn.replace("å", "aa") );
                        aliasSet.add( vVejnavn.replace("ae", "æ") );
                        aliasSet.add( vVejnavn.replace("oe", "ø") );
                        aliasSet.add( vVejnavn.replace("aa", "å") );
                        
                        //danske tegn 2
                        aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );
                        aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );
                        aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") );
                        aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );
                        aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );
                        aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );
                        
                        //danske tegn 3
                        aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
                        aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
                }
                
                return aliasSet;
        }
        
        
}
1	torben	2267	package dk.daoas.daoadresseservice;
2
3	torben	2274	import java.sql.SQLException;
4	torben	2339	import java.text.SimpleDateFormat;
5	torben	2332	import java.util.ArrayList;
6	torben	2333	import java.util.Collections;
7	torben	2338	import java.util.Date;
8	torben	2267	import java.util.HashMap;
9	torben	2292	import java.util.HashSet;
10	torben	2274	import java.util.List;
11			import java.util.Map;
12	torben	2292	import java.util.Set;
13	torben	2274	import java.util.concurrent.ConcurrentHashMap;
14	torben	2267
15	torben	2381	import org.apache.commons.lang3.StringUtils;
16
17	torben	2346	import dk.daoas.daoadresseservice.admin.ServiceConfig;
18	torben	2282	import dk.daoas.daoadresseservice.beans.Address;
19	torben	2395	import dk.daoas.daoadresseservice.beans.AliasBean;
20	torben	2337	import dk.daoas.daoadresseservice.beans.DataStatisticsBean;
21	torben	2282	import dk.daoas.daoadresseservice.beans.ExtendedBean;
22			import dk.daoas.daoadresseservice.beans.HundredePctBean;
23			import dk.daoas.daoadresseservice.beans.SearchResult;
24			import dk.daoas.daoadresseservice.beans.SearchResult.Status;
25	torben	2274	import dk.daoas.daoadresseservice.db.DatabaseLayer;
26
27	torben	2267	public class AdressSearch {
28
29	torben	2332	private Map<Integer, Map<String,Long>> searchPostnrVejnavnGadeid;
30			private Map<Long, Map<String,Address>> searchGadeidentAdresser;
31	torben	2274
32	torben	2332	private List<Address> alleAdresser;
33	torben	2267
34	torben	2332	private Map<String,Long> helperCache;
35	torben	2267
36	torben	2350	private DataStatisticsBean stats = new DataStatisticsBean();
37	torben	2303
38	torben	2350	ServiceConfig config;
39	torben	2280
40	torben	2350	public AdressSearch(ServiceConfig config) {
41			this.config = config;
42			}
43
44
45			public SearchResult search(String postnrStr, String adresse) {
46	torben	2288
47	torben	2359	SearchResult result = new SearchResult();
48
49	torben	2274	int postnr=0;
50	torben	2359
51	torben	2305	String helperSearchKey = "";
52	torben	2267
53	torben	2274	try {
54			postnr = Integer.parseInt(postnrStr);
55			} catch (Exception E) {
56	torben	2359	result.status = Status.ERROR_UNKNOWN_POSTAL;
57			return result;
58	torben	2274	}
59
60			Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(postnr);
61
62	torben	2267	if (postnrVeje == null) {
63	torben	2359	result.status = Status.ERROR_UNKNOWN_POSTAL;
64			return result;
65	torben	2267	}
66
67	torben	2288
68	torben	2372	result.splitResult = AddressUtils.splitAdresse(adresse);
69	torben	2358
70	torben	2267
71	torben	2372	if (result.splitResult.husnr.length() == 0) {
72	torben	2359	result.status = Status.ERROR_MISSING_HOUSENUMBER;
73			return result;
74	torben	2274	}
75	torben	2267
76	torben	2372	String vasketVejnavn = AddressUtils.vaskVejnavn( result.splitResult.vej );
77	torben	2358
78	torben	2274	Long gadeident = postnrVeje.get(vasketVejnavn);
79	torben	2301
80	torben	2305
81	torben	2298	if ( gadeident == null) {
82	torben	2305	helperSearchKey = "" + postnr + "/" + vasketVejnavn;
83			gadeident = helperCache.get(helperSearchKey);
84	torben	2301	}
85
86	torben	2388	if (gadeident == null) {
87			String best = getbestLevenshteinDistance(vasketVejnavn, postnrVeje);
88			if (best != null) {
89	torben	2389	result.levenshtein = true;
90	torben	2388	gadeident = postnrVeje.get(best);
91			}
92			}
93	torben	2303
94	torben	2388
95	torben	2383	// Brug OpenStreetMap før vi prøver google
96			// For google har en request limit, det har OSM ikke!
97	torben	2301	if ( gadeident == null) {
98	torben	2383	if (config.useOpenStreetMaps) {
99			result.osmVej = GeocodeHelper.openstreetmapHelper(config, postnr, result.splitResult.vej );
100			result.osm = true;
101	torben	2304
102	torben	2395	gadeident = helperWrapper(result.osmVej, postnrVeje, helperSearchKey);
103	torben	2300	}
104	torben	2298	}
105
106	torben	2303	if ( gadeident == null) {
107	torben	2383	if (config.useGoogle) {
108			result.googleVej = GeocodeHelper.googleHelper(config, postnr, result.splitResult.vej );
109			result.google = true;
110	torben	2304
111	torben	2395	gadeident = helperWrapper(result.googleVej, postnrVeje, helperSearchKey);
112	torben	2303	}
113			}
114
115	torben	2383
116
117	torben	2359	if (gadeident == null) {
118			result.status = Status.ERROR_UNKNOWN_STREETNAME;
119			return result;
120	torben	2288	}
121	torben	2274
122	torben	2395
123	torben	2359	Map<String, Address> gade = searchGadeidentAdresser.get(gadeident);
124			if (gade == null) { //Denne søgning må ikke fejle
125			result.status = Status.ERROR_INTERNAL;
126			return result;
127			}
128	torben	2274
129
130	torben	2372	String husnrSearch = "" + result.splitResult.husnr + result.splitResult.litra;
131	torben	2274	Address addr = gade.get(husnrSearch);
132	torben	2298
133	torben	2274	if (addr == null) {
134	torben	2359	result.status = Status.ERROR_UNKNOWN_ADDRESSPOINT;
135			return result;
136	torben	2274	}
137	torben	2276
138	torben	2359	result.address = addr;
139
140	torben	2381
141			if ( StringUtils.equals(addr.distributor, "LUKKET") ) {
142	torben	2359	result.status = Status.STATUS_NOT_COVERED; //Skal vi have en special status til Lukkede adresser ?
143			return result;
144			}
145
146	torben	2276	if (addr.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
147	torben	2359	result.status = Status.STATUS_NOT_COVERED;
148			return result;
149	torben	2276	}
150	torben	2359
151	torben	2277
152	torben	2359	result.status = Status.STATUS_OK;
153
154			return result;
155	torben	2267	}
156
157	torben	2395	private Long helperWrapper(String vej, Map<String,Long> postnrVeje, String helperSearchKey) {
158			if (vej == null)
159			return null;
160
161			String vejVasket = AddressUtils.vaskVejnavn( vej );
162			Long gadeident = postnrVeje.get(vejVasket);
163
164			if (gadeident != null) {
165			helperCache.put(helperSearchKey, gadeident);
166			}
167			return gadeident;
168
169			}
170	torben	2274
171	torben	2395
172
173
174
175	torben	2274	public void buildSearchStructures() throws SQLException{
176			searchPostnrVejnavnGadeid = new HashMap<Integer, Map<String,Long>>();
177			searchGadeidentAdresser = new HashMap<Long, Map<String,Address>>();
178	torben	2303	helperCache = new ConcurrentHashMap<String,Long>();
179
180	torben	2309	long start1 = System.currentTimeMillis();
181	torben	2276	System.out.println("Build -- stage 1");
182
183	torben	2274	alleAdresser = DatabaseLayer.getAllAdresses();
184	torben	2276
185	torben	2286
186	torben	2285	/* Mapper mellem db Row ID og adresse noden */
187			Map<Integer,Address> idAddressMap = new HashMap<Integer,Address>( alleAdresser.size() );
188
189	torben	2274	for (Address a : alleAdresser) {
190			idAddressMap.put(a.id, a);
191
192			Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(a.postnr);
193
194			if (postnrVeje == null) {
195			postnrVeje = new ConcurrentHashMap<String,Long>();
196			searchPostnrVejnavnGadeid.put(a.postnr, postnrVeje);
197			}
198
199	torben	2281	String vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
200			Long gadeident = postnrVeje.get(vasketVejnavn);
201	torben	2274	if (gadeident == null) {
202	torben	2292	//postnrVeje.put(vasketVejnavn, a.gadeid);
203
204			Set<String> aliaser = findVejAliaser(a.vejnavn);
205			for(String alias : aliaser) {
206			String vasketAlias = AddressUtils.vaskVejnavn(alias);
207			postnrVeje.put(vasketAlias, a.gadeid);
208			}
209
210	torben	2274	}
211
212			Map<String, Address> gade = searchGadeidentAdresser.get(a.gadeid);
213			if (gade == null) {
214			gade = new HashMap<String, Address>();
215			searchGadeidentAdresser.put(a.gadeid, gade);
216			}
217			String husnrSearch = "" + a.husnr + a.husnrbogstav;
218	torben	2286	gade.put(husnrSearch, a);
219	torben	2276	}
220
221	torben	2279	////////////////////////////////////////////////////////////////////////////////////////
222	torben	2309	long start2 = System.currentTimeMillis();
223			System.out.println("Build, stage1 elapsed: " + (start2-start1) );
224	torben	2395	System.out.println("Build -- stage 2 alias tabel");
225	torben	2279
226	torben	2395	int vaskCount = 0;
227			List<AliasBean> aliasList = DatabaseLayer.getAliasList();
228			for (AliasBean alias : aliasList) {
229			Map<String,Long> postnrVeje = searchPostnrVejnavnGadeid.get(alias.postnr);
230
231			if (postnrVeje == null) {
232			//Burde ikke kunne ske - men better safe than sorry
233			continue;
234			}
235
236			String vasketVej = AddressUtils.vaskVejnavn(alias.vejnavn);
237			String vasketAlias = AddressUtils.vaskVejnavn(alias.aliasVejnavn);
238
239			Long gadeident = postnrVeje.get(vasketVej);
240			if (gadeident == null) {
241			//Kender ikke den oprindelige vej
242			continue;
243			}
244
245			Long aliasIdent = postnrVeje.get(vasketAlias);
246
247			if (aliasIdent == null) { //Vi kender ikke denne variant af vejnavnet
248			postnrVeje.put(vasketAlias, gadeident);
249			vaskCount++;
250			}
251
252			}
253			System.out.println("Anvendte " + vaskCount + " aliaser fra databasen");
254
255
256			////////////////////////////////////////////////////////////////////////////////////////
257			long start3 = System.currentTimeMillis();
258			System.out.println("Build, stage2 elapsed: " + (start3-start2) );
259			System.out.println("Build -- stage 3 udvidet dækning");
260
261	torben	2279	List<ExtendedBean> extDao = DatabaseLayer.getExtendedAdresslist();
262	torben	2276	for (ExtendedBean eb : extDao) {
263	torben	2274
264	torben	2276	Address orgAddress = idAddressMap.get(eb.orgId);
265			if (orgAddress == null)
266			continue;
267
268			Address targetAddress = idAddressMap.get(eb.targetId);
269			if (targetAddress == null)
270			continue;
271
272	torben	2277	if (orgAddress.distributor != null && orgAddress.distributor.equals("LUKKET")) {
273			continue;
274			}
275
276			if (targetAddress.distributor.equals("LUKKET")) {
277			continue;
278			}
279
280	torben	2276	orgAddress.extTarget = targetAddress;
281			orgAddress.extAfstand = eb.afstand;
282
283	torben	2283	boolean covered = false;
284			if (targetAddress.distributor.equals("DAO")) {
285			orgAddress.rute = calculateExtendedDaoRoute(eb,orgAddress,targetAddress);
286			if (orgAddress.rute != null) {
287			orgAddress.koreliste = targetAddress.koreliste;
288			covered = true;
289			}
290			}
291	torben	2276
292	torben	2283	if (targetAddress.distributor.equals("BK")) {
293			orgAddress.koreliste = calculateExtendedBkKoreliste(eb,orgAddress,targetAddress);
294			if (orgAddress.koreliste != null) {
295			orgAddress.rute = targetAddress.rute;
296			covered = true;
297			}
298			}
299
300			if (covered) { //Kopier resten af felterne
301	torben	2276	orgAddress.daekningsType = DaekningsType.DAEKNING_UDVIDET;
302			orgAddress.dbkBane = targetAddress.dbkBane;
303
304			/* Sådan gør den gamle service */
305			orgAddress.kommunekode = targetAddress.kommunekode;
306			orgAddress.vejkode = targetAddress.vejkode;
307
308			orgAddress.distributor = targetAddress.distributor;
309			}
310	torben	2274	}
311	torben	2286
312			// nu skal vi ikke bruge idAddressMap længere
313			idAddressMap = null;
314
315	torben	2279	//////////////////////////////////////////////////////////////////////////////////////
316	torben	2395	long start4 = System.currentTimeMillis();
317			System.out.println("Build, stage3 elapsed: " + (start4-start3) );
318			System.out.println("Build -- stage 4 - 100pct");
319	torben	2274
320	torben	2332	Map<Integer,HundredePctBean> hundredePct = DatabaseLayer.get100PctList();
321	torben	2279	for (Address addr : alleAdresser) {
322	torben	2286	if (addr.daekningsType != DaekningsType.DAEKNING_IKKEDAEKKET) {
323	torben	2279	continue;
324			}
325
326			if (addr.distributor != null && addr.distributor.equals("LUKKET")) {
327			continue;
328			}
329
330
331			HundredePctBean bean = hundredePct.get(addr.postnr);
332			if (bean == null) {
333			continue;
334			}
335
336			addr.daekningsType = DaekningsType.DAEKNING_100PCT;
337			addr.rute = bean.rute;
338			addr.koreliste = bean.koreliste;
339			addr.dbkBane = bean.dbkBane;
340			addr.distributor = bean.distributor;
341			}
342	torben	2276
343	torben	2286	////////////////////////////////////////////////////////////////////////////////////
344	torben	2309	long stop = System.currentTimeMillis();
345	torben	2395	System.out.println("Build, stage3 elapsed: " + (stop-start4) );
346	torben	2286	System.out.println("Build -- Gathering statistics");
347	torben	2337
348	torben	2286	for (Address addr : alleAdresser) {
349			switch (addr.daekningsType) {
350			case DAEKNING_DIREKTE:
351	torben	2337	stats.direkteCount++;
352	torben	2286	break;
353			case DAEKNING_UDVIDET:
354	torben	2337	stats.extendedCount++;
355	torben	2286	break;
356			case DAEKNING_100PCT:
357	torben	2337	stats.hundredePctCount++;
358	torben	2286	break;
359			default:
360	torben	2337	stats.ikkeDaekketCount++;
361	torben	2286	}
362	torben	2339	}
363	torben	2286
364	torben	2338
365	torben	2339	stats.elapsed = stop-start1;
366			stats.buildTime = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( new Date() );
367
368	torben	2337	System.out.println("Build: direkteCount: " + stats.direkteCount);
369			System.out.println("Build: extendedCount: " + stats.extendedCount);
370			System.out.println("Build: hundredePctCount: " + stats.hundredePctCount);
371			System.out.println("Build: ikkeDaekketCount: " + stats.ikkeDaekketCount);
372	torben	2286
373	torben	2309	System.out.println("Build: Total Elapsed: " + (stop-start1) );
374	torben	2281	System.out.println("Build Completed");
375
376	torben	2274	}
377
378	torben	2337	public DataStatisticsBean getStatistics() {
379			return stats;
380			}
381	torben	2276
382	torben	2337	public void clear() {
383			searchPostnrVejnavnGadeid.clear();
384			searchGadeidentAdresser.clear();
385			alleAdresser.clear();
386			helperCache.clear();
387			}
388
389
390	torben	2388	private String getbestLevenshteinDistance(String vasketVejnavn, Map<String,Long> postnrVeje) {
391			for(String vej : postnrVeje.keySet()) {
392			if ( StringUtils.getLevenshteinDistance(vasketVejnavn, vej) == 1) {
393			System.out.println("Levenstein: " + vasketVejnavn + "->" + vej);
394			return vej;
395			}
396			}
397
398			return null;
399			}
400
401	torben	2283	private String calculateExtendedDaoRoute(ExtendedBean eb, Address orgAddress, Address targetAddress) {
402
403			// ///////////////////////////////////////////////////////////////////
404			switch( eb.transport) {
405			case "cykel":
406			if (eb.afstand < 0.151) {
407			return "." + targetAddress.rute;
408			} else if (eb.afstand < 0.501) {
409			return ".." + targetAddress.rute;
410			} else if (eb.afstand < 0.701) {
411			return "..." + targetAddress.rute;
412			} else if (eb.afstand < 0.501) {
413			return "...." + targetAddress.rute;
414	torben	2276	}
415	torben	2283	break;
416			case "scooter":
417			if (eb.afstand < 0.151) {
418			return "." + targetAddress.rute;
419			} else if (eb.afstand < 0.801) {
420			return ".." + targetAddress.rute;
421			} else if (eb.afstand < 1.201) {
422			return "..." + targetAddress.rute;
423			} else if (eb.afstand < 2.101) {
424			return "...." + targetAddress.rute;
425			}
426			break;
427			case "bil":
428			if (eb.afstand < 0.151) {
429			return "." + targetAddress.rute;
430			} else if (eb.afstand < 1.001) {
431			return ".." + targetAddress.rute;
432			} else if (eb.afstand < 1.601) {
433			return "..." + targetAddress.rute;
434			} else if (eb.afstand < 2.601) {
435			return "...." + targetAddress.rute;
436			}
437	torben	2276	break;
438	torben	2283	}
439	torben	2276	return null;
440	torben	2332	}
441	torben	2276
442	torben	2332	public List<Address> getNonCoveredAddresses() {
443			List<Address> result = new ArrayList<Address>(60000);
444			for (Address a : alleAdresser) {
445			if ( a.daekningsType == DaekningsType.DAEKNING_IKKEDAEKKET) {
446			result.add(a);
447			}
448			}
449	torben	2333	Collections.sort(result );
450	torben	2332	return result;
451			}
452
453	torben	2283	///////////////////////////////////////////////////////////
454			private String calculateExtendedBkKoreliste(ExtendedBean eb, Address orgAddress, Address targetAddress) {
455			String inject;
456			if (eb.afstand <= 0.500) {
457			inject = ".";
458			} else {
459			inject = "..";
460			}
461			return AddressUtils.injectIntoBk(targetAddress.koreliste, inject);
462			}
463	torben	2276
464	torben	2292	private Set<String> findVejAliaser(String vejnavn) {
465	torben	2293	vejnavn = vejnavn.toLowerCase();
466	torben	2310	HashSet<String> aliasSet = new HashSet<String>();
467	torben	2292	aliasSet.add(vejnavn);
468
469	torben	2312	aliasSet.add(vejnavn.replace("u", "ü") );
470			aliasSet.add(vejnavn.replace("ü", "u") );
471
472	torben	2292	aliasSet.add(vejnavn.replace("alle", "allé") );
473	torben	2310	aliasSet.add(vejnavn.replace("allé", "alle") );
474	torben	2292
475	torben	2295	aliasSet.add(vejnavn.replace("dronningens", "dr") );
476			aliasSet.add(vejnavn.replace("dr.", "dronningens") );
477			aliasSet.add(vejnavn.replace("dr ", "dronningens") );
478
479	torben	2391	aliasSet.add(vejnavn.replace("dronning", "dr") );
480			aliasSet.add(vejnavn.replace("dr.", "dronning") );
481			aliasSet.add(vejnavn.replace("dr ", "dronning") );
482
483			aliasSet.add(vejnavn.replace("kng", "kongen") );
484			aliasSet.add(vejnavn.replace("kongen", "kng") );
485
486	torben	2295	aliasSet.add(vejnavn.replace("kvt", "kvarter") );
487			aliasSet.add(vejnavn.replace("kvarter", "kvt") );
488
489	torben	2292	aliasSet.add(vejnavn.replace("gl", "gammel") );
490			aliasSet.add(vejnavn.replace("gammel", "gl") );
491
492			aliasSet.add(vejnavn.replace("lille", "ll") );
493			aliasSet.add(vejnavn.replace("ll ", "lille") );
494			aliasSet.add(vejnavn.replace("ll.", "lille") );
495
496			aliasSet.add(vejnavn.replace("store", "st") );
497			aliasSet.add(vejnavn.replace("st ", "store") );
498			aliasSet.add(vejnavn.replace("st.", "store") );
499
500			aliasSet.add(vejnavn.replace("søndre", "sdr") );
501			aliasSet.add(vejnavn.replace("sdr", "søndre") );
502
503
504			aliasSet.add(vejnavn.replace("nørre", "nr") );
505			aliasSet.add(vejnavn.replace("nr", "nørre") );
506
507			aliasSet.add(vejnavn.replace("nordre", "ndr") );
508			aliasSet.add(vejnavn.replace("ndr", "nordre") );
509
510			aliasSet.add(vejnavn.replace("sankt", "skt") );
511	torben	2310	aliasSet.add(vejnavn.replace("sankt", "sct") );
512	torben	2292	aliasSet.add(vejnavn.replace("skt", "sankt") );
513
514			aliasSet.add(vejnavn.replace("skt", "sct") );
515	torben	2362	aliasSet.add(vejnavn.replace("sct", "skt") );
516	torben	2292
517	torben	2379
518			//alternative måder at stave vej/gade/alle
519	torben	2362	aliasSet.add(vejnavn.replace("vej", "ve") );
520			aliasSet.add(vejnavn.replace("vej", "vj") );
521	torben	2386	aliasSet.add(vejnavn.replace("vej", "v") );
522	torben	2362
523			aliasSet.add(vejnavn.replace("alle", "all") );
524			aliasSet.add(vejnavn.replace("allé", "all") );
525	torben	2382	aliasSet.add(vejnavn.replace("alle", "allú") ); //Fundet i logs.hentruteinfo
526			aliasSet.add(vejnavn.replace("allé", "allú") );
527	torben	2362
528	torben	2382	aliasSet.add(vejnavn.replace("gade", "gaed") ); //Fundet i logs.hentruteinfo
529	torben	2379
530
531	torben	2310	// Opbyg æøå varianter over alle fundne aliaser
532
533			@SuppressWarnings("unchecked")
534			HashSet<String> variants = (HashSet<String>) aliasSet.clone();
535
536	torben	2313	for (String vVejnavn : variants) {
537	torben	2310	// danske tegn 1
538			aliasSet.add( vVejnavn.replace("æ", "ae") );
539			aliasSet.add( vVejnavn.replace("ø", "oe") );
540			aliasSet.add( vVejnavn.replace("å", "aa") );
541			aliasSet.add( vVejnavn.replace("ae", "æ") );
542			aliasSet.add( vVejnavn.replace("oe", "ø") );
543			aliasSet.add( vVejnavn.replace("aa", "å") );
544
545			//danske tegn 2
546			aliasSet.add( vVejnavn.replace("æ", "ae").replace("ø", "oe") );
547			aliasSet.add( vVejnavn.replace("æ", "ae").replace("å", "aa") );
548			aliasSet.add( vVejnavn.replace("ø", "ae").replace("å", "aa") );
549			aliasSet.add( vVejnavn.replace("ae", "æ").replace("oe","ø") );
550			aliasSet.add( vVejnavn.replace("ae", "æ").replace("aa","å") );
551			aliasSet.add( vVejnavn.replace("oe", "ø").replace("aa", "å") );
552
553			//danske tegn 3
554			aliasSet.add( vejnavn.replace("æ", "ae").replace("ø", "oe").replace("å", "aa") );
555			aliasSet.add( vejnavn.replace("ae", "æ").replace("oe", "ø").replace("aa", "å") );
556			}
557
558	torben	2292	return aliasSet;
559			}
560	torben	2283
561	torben	2292
562	torben	2267	}