adressevedligehold/dawa/DawaWebservice.java

package dk.daoas.adressevedligehold.dawa;

import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.TreeMap;

import org.apache.commons.csv.CSVFormat;
import org.apache.commons.csv.CSVParser;
import org.apache.commons.csv.CSVRecord;
import org.json.JSONArray;
import org.json.JSONObject;

import dk.daoas.adressevedligehold.beans.Address;
import dk.daoas.adressevedligehold.tasks.TaskLogger;
import dk.daoas.adressevedligehold.util.DeduplicateHelper;
import dk.daoas.adressevedligehold.util.HttpUtil;
import dk.daoas.adressevedligehold.util.TimingHelper;
/**
 * 
 * Vi bruger org.json her istedet for fuld de-serialization via f.eks. Gson da vi kun skal bruge nogle ganske få felter fra resultatet
 *
 */
/**
 * 
 * Vi bruger org.json her istedet for fuld de-serialization via f.eks. Gson da vi kun skal bruge nogle ganske få felter fra resultatet
 *
 */
public class DawaWebservice {
        
        private TaskLogger logger = TaskLogger.getInstance(); 
        
        int page = 0;
        
        DeduplicateHelper<String> dedup = new DeduplicateHelper<>();

        public Map<String, Integer> kommunerIRegion(int regionskode) throws IOException {
                TimingHelper timer = new TimingHelper();
                
                final String url = "http://dawa.aws.dk/kommuner";
                                
                Map<String,Integer> result = new TreeMap<>();
                
                String jsonStr = HttpUtil.getContentString(url, 5000);
                JSONArray root = new JSONArray( jsonStr) ;
                
                for (int i=0; i<root.length(); i++) {
                        JSONObject current = root.getJSONObject(i);
                        
                        int region = current.getInt("regionskode");
                        
                        if (region != regionskode) {
                                continue;
                        }
                        
                        int kode = current.getInt("kode");
                        String navn = current.getString("navn");
                        
                        result.put(navn, kode);
                }
                
                
                return result;
        }
        
        public List<Address> adresserIKommune(int kommunekode) throws IOException {
                
                //Splitter splitter = Splitter.on(',').trimResults( CharMatcher.is('"') );
                
                List<Address> result = new ArrayList<>();
                
                final String url = "http://dawa.aws.dk/adgangsadresser?kommunekode=" + kommunekode+ "&format=csv";
                
                File file = File.createTempFile("dawa_" + kommunekode + "_", "csv");
                logger.info("Gemmer til " + file.getName() );
                HttpUtil.getContentToFile(url, file, 1000);
                
                TimingHelper timer = new TimingHelper();
                
                logger.info("Loaded data elapsed:" + timer.getElapsed());
                timer = new TimingHelper();
                
                
                try (FileReader fin = new FileReader(file);
                         CSVParser parser = new CSVParser(fin, CSVFormat.EXCEL);
                         
                                ) {
                        
                        
                        Iterator<CSVRecord> it = parser.iterator();
                        
                        it.next(); //Skip header line
                        
                        
                        while (it.hasNext()) {
                                CSVRecord rec = it.next();
                        
                                Address a = new Address();
                                a.vejkode = Short.parseShort( rec.get(4) );
                                a.vejnavn = dedup.getInstance( rec.get(5) );
                                String husnrStr = rec.get(7);

                                a.husnr = Short.parseShort( husnrStr.replaceAll("[^\\d]","") );
                                
                                if (a.husnr > 900) {
                                        continue;
                                }
                                
                                a.husnrbogstav = dedup.getInstance( husnrStr.replaceAll("\\d", "") );
                                
                                a.postnr = Short.parseShort( rec.get(9) );
                                a.kommunekode = Short.parseShort( rec.get(13) );
                                

                                a.latitude = safeParseFloat( rec.get(22) );
                                a.longitude = safeParseFloat( rec.get(22) );

                                result.add(a);

                        }
                }
                file.delete();
                
                logger.info("AdressCount:" + result.size() + " - " + timer.getElapsed() + "ms");
                                
                page++;
                
                return result;
        }
        
        private float safeParseFloat(String str) {
                if (str.equals(""))
                        return (float) 0.0;
                
                return Float.parseFloat(str);
                
        }
        
        public List<Address> adresserIKommune_old(int kommunekode) throws IOException {
                
                
                
                List<Address> result = new ArrayList<>();
                
                final String url = "http://dawa.aws.dk/adgangsadresser?kommunekode=" + kommunekode;
                
                TimingHelper timer = new TimingHelper();
                
                String jsonStr = HttpUtil.getContentString(url, 1000);
                
                logger.info("Loaded data elapsed:" + timer.getElapsed());
                timer = new TimingHelper();

                JSONArray root = new JSONArray( jsonStr) ;
                
                for (int i=0; i<root.length(); i++) {
                        Address a = new Address();
                        
                        JSONObject current = root.getJSONObject(i);
                        
                        
                        JSONObject vejStykke = current.getJSONObject("vejstykke");
                        String vejNavn = vejStykke.getString("navn");
                        a.vejnavn = dedup.getInstance(vejNavn);
                        a.vejkode = (short) vejStykke.getInt("kode");
                        
                        
                        JSONObject kommune = current.getJSONObject("kommune");
                        a.kommunekode = (short) kommune.getInt("kode");
                        
                        
                        JSONObject postnummer = current.getJSONObject("postnummer");
                        a.postnr = (short) postnummer.getInt("nr");

                        
                        String husnrStr = current.getString("husnr");
                        
                        a.husnr = Short.parseShort( husnrStr.replaceAll("[^\\d]","") );
                        a.husnrbogstav = dedup.getInstance( husnrStr.replaceAll("\\d", "") );
                        
                        
                        JSONObject adgangspunkt = current.getJSONObject("adgangspunkt");
                        JSONArray koordinater = adgangspunkt.getJSONArray("koordinater");
                        a.latitude = (float) koordinater.getDouble(1);  // Dawa sender i longitude,latitude
                        a.longitude = (float) koordinater.getDouble(0);
                        
                        result.add(a);
                }
                
                logger.info("AdressCount:" + result.size() + " - " + timer.getElapsed() + "ms");
                                
                page++;
                
                return result;
        }
}
1	torben	3003	package dk.daoas.adressevedligehold.dawa;
2
3	torben	3006	import java.io.File;
4			import java.io.FileReader;
5	torben	3003	import java.io.IOException;
6			import java.util.ArrayList;
7	torben	3006	import java.util.Iterator;
8	torben	3003	import java.util.List;
9	torben	3006	import java.util.Map;
10			import java.util.TreeMap;
11	torben	3003
12	torben	3006	import org.apache.commons.csv.CSVFormat;
13			import org.apache.commons.csv.CSVParser;
14			import org.apache.commons.csv.CSVRecord;
15	torben	3003	import org.json.JSONArray;
16			import org.json.JSONObject;
17
18			import dk.daoas.adressevedligehold.beans.Address;
19			import dk.daoas.adressevedligehold.tasks.TaskLogger;
20			import dk.daoas.adressevedligehold.util.DeduplicateHelper;
21			import dk.daoas.adressevedligehold.util.HttpUtil;
22			import dk.daoas.adressevedligehold.util.TimingHelper;
23			/**
24			*
25			* Vi bruger org.json her istedet for fuld de-serialization via f.eks. Gson da vi kun skal bruge nogle ganske få felter fra resultatet
26			*
27			*/
28			/**
29			*
30			* Vi bruger org.json her istedet for fuld de-serialization via f.eks. Gson da vi kun skal bruge nogle ganske få felter fra resultatet
31			*
32			*/
33			public class DawaWebservice {
34
35			private TaskLogger logger = TaskLogger.getInstance();
36
37			int page = 0;
38
39			DeduplicateHelper<String> dedup = new DeduplicateHelper<>();
40
41	torben	3006	public Map<String, Integer> kommunerIRegion(int regionskode) throws IOException {
42			TimingHelper timer = new TimingHelper();
43
44			final String url = "http://dawa.aws.dk/kommuner";
45
46			Map<String,Integer> result = new TreeMap<>();
47
48			String jsonStr = HttpUtil.getContentString(url, 5000);
49			JSONArray root = new JSONArray( jsonStr) ;
50
51			for (int i=0; i<root.length(); i++) {
52			JSONObject current = root.getJSONObject(i);
53
54			int region = current.getInt("regionskode");
55
56			if (region != regionskode) {
57			continue;
58			}
59
60			int kode = current.getInt("kode");
61			String navn = current.getString("navn");
62
63			result.put(navn, kode);
64			}
65
66
67			return result;
68			}
69	torben	3003
70	torben	3006	public List<Address> adresserIKommune(int kommunekode) throws IOException {
71	torben	3003
72	torben	3006	//Splitter splitter = Splitter.on(',').trimResults( CharMatcher.is('"') );
73	torben	3003
74	torben	3006	List<Address> result = new ArrayList<>();
75	torben	3003
76	torben	3006	final String url = "http://dawa.aws.dk/adgangsadresser?kommunekode=" + kommunekode+ "&format=csv";
77
78			File file = File.createTempFile("dawa_" + kommunekode + "_", "csv");
79			logger.info("Gemmer til " + file.getName() );
80			HttpUtil.getContentToFile(url, file, 1000);
81
82			TimingHelper timer = new TimingHelper();
83
84			logger.info("Loaded data elapsed:" + timer.getElapsed());
85			timer = new TimingHelper();
86
87
88			try (FileReader fin = new FileReader(file);
89			CSVParser parser = new CSVParser(fin, CSVFormat.EXCEL);
90
91			) {
92
93
94			Iterator<CSVRecord> it = parser.iterator();
95
96			it.next(); //Skip header line
97
98
99			while (it.hasNext()) {
100			CSVRecord rec = it.next();
101
102			Address a = new Address();
103			a.vejkode = Short.parseShort( rec.get(4) );
104			a.vejnavn = dedup.getInstance( rec.get(5) );
105			String husnrStr = rec.get(7);
106
107			a.husnr = Short.parseShort( husnrStr.replaceAll("[^\\d]","") );
108
109			if (a.husnr > 900) {
110			continue;
111			}
112
113			a.husnrbogstav = dedup.getInstance( husnrStr.replaceAll("\\d", "") );
114
115			a.postnr = Short.parseShort( rec.get(9) );
116			a.kommunekode = Short.parseShort( rec.get(13) );
117
118
119			a.latitude = safeParseFloat( rec.get(22) );
120			a.longitude = safeParseFloat( rec.get(22) );
121
122			result.add(a);
123
124			}
125			}
126			file.delete();
127
128			logger.info("AdressCount:" + result.size() + " - " + timer.getElapsed() + "ms");
129
130			page++;
131
132			return result;
133			}
134
135			private float safeParseFloat(String str) {
136			if (str.equals(""))
137			return (float) 0.0;
138
139			return Float.parseFloat(str);
140
141			}
142
143			public List<Address> adresserIKommune_old(int kommunekode) throws IOException {
144
145
146
147	torben	3003	List<Address> result = new ArrayList<>();
148
149			final String url = "http://dawa.aws.dk/adgangsadresser?kommunekode=" + kommunekode;
150
151			TimingHelper timer = new TimingHelper();
152
153			String jsonStr = HttpUtil.getContentString(url, 1000);
154
155			logger.info("Loaded data elapsed:" + timer.getElapsed());
156			timer = new TimingHelper();
157
158			JSONArray root = new JSONArray( jsonStr) ;
159
160			for (int i=0; i<root.length(); i++) {
161			Address a = new Address();
162
163			JSONObject current = root.getJSONObject(i);
164
165
166			JSONObject vejStykke = current.getJSONObject("vejstykke");
167			String vejNavn = vejStykke.getString("navn");
168			a.vejnavn = dedup.getInstance(vejNavn);
169			a.vejkode = (short) vejStykke.getInt("kode");
170
171
172			JSONObject kommune = current.getJSONObject("kommune");
173			a.kommunekode = (short) kommune.getInt("kode");
174
175
176			JSONObject postnummer = current.getJSONObject("postnummer");
177			a.postnr = (short) postnummer.getInt("nr");
178
179
180			String husnrStr = current.getString("husnr");
181
182			a.husnr = Short.parseShort( husnrStr.replaceAll("[^\\d]","") );
183			a.husnrbogstav = dedup.getInstance( husnrStr.replaceAll("\\d", "") );
184
185
186			JSONObject adgangspunkt = current.getJSONObject("adgangspunkt");
187			JSONArray koordinater = adgangspunkt.getJSONArray("koordinater");
188			a.latitude = (float) koordinater.getDouble(1); // Dawa sender i longitude,latitude
189			a.longitude = (float) koordinater.getDouble(0);
190
191			result.add(a);
192			}
193
194			logger.info("AdressCount:" + result.size() + " - " + timer.getElapsed() + "ms");
195
196			page++;
197
198			return result;
199			}
200			}