/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Annotation of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log


Revision 2219 - (hide annotations) (download)
Fri Sep 12 21:03:06 2014 UTC (9 years, 8 months ago) by torben
File size: 6745 byte(s)
Switch to batch inserts
1 torben 2145 package dk.daoas.fulddaekning;
2    
3     import java.io.File;
4     import java.io.FileReader;
5 torben 2150 import java.util.List;
6 torben 2145 import java.util.Map;
7 torben 2150 import java.util.Queue;
8 torben 2145 import java.util.concurrent.ConcurrentHashMap;
9 torben 2213 import java.util.logging.FileHandler;
10 torben 2145 import java.util.logging.Level;
11     import java.util.logging.Logger;
12 torben 2214 import java.util.logging.SimpleFormatter;
13 torben 2145
14     import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;
15    
16     public class Lookup {
17 torben 2158
18     static final String CONFIG_FILENAME = "fulddaekning.properties";
19    
20 torben 2145 static int max_workers;
21     static boolean verbose;
22    
23 torben 2195 static boolean rename_tables;
24 torben 2200 static String distributor;
25 torben 2195
26 torben 2157 static SafeProperties conf;
27 torben 2145 static Logger logger = Logger.getLogger( Lookup.class.toString() );
28    
29 torben 2150 int postnr;
30 torben 2145 Database db;
31 torben 2150
32 torben 2207 Adresse daekkedeAdresser[];
33 torben 2150 Queue<Adresse> queue;
34 torben 2145
35     Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
36    
37    
38 torben 2154 static Statistik flestDaekkede = new Statistik();
39     static Statistik flestIkkeDaekkede = new Statistik();
40 torben 2145
41 torben 2153
42 torben 2154 static class Statistik {
43     int postnr;
44     int antalDaekkede = 0;
45     int antalIkkeDaekkede = 0;
46    
47     @Override
48     public String toString() {
49     return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede=" + antalDaekkede;
50     }
51     }
52    
53    
54 torben 2150 public Lookup(int postnr, Database db) {
55     this.postnr = postnr;
56 torben 2145 this.db = db;
57     }
58    
59 torben 2154 public static void saveStatistics(Statistik stat) {
60     if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {
61     flestDaekkede = stat;
62     }
63     if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {
64     flestIkkeDaekkede = stat;
65     }
66     }
67 torben 2145
68     public void doLookup() throws BoundingBoxException {
69 torben 2150 logger.info("Starting for postnr=" + postnr);
70 torben 2145
71 torben 2154 Statistik stat = new Statistik();
72    
73 torben 2145 long start1 = System.currentTimeMillis();
74     long start2 = 0;
75    
76     try {
77 torben 2150 BoundingBox bbox = db.getBoundingbox(postnr);
78     bbox.validateBbox();
79    
80     logger.info("Bbox=" + bbox);
81     bbox.adjustToMargin();
82     logger.info("Bbox Adjusted=" + bbox);
83    
84     logger.info("Henter daekkede adresser i " + postnr);
85     daekkedeAdresser = db.hentDaekkedeAdresser(bbox);
86    
87     logger.info("Henter _ikke_ daekkede adresser i " + postnr);
88     queue = db.hentIkkedaekkedeAdresser(postnr);
89    
90 torben 2154 stat.postnr = postnr;
91 torben 2207 stat.antalDaekkede = daekkedeAdresser.length;
92 torben 2154 stat.antalIkkeDaekkede = queue.size();
93 torben 2150
94 torben 2154 saveStatistics(stat);
95    
96 torben 2153
97 torben 2150 logger.info("Starter beregning for " + postnr);
98 torben 2145 start2 = System.currentTimeMillis();
99    
100     for (int i =0; i<max_workers; i++) {
101     LookupWorker worker = new LookupWorker(i, this);
102     Thread t = new Thread(worker);
103     t.start();
104    
105     workers.put(i, worker);
106     }
107    
108     while (workers.size() > 0) {
109     Thread.sleep(10);//wait for worker threads
110     }
111    
112 torben 2219 db.saveBatch();//Save any unsaved rows
113 torben 2145
114 torben 2219
115 torben 2145 } catch(Exception e) {
116     logger.log(Level.WARNING, "Exception during lookup", e);
117    
118     if (e instanceof BoundingBoxException) {
119     logger.severe( e.getMessage() );
120     System.exit(1);
121     }
122    
123     }
124     long now = System.currentTimeMillis();
125    
126 torben 2154
127     logger.info( stat.toString() );
128 torben 2153 logger.info("Done! elapsed=" + (now-start1) + "/" + (now-start2) + " postnr=" + postnr);
129 torben 2145 }
130    
131     public void shutdownWorker(int workerid) {
132     logger.info("Shutting down worker: " + workerid);
133 torben 2205 LookupWorker key = workers.remove(workerid);
134    
135     if (key == null) {
136     System.out.println("Error removing worker from set");
137     System.exit(0);
138     }
139 torben 2145 }
140    
141     // Getters and setters
142    
143     ///////////////////////////
144     public Database getDb() {
145     return db;
146     }
147 torben 2150
148    
149    
150 torben 2207 public Adresse[] getDaekkedeAdresser() {
151 torben 2150 return daekkedeAdresser;
152 torben 2145 }
153    
154 torben 2150 public Queue<Adresse> getQueue() {
155     return queue;
156     }
157    
158    
159 torben 2145
160 torben 2150
161    
162    
163 torben 2145 /////////////////////////////
164     // Static functions
165    
166    
167    
168    
169     public static void main(String[] args) throws Exception {
170    
171 torben 2213 //Setup j.u.l Logger
172     Logger root = Logger.getLogger("");
173     FileHandler fhandler = new FileHandler("fulddaekning.log"); // Ingen max størrelse, ingen rotation og ingen append
174 torben 2214 fhandler.setFormatter( new SimpleFormatter() );
175 torben 2213 root.addHandler( fhandler );
176    
177    
178    
179    
180 torben 2158 File confFile = new File( CONFIG_FILENAME );
181 torben 2145 if (! confFile.exists() ) {
182 torben 2158 logger.warning("Config file not found: " + CONFIG_FILENAME);
183 torben 2145 System.exit(1);
184     }
185    
186 torben 2157 conf = new SafeProperties();
187 torben 2145 conf.load( new FileReader(confFile) );
188    
189 torben 2157 max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );
190 torben 2145 logger.info("Starting with MAX_WORKERS:" + max_workers);
191    
192 torben 2157 verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );
193 torben 2145 logger.info("Starting with VERBOSE:" + verbose);
194    
195 torben 2195 rename_tables = Boolean.parseBoolean( conf.getSafeProperty("RENAMETABLES") );
196     logger.info("Starting with RENAMETABLES:" + rename_tables);
197    
198 torben 2200 distributor = conf.getSafeProperty("DISTRIBUTOR");
199     distributor = distributor.toUpperCase();
200     Constants.init(distributor);
201    
202    
203 torben 2152 Database db = new Database(conf);
204 torben 2151
205 torben 2202
206 torben 2145
207    
208    
209    
210 torben 2150
211 torben 2145 long start = System.currentTimeMillis();
212 torben 2208
213 torben 2150 logger.info("Finder postnumre");
214 torben 2145 List<Integer> postnumre = db.hentPostnumre();
215    
216 torben 2202 // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen
217     for(Integer postnr : postnumre) { //
218     logger.info("Validerer BBox for " + postnr);
219     BoundingBox bbox = db.getBoundingbox(postnr);
220     bbox.validateBbox();
221     }
222    
223    
224     //pre-check er ok - reset tmp tabel og start søgningen
225     db.resetResultTable();
226    
227 torben 2145 for(Integer postnr : postnumre) {
228     Lookup lookup = new Lookup(postnr, db);
229     lookup.doLookup();
230 torben 2150 }
231 torben 2145
232 torben 2195 if (rename_tables) {
233     db.renameResultTables();
234     } else {
235     logger.info( "Rename tables is disabled !!!" );
236     }
237 torben 2192
238 torben 2145 long now = System.currentTimeMillis();
239 torben 2217 long elapsed = now - start ;
240 torben 2155
241 torben 2154 logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);
242     logger.info("Flest Dækkede, " + flestDaekkede);
243 torben 2217 logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );
244 torben 2208
245 torben 2145
246 torben 2208 /*
247 torben 2207 /// Test
248     db.resetResultTable();
249     Lookup lookup = new Lookup(2750, db);
250     lookup.doLookup();
251     long now = System.currentTimeMillis();
252 torben 2217 long elapsed = now - start ;
253     logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );*/
254 torben 2145 }
255 torben 2217
256     static String formatMilliSeconds(long milliseconds) {
257     int mseconds = (int) milliseconds % 1000;
258     int seconds = (int) (milliseconds / 1000) % 60 ;
259     int minutes = (int) ((milliseconds / (1000*60)) % 60);
260     int hours = (int) ((milliseconds / (1000*60*60)) % 24);
261 torben 2150
262 torben 2217 return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);
263     }
264    
265 torben 2145 }

  ViewVC Help
Powered by ViewVC 1.1.20