/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2149 by torben, Wed Apr 30 14:18:43 2014 UTC revision 2228 by torben, Mon Sep 22 10:17:38 2014 UTC
# Line 2  package dk.daoas.fulddaekning; Line 2  package dk.daoas.fulddaekning;
2    
3  import java.io.File;  import java.io.File;
4  import java.io.FileReader;  import java.io.FileReader;
5    import java.util.List;
6  import java.util.Map;  import java.util.Map;
7  import java.util.Properties;  import java.util.Queue;
8  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
9    import java.util.logging.FileHandler;
10  import java.util.logging.Level;  import java.util.logging.Level;
11  import java.util.logging.Logger;  import java.util.logging.Logger;
12    import java.util.logging.SimpleFormatter;
13    
14  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;
15    
16  public class Lookup {  public class Lookup {
17    
18            static final String CONFIG_FILENAME = "fulddaekning.properties";
19    
20          static int max_workers;          static int max_workers;
21          static boolean verbose;          static boolean verbose;
22                    
23          static Properties conf;          static boolean rename_tables;
24            static String distributor;
25            
26            static SafeProperties conf;
27          static Logger logger = Logger.getLogger( Lookup.class.toString() );          static Logger logger = Logger.getLogger( Lookup.class.toString() );
28                    
29            int postnr;
30          Database db;          Database db;
31          WorkSet workset;                  
32            Adresse daekkedeAdresser[];
33            Queue<Adresse> queue;
34                    
35          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
36    
37                    
38            static Statistik flestDaekkede = new Statistik();
39            static Statistik flestIkkeDaekkede = new Statistik();
40            static Statistik mestBrugteTid = new Statistik();
41            static Statistik stoersteDataset = new Statistik();
42                    
43          public Lookup(WorkSet workset, Database db) {          static Adresse[] alleDaekkedeAdresser;
44                  this.db = db;          
45                  this.workset = workset;          
46            static class Statistik {
47                    int postnr;
48                    int antalDaekkede = 0;
49                    int antalIkkeDaekkede = 0;
50                    int totalDataset = 0;          
51                    long forbrugtTid = 0;
52    
53                    
54                    @Override
55                    public String toString() {
56                            return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede="  + antalDaekkede + " forbrugtTid=" + forbrugtTid + " totalDataset=" + totalDataset;
57                    }
58          }          }
59                    
60                    
61            public Lookup(int postnr, Database db) {
62                    this.postnr = postnr;
63                    this.db = db;
64            }
65            
66            public static void saveStatistics(Statistik stat) {
67                    if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {
68                            flestDaekkede = stat;
69                    }
70                    if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {
71                            flestIkkeDaekkede = stat;
72                    }
73                    
74                    if (stat.totalDataset > mestBrugteTid.totalDataset) {
75                            stoersteDataset = stat;
76                    }
77                    
78                    if (stat.forbrugtTid > mestBrugteTid.forbrugtTid) {
79                            mestBrugteTid = stat;
80                    }
81            }
82                    
83          public void doLookup() throws BoundingBoxException {          public void doLookup() throws BoundingBoxException {
84                  logger.info("Starting for postnr=" + workset.postnr);                            logger.info("Starting for postnr=" + postnr);
85                                    
86                    Statistik stat = new Statistik();
87                                    
88                  long start1 = System.currentTimeMillis();                                long start1 = System.currentTimeMillis();              
89                  long start2 = 0;                  long start2 = 0;
90                                    
91                  try {                  try {
92                            BoundingBox bbox = db.getBoundingbox(postnr);
93                          logger.info("Starter beregning for " + workset.postnr);                          bbox.validateBbox();
94                            
95                            logger.info("Bbox=" + bbox);
96                            bbox.adjustToMargin();
97                            logger.info("Bbox Adjusted=" + bbox);
98                            
99                            logger.info("Henter daekkede adresser i " + postnr);
100                            daekkedeAdresser = db.hentDaekkedeAdresser(bbox);
101                            
102                            logger.info("Henter _ikke_ daekkede adresser i " + postnr);
103                            queue = db.hentIkkedaekkedeAdresser(postnr);
104                            
105                            stat.postnr = postnr;
106                            stat.antalDaekkede = daekkedeAdresser.length;
107                            stat.antalIkkeDaekkede = queue.size();
108                            stat.totalDataset = stat.antalDaekkede * stat.antalIkkeDaekkede;
109                                                                            
110                            
111                            logger.info("Starter beregning for " + postnr);
112                          start2 = System.currentTimeMillis();                          start2 = System.currentTimeMillis();
113                                                                                                                                                                                                                                    
114                          for (int i =0; i<max_workers; i++) {                          for (int i =0; i<max_workers; i++) {
# Line 55  public class Lookup { Line 123  public class Lookup {
123                                  Thread.sleep(10);//wait for worker threads                                  Thread.sleep(10);//wait for worker threads
124                          }                          }
125                                                    
126                            db.saveBatch();//Save any unsaved rows
127                            
128                                                    
129                  } catch(Exception e) {                  } catch(Exception e) {
130                          logger.log(Level.WARNING, "Exception during lookup", e);                          logger.log(Level.WARNING, "Exception during lookup", e);
# Line 67  public class Lookup { Line 137  public class Lookup {
137                  }                  }
138                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
139                                    
140                    stat.forbrugtTid = (now-start1);
141                    saveStatistics(stat);
142    
143                  logger.info("Antal daekkede:" + workset.daekkedeAdresser.size() );                  logger.info( stat.toString() );
144                  logger.info("Antal ikke-daekkede:" + workset.queueSize );                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);
                 logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) );  
145          }          }
146                    
147          public void shutdownWorker(int workerid) {          public void shutdownWorker(int workerid) {
148                  logger.info("Shutting down worker: " + workerid);                  logger.info("Shutting down worker: " + workerid);
149                  workers.remove(workerid);                  LookupWorker key = workers.remove(workerid);
150                    
151                    if (key == null) {
152                            System.out.println("Error removing worker from set");
153                            System.exit(0);
154                    }
155          }          }
156                    
157          // Getters and setters          // Getters and setters
# Line 84  public class Lookup { Line 160  public class Lookup {
160          public Database getDb() {          public Database getDb() {
161                  return db;                  return db;
162          }          }
163            
164          public WorkSet getWorkSet() {  
165                  return workset;  
166            public Adresse[] getDaekkedeAdresser() {
167                    return daekkedeAdresser;
168            }
169    
170            public Queue<Adresse> getQueue() {
171                    return queue;
172          }          }
173    
174    
175            
176            
177            
178                    
179          /////////////////////////////          /////////////////////////////
180          // Static functions          // Static functions
# Line 98  public class Lookup { Line 184  public class Lookup {
184                    
185          public static void main(String[] args) throws Exception {          public static void main(String[] args) throws Exception {
186                                    
187                  File confFile = new File("fulddaekning.properties");                  //Setup j.u.l Logger
188                    Logger root = Logger.getLogger("");
189                    FileHandler fhandler = new FileHandler("fulddaekning.log"); // Ingen max størrelse, ingen rotation og ingen append
190                    fhandler.setFormatter( new SimpleFormatter() );
191                    root.addHandler( fhandler );
192                    
193                    
194                    
195                    
196                    File confFile = new File( CONFIG_FILENAME );
197                  if (! confFile.exists() ) {                  if (! confFile.exists() ) {
198                          logger.warning("Config file not found");                          logger.warning("Config file not found: " + CONFIG_FILENAME);
199                          System.exit(1);                          System.exit(1);
200                  }                  }
201                                                                    
202                  conf = new Properties();                  conf = new SafeProperties();
203                  conf.load( new FileReader(confFile) );                  conf.load( new FileReader(confFile) );
204                                    
205                  max_workers = Integer.parseInt( conf.getProperty("MAX_WORKERS") );                  max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );
206                  logger.info("Starting with MAX_WORKERS:" + max_workers);                  logger.info("Starting with MAX_WORKERS:" + max_workers);
207                                    
208                  verbose = Boolean.parseBoolean( conf.getProperty("VERBOSE") );                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );
209                  logger.info("Starting with VERBOSE:" + verbose);                  logger.info("Starting with VERBOSE:" + verbose);
210                                    
211                    rename_tables = Boolean.parseBoolean( conf.getSafeProperty("RENAMETABLES") );
212                    logger.info("Starting with RENAMETABLES:" + rename_tables);
213                    
214                    distributor = conf.getSafeProperty("DISTRIBUTOR");
215                    distributor = distributor.toUpperCase();
216                    logger.info("Starting for DISTRIBUTOR:" + distributor);
217                    
218                    Constants.init(distributor);
219                    Constants consts = Constants.getInstance();
220                    
221                  Database db = new Database(conf);                  Database db = new Database(conf);
222                  db.resetResultTable();                  
223                    
224    
225                                    
226                  InputWorker inputWorker = new InputWorker(db);                  boolean testRun= false;
                 Thread inputThread = new Thread(inputWorker);  
                 inputThread.start();  
227                                    
228                                    
229                  long start = System.currentTimeMillis();                  long start = System.currentTimeMillis();
                 boolean doContinue = true;  
230                                    
231                  while (inputWorker.queue.isEmpty() == true) {                  if (testRun == false) {
                         Thread.sleep(3); //Vent indtil at første arbejds sæt er på plads  
                 }  
232                                    
233                                            logger.info("Finder postnumre");
234                  while ( doContinue == true ) {                          List<Integer> postnumre = db.hentPostnumre();
235                          WorkSet set = inputWorker.queue.poll();                          
236                            // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen
237                            for(Integer postnr : postnumre) { //
238                                    logger.info("Validerer BBox for " + postnr);
239                                    BoundingBox bbox = db.getBoundingbox(postnr);
240                                    bbox.validateBbox();
241                            }
242                            
243                            if (consts.doExtendedLookup()) {
244                                    logger.info("Henter alle daekkede adresser");
245                                    alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
246                                    logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);
247                            }
248                            
249                            
250                            //pre-check er ok - reset tmp tabel og start søgningen
251                            db.resetResultTable();
252                            
253                            for(Integer postnr : postnumre) {
254                                    Lookup lookup = new Lookup(postnr, db);
255                                    lookup.doLookup();                      
256                            }
257                                                    
258                          if (set != null) {                          if (rename_tables) {
259                                  Lookup lookup = new Lookup(set, db);                                  db.renameResultTables();
                                 lookup.doLookup();                                
260                          } else {                          } else {
261                                  System.out.println("Buffer underrun");                                  logger.info( "Rename tables is disabled !!!" );
262                                  Thread.sleep(100);                          }
263                            
264            
265    
266                    } else {
267                            /// Test
268                            db.resetResultTable();
269                            
270                            if (consts.doExtendedLookup()) {
271                                    alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
272                                    logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);
273                          }                          }
274                                                    
275                          if ( inputWorker.isDone == true && inputWorker.queue.isEmpty() == true)                          Lookup lookup = new Lookup(4583, db);
276                                  doContinue = false;                          lookup.doLookup();                                                              
277                  }                  }
278                                    
                 /*logger.info("Finder postnumre");  
                 List<Integer> postnumre = db.hentPostnumre();  
                   
                 for(Integer postnr : postnumre) {  
                         Lookup lookup = new Lookup(postnr, db);  
                         lookup.doLookup();                        
                 }*/  
                   
279                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
280                    long elapsed = now - start ;
281                                    
282                  logger.info("Largest workset: " + inputWorker.largestWorkSetPostnr + "=" + inputWorker.largestWorkSetCount);                  logger.info("Mest brugte tid: " + mestBrugteTid);
283                  logger.info("Fuld load done : " + (now-start) );                  logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);
284                                    logger.info("Flest Dækkede, " + flestDaekkede);
285                                    logger.info("Største Dataset, " + stoersteDataset);            
286                  //Lookup lookup = new Lookup(7400, db);                  logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );
                 //lookup.doLookup();              
287          }          }
288                    
   
289                    
290            static String formatMilliSeconds(long milliseconds) {
291                    int mseconds = (int) milliseconds % 1000;
292                    int seconds = (int) (milliseconds / 1000) % 60 ;
293                    int minutes = (int) ((milliseconds / (1000*60)) % 60);
294                    int hours   = (int) ((milliseconds / (1000*60*60)) % 24);
295                    
296                    return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);
297            }
298                    
299  }  }
Legend:
Removed from v.2149  
changed lines
  Added in v.2228
  ViewVC Help
Powered by ViewVC 1.1.20