/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2214 by torben, Fri Sep 12 06:42:29 2014 UTC revision 2232 by torben, Wed Oct 8 08:57:59 2014 UTC
# Line 37  public class Lookup { Line 37  public class Lookup {
37                    
38          static Statistik flestDaekkede = new Statistik();          static Statistik flestDaekkede = new Statistik();
39          static Statistik flestIkkeDaekkede = new Statistik();          static Statistik flestIkkeDaekkede = new Statistik();
40            static Statistik mestBrugteTid = new Statistik();
41            static Statistik stoersteDataset = new Statistik();
42            
43            static Adresse[] alleDaekkedeAdresser;
44                    
45                    
46          static class Statistik {          static class Statistik {
47                  int postnr;                  int postnr;
48                  int antalDaekkede = 0;                  int antalDaekkede = 0;
49                  int antalIkkeDaekkede = 0;                  int antalIkkeDaekkede = 0;
50                    int totalDataset = 0;          
51                    long forbrugtTid = 0;
52    
53                                    
54                  @Override                  @Override
55                  public String toString() {                  public String toString() {
56                          return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede="  + antalDaekkede;                          return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede="  + antalDaekkede + " forbrugtTid=" + forbrugtTid + " totalDataset=" + totalDataset;
57                  }                  }
58          }          }
59                    
# Line 62  public class Lookup { Line 69  public class Lookup {
69                  }                  }
70                  if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {                  if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {
71                          flestIkkeDaekkede = stat;                          flestIkkeDaekkede = stat;
72                  }                                }
73                    
74                    if (stat.totalDataset > mestBrugteTid.totalDataset) {
75                            stoersteDataset = stat;
76                    }
77                    
78                    if (stat.forbrugtTid > mestBrugteTid.forbrugtTid) {
79                            mestBrugteTid = stat;
80                    }
81          }          }
82                    
83          public void doLookup() throws BoundingBoxException {          public void doLookup() throws BoundingBoxException {
# Line 74  public class Lookup { Line 89  public class Lookup {
89                  long start2 = 0;                  long start2 = 0;
90                                    
91                  try {                  try {
92                            
93                            logger.info("Henter _ikke_ daekkede adresser i " + postnr);
94                            queue = db.hentIkkedaekkedeAdresser(postnr);
95                            if (queue.size() == 0) {
96                                    logger.info("Fandt ikke nogen _ikke_ daekkede adresser i " + postnr);
97                            }
98                            
99                          BoundingBox bbox = db.getBoundingbox(postnr);                          BoundingBox bbox = db.getBoundingbox(postnr);
100                          bbox.validateBbox();                          bbox.validateBbox();
101                                                    
# Line 84  public class Lookup { Line 106  public class Lookup {
106                          logger.info("Henter daekkede adresser i " + postnr);                          logger.info("Henter daekkede adresser i " + postnr);
107                          daekkedeAdresser = db.hentDaekkedeAdresser(bbox);                          daekkedeAdresser = db.hentDaekkedeAdresser(bbox);
108                                                    
                         logger.info("Henter _ikke_ daekkede adresser i " + postnr);  
                         queue = db.hentIkkedaekkedeAdresser(postnr);  
                           
109                          stat.postnr = postnr;                          stat.postnr = postnr;
110                          stat.antalDaekkede = daekkedeAdresser.length;                          stat.antalDaekkede = daekkedeAdresser.length;
111                          stat.antalIkkeDaekkede = queue.size();                          stat.antalIkkeDaekkede = queue.size();
112                                                    stat.totalDataset = stat.antalDaekkede * stat.antalIkkeDaekkede;
113                          saveStatistics(stat);                                                                          
                                                   
114                                                    
115                          logger.info("Starter beregning for " + postnr);                          logger.info("Starter beregning for " + postnr);
116                          start2 = System.currentTimeMillis();                          start2 = System.currentTimeMillis();
# Line 109  public class Lookup { Line 127  public class Lookup {
127                                  Thread.sleep(10);//wait for worker threads                                  Thread.sleep(10);//wait for worker threads
128                          }                          }
129                                                    
130                            db.saveBatch();//Save any unsaved rows
131                            
132                                                    
133                  } catch(Exception e) {                  } catch(Exception e) {
134                          logger.log(Level.WARNING, "Exception during lookup", e);                          logger.log(Level.WARNING, "Exception during lookup", e);
# Line 121  public class Lookup { Line 141  public class Lookup {
141                  }                  }
142                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
143                                    
144                    stat.forbrugtTid = (now-start1);
145                    saveStatistics(stat);
146    
147                  logger.info( stat.toString() );                  logger.info( stat.toString() );
148                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);
# Line 175  public class Lookup { Line 197  public class Lookup {
197                                    
198                                    
199                                    
                   
200                  File confFile = new File( CONFIG_FILENAME );                  File confFile = new File( CONFIG_FILENAME );
201                  if (! confFile.exists() ) {                  if (! confFile.exists() ) {
202                          logger.warning("Config file not found: " + CONFIG_FILENAME);                          logger.warning("Config file not found: " + CONFIG_FILENAME);
# Line 196  public class Lookup { Line 217  public class Lookup {
217                                    
218                  distributor = conf.getSafeProperty("DISTRIBUTOR");                  distributor = conf.getSafeProperty("DISTRIBUTOR");
219                  distributor = distributor.toUpperCase();                  distributor = distributor.toUpperCase();
220                    logger.info("Starting for DISTRIBUTOR:" + distributor);
221                    
222                  Constants.init(distributor);                  Constants.init(distributor);
223                    Constants consts = Constants.getInstance();
224                                    
225                  Database db = new Database(conf);                  Database db = new Database(conf);
226                                    
227                                    
228    
229                                    
230                                    boolean testRun= false;
231                                    
232                                    
233                  long start = System.currentTimeMillis();                  long start = System.currentTimeMillis();
234                                    
235                  logger.info("Finder postnumre");                  if (testRun == false) {
                 List<Integer> postnumre = db.hentPostnumre();  
                   
                 // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen  
                 for(Integer postnr : postnumre) { //  
                         logger.info("Validerer BBox for " + postnr);  
                         BoundingBox bbox = db.getBoundingbox(postnr);  
                         bbox.validateBbox();  
                 }  
                   
236                                    
237                  //pre-check er ok - reset tmp tabel og start søgningen                          logger.info("Finder postnumre");
238                  db.resetResultTable();                          List<Integer> postnumre = db.hentPostnumre();
239                                            
240                  for(Integer postnr : postnumre) {                          // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen
241                          Lookup lookup = new Lookup(postnr, db);                          for(Integer postnr : postnumre) { //
242                          lookup.doLookup();                                                        logger.info("Validerer BBox for " + postnr);
243                  }                                  BoundingBox bbox = db.getBoundingbox(postnr);
244                                                    bbox.validateBbox();
245                  if (rename_tables) {                          }
246                          db.renameResultTables();                          
247                            if (consts.doExtendedLookup()) {
248                                    logger.info("Henter alle daekkede adresser");
249                                    alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
250                                    logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);
251                            }
252                            
253                            
254                            //pre-check er ok - reset tmp tabel og start søgningen
255                            db.resetResultTable();
256                            
257                            for(Integer postnr : postnumre) {
258                                    Lookup lookup = new Lookup(postnr, db);
259                                    lookup.doLookup();                      
260                            }
261                            
262                            if (rename_tables) {
263                                    db.renameResultTables();
264                            } else {
265                                    logger.info( "Rename tables is disabled !!!" );
266                            }
267                            
268            
269    
270                  } else {                  } else {
271                          logger.info( "Rename tables is disabled !!!" );                          /// Test
272                            db.resetResultTable();
273                            
274                            if (consts.doExtendedLookup()) {
275                                    alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
276                                    logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);
277                            }
278                            
279                            Lookup lookup = new Lookup(4583, db);
280                            lookup.doLookup();                                                              
281                  }                  }
282                                    
283                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
284                    long elapsed = now - start ;
285                    
286                    logger.info("Mest brugte tid: " + mestBrugteTid);
287                  logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);                  logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);
288                  logger.info("Flest Dækkede, " + flestDaekkede);                  logger.info("Flest Dækkede, " + flestDaekkede);
289                  logger.info("Fuld load done : " + (now-start) );                  logger.info("Største Dataset, " + stoersteDataset);            
290                    logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );
291            }
292            
293            
294            static String formatMilliSeconds(long milliseconds) {
295                    int mseconds = (int) milliseconds % 1000;
296                    int seconds = (int) (milliseconds / 1000) % 60 ;
297                    int minutes = (int) ((milliseconds / (1000*60)) % 60);
298                    int hours   = (int) ((milliseconds / (1000*60*60)) % 24);
299                                    
300                  /*                  return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);
                 /// Test  
                 db.resetResultTable();  
                 Lookup lookup = new Lookup(2750, db);  
                 lookup.doLookup();                
                 long now = System.currentTimeMillis();  
                 logger.info("Fuld load done : " + (now-start) );*/  
301          }          }
302                                    
303  }  }
Legend:
Removed from v.2214  
changed lines
  Added in v.2232
  ViewVC Help
Powered by ViewVC 1.1.20