--- dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java 2014/09/12 06:42:29 2214 +++ dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java 2014/10/08 08:57:59 2232 @@ -37,16 +37,23 @@ static Statistik flestDaekkede = new Statistik(); static Statistik flestIkkeDaekkede = new Statistik(); + static Statistik mestBrugteTid = new Statistik(); + static Statistik stoersteDataset = new Statistik(); + + static Adresse[] alleDaekkedeAdresser; static class Statistik { int postnr; int antalDaekkede = 0; int antalIkkeDaekkede = 0; + int totalDataset = 0; + long forbrugtTid = 0; + @Override public String toString() { - return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede=" + antalDaekkede; + return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede=" + antalDaekkede + " forbrugtTid=" + forbrugtTid + " totalDataset=" + totalDataset; } } @@ -62,7 +69,15 @@ } if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) { flestIkkeDaekkede = stat; - } + } + + if (stat.totalDataset > mestBrugteTid.totalDataset) { + stoersteDataset = stat; + } + + if (stat.forbrugtTid > mestBrugteTid.forbrugtTid) { + mestBrugteTid = stat; + } } public void doLookup() throws BoundingBoxException { @@ -74,6 +89,13 @@ long start2 = 0; try { + + logger.info("Henter _ikke_ daekkede adresser i " + postnr); + queue = db.hentIkkedaekkedeAdresser(postnr); + if (queue.size() == 0) { + logger.info("Fandt ikke nogen _ikke_ daekkede adresser i " + postnr); + } + BoundingBox bbox = db.getBoundingbox(postnr); bbox.validateBbox(); @@ -84,15 +106,11 @@ logger.info("Henter daekkede adresser i " + postnr); daekkedeAdresser = db.hentDaekkedeAdresser(bbox); - logger.info("Henter _ikke_ daekkede adresser i " + postnr); - queue = db.hentIkkedaekkedeAdresser(postnr); - stat.postnr = postnr; stat.antalDaekkede = daekkedeAdresser.length; stat.antalIkkeDaekkede = queue.size(); - - saveStatistics(stat); - + stat.totalDataset = stat.antalDaekkede * stat.antalIkkeDaekkede; + logger.info("Starter beregning for " + postnr); start2 = System.currentTimeMillis(); @@ -109,6 +127,8 @@ Thread.sleep(10);//wait for worker threads } + db.saveBatch();//Save any unsaved rows + } catch(Exception e) { logger.log(Level.WARNING, "Exception during lookup", e); @@ -121,6 +141,8 @@ } long now = System.currentTimeMillis(); + stat.forbrugtTid = (now-start1); + saveStatistics(stat); logger.info( stat.toString() ); logger.info("Done! elapsed=" + (now-start1) + "/" + (now-start2) + " postnr=" + postnr); @@ -175,7 +197,6 @@ - File confFile = new File( CONFIG_FILENAME ); if (! confFile.exists() ) { logger.warning("Config file not found: " + CONFIG_FILENAME); @@ -196,58 +217,87 @@ distributor = conf.getSafeProperty("DISTRIBUTOR"); distributor = distributor.toUpperCase(); + logger.info("Starting for DISTRIBUTOR:" + distributor); + Constants.init(distributor); - + Constants consts = Constants.getInstance(); Database db = new Database(conf); - + boolean testRun= false; long start = System.currentTimeMillis(); - logger.info("Finder postnumre"); - List postnumre = db.hentPostnumre(); - - // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen - for(Integer postnr : postnumre) { // - logger.info("Validerer BBox for " + postnr); - BoundingBox bbox = db.getBoundingbox(postnr); - bbox.validateBbox(); - } - + if (testRun == false) { - //pre-check er ok - reset tmp tabel og start søgningen - db.resetResultTable(); - - for(Integer postnr : postnumre) { - Lookup lookup = new Lookup(postnr, db); - lookup.doLookup(); - } - - if (rename_tables) { - db.renameResultTables(); + logger.info("Finder postnumre"); + List postnumre = db.hentPostnumre(); + + // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen + for(Integer postnr : postnumre) { // + logger.info("Validerer BBox for " + postnr); + BoundingBox bbox = db.getBoundingbox(postnr); + bbox.validateBbox(); + } + + if (consts.doExtendedLookup()) { + logger.info("Henter alle daekkede adresser"); + alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser(); + logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length); + } + + + //pre-check er ok - reset tmp tabel og start søgningen + db.resetResultTable(); + + for(Integer postnr : postnumre) { + Lookup lookup = new Lookup(postnr, db); + lookup.doLookup(); + } + + if (rename_tables) { + db.renameResultTables(); + } else { + logger.info( "Rename tables is disabled !!!" ); + } + + + } else { - logger.info( "Rename tables is disabled !!!" ); + /// Test + db.resetResultTable(); + + if (consts.doExtendedLookup()) { + alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser(); + logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length); + } + + Lookup lookup = new Lookup(4583, db); + lookup.doLookup(); } long now = System.currentTimeMillis(); - + long elapsed = now - start ; + + logger.info("Mest brugte tid: " + mestBrugteTid); logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede); logger.info("Flest Dækkede, " + flestDaekkede); - logger.info("Fuld load done : " + (now-start) ); - + logger.info("Største Dataset, " + stoersteDataset); + logger.info("Fuld load done : " + formatMilliSeconds(elapsed) ); + } + + + static String formatMilliSeconds(long milliseconds) { + int mseconds = (int) milliseconds % 1000; + int seconds = (int) (milliseconds / 1000) % 60 ; + int minutes = (int) ((milliseconds / (1000*60)) % 60); + int hours = (int) ((milliseconds / (1000*60*60)) % 24); - /* - /// Test - db.resetResultTable(); - Lookup lookup = new Lookup(2750, db); - lookup.doLookup(); - long now = System.currentTimeMillis(); - logger.info("Fuld load done : " + (now-start) );*/ + return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds); } }