/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2232 by torben, Wed Oct 8 08:57:59 2014 UTC revision 2424 by torben, Tue Mar 3 08:52:39 2015 UTC
# Line 1  Line 1 
1  package dk.daoas.fulddaekning;  package dk.daoas.fulddaekning;
2    
 import java.io.File;  
 import java.io.FileReader;  
 import java.util.List;  
3  import java.util.Map;  import java.util.Map;
4  import java.util.Queue;  import java.util.Queue;
5  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
6  import java.util.logging.FileHandler;  import java.util.concurrent.CyclicBarrier;
7    import java.util.concurrent.ThreadPoolExecutor;
8  import java.util.logging.Level;  import java.util.logging.Level;
9  import java.util.logging.Logger;  import java.util.logging.Logger;
 import java.util.logging.SimpleFormatter;  
10    
11  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;
12    
13  public class Lookup {  public class Lookup {
14    
         static final String CONFIG_FILENAME = "fulddaekning.properties";  
   
         static int max_workers;  
         static boolean verbose;  
15                    
         static boolean rename_tables;  
         static String distributor;  
16                    
17          static SafeProperties conf;          final static Logger logger = Logger.getLogger( Lookup.class.toString() );
         static Logger logger = Logger.getLogger( Lookup.class.toString() );  
18                    
19          int postnr;          int postnr;
20          Database db;          Database db;
21                                    
22          Adresse daekkedeAdresser[];          Adresse daekkedeAdresser[];
23            Adresse udvidetDaekkedeAdresser[];
24          Queue<Adresse> queue;          Queue<Adresse> queue;
25                    
26          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
27    
28            ThreadPoolExecutor threadPool;  
29                    
30          static Statistik flestDaekkede = new Statistik();          CyclicBarrier barrier;
         static Statistik flestIkkeDaekkede = new Statistik();  
         static Statistik mestBrugteTid = new Statistik();  
         static Statistik stoersteDataset = new Statistik();  
           
         static Adresse[] alleDaekkedeAdresser;  
           
           
         static class Statistik {  
                 int postnr;  
                 int antalDaekkede = 0;  
                 int antalIkkeDaekkede = 0;  
                 int totalDataset = 0;            
                 long forbrugtTid = 0;  
31    
32                                    
                 @Override  
                 public String toString() {  
                         return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede="  + antalDaekkede + " forbrugtTid=" + forbrugtTid + " totalDataset=" + totalDataset;  
                 }  
         }  
           
33                    
34          public Lookup(int postnr, Database db) {          public Lookup(int postnr, Database db, ThreadPoolExecutor threadPool) {
35                  this.postnr = postnr;                  this.postnr = postnr;
36                  this.db = db;                  this.db = db;
37                    this.threadPool = threadPool;
38          }          }
39                    
40          public static void saveStatistics(Statistik stat) {  
                 if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {  
                         flestDaekkede = stat;  
                 }  
                 if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {  
                         flestIkkeDaekkede = stat;  
                 }  
                   
                 if (stat.totalDataset > mestBrugteTid.totalDataset) {  
                         stoersteDataset = stat;  
                 }  
                   
                 if (stat.forbrugtTid > mestBrugteTid.forbrugtTid) {  
                         mestBrugteTid = stat;  
                 }  
         }  
41                    
42          public void doLookup() throws BoundingBoxException {          public void doLookup() throws BoundingBoxException {
43                  logger.info("Starting for postnr=" + postnr);                  logger.info("Starting for postnr=" + postnr);
44                                    
45                  Statistik stat = new Statistik();                  Statistik stat = new Statistik();
46                    
47                    Constants consts = Constants.getInstance();
48                                                                    
49                  long start1 = System.currentTimeMillis();                                long start1 = System.currentTimeMillis();              
50                  long start2 = 0;                  long start2 = 0;
51                                    
52                    barrier = new CyclicBarrier(LookupMain.max_workers + 1);
53                    
54                  try {                  try {
55                                                    
56                          logger.info("Henter _ikke_ daekkede adresser i " + postnr);                          logger.info("Henter _ikke_ daekkede adresser i " + postnr);
57                          queue = db.hentIkkedaekkedeAdresser(postnr);                          queue = db.hentIkkedaekkedeAdresserCache(postnr);
58                          if (queue.size() == 0) {                          if (queue.size() == 0) {
59                                  logger.info("Fandt ikke nogen _ikke_ daekkede adresser i " + postnr);                                  logger.info("Fandt ikke nogen _ikke_ daekkede adresser i " + postnr);
60                                    return;
61                          }                          }
62                                                    
63                          BoundingBox bbox = db.getBoundingbox(postnr);                          BoundingBox bbox = db.getBoundingbox(postnr);
64                          bbox.validateBbox();                          bbox.validateBbox();
65                                                    
66                            BoundingBox udvidetBbox = db.getBoundingbox(postnr);
67                            udvidetBbox.adjustToMargin( consts.getMaxDistance() );
68                            
69                            logger.info("Henter udvidet daekkede adresser i " + postnr);
70                            udvidetDaekkedeAdresser = db.hentDaekkedeAdresserCache(udvidetBbox);
71    
72                            
73                          logger.info("Bbox=" + bbox);                          logger.info("Bbox=" + bbox);
74                          bbox.adjustToMargin();                          bbox.adjustToMargin( consts.getKmMargin() );
75                          logger.info("Bbox Adjusted=" + bbox);                          logger.info("Bbox Adjusted=" + bbox);
76                                                    
77                          logger.info("Henter daekkede adresser i " + postnr);                          logger.info("Henter daekkede adresser i " + postnr);
78                          daekkedeAdresser = db.hentDaekkedeAdresser(bbox);                          daekkedeAdresser = db.hentDaekkedeAdresserCache(bbox,udvidetDaekkedeAdresser);
79                            
80                                                    
81                            
82                                                    
83                          stat.postnr = postnr;                          stat.postnr = postnr;
84                          stat.antalDaekkede = daekkedeAdresser.length;                          stat.antalDaekkede = daekkedeAdresser.length;
# Line 115  public class Lookup { Line 89  public class Lookup {
89                          logger.info("Starter beregning for " + postnr);                          logger.info("Starter beregning for " + postnr);
90                          start2 = System.currentTimeMillis();                          start2 = System.currentTimeMillis();
91                                                                                                                                                                                                                                    
92                          for (int i =0; i<max_workers; i++) {                          for (int i =0; i < LookupMain.max_workers; i++) {
93                                  LookupWorker worker = new LookupWorker(i, this);                                  LookupWorker worker = new LookupWorker(i, this, barrier);
94                                  Thread t = new Thread(worker);                                  threadPool.submit(worker);
                                 t.start();  
                                   
                                 workers.put(i, worker);  
95                          }                          }
96                                                    
97                          while (workers.size() > 0) {                          barrier.await();
                                 Thread.sleep(10);//wait for worker threads  
                         }  
98                                                    
99                          db.saveBatch();//Save any unsaved rows                          db.saveBatch();//Save any unsaved rows
100                                                    
# Line 142  public class Lookup { Line 111  public class Lookup {
111                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
112                                    
113                  stat.forbrugtTid = (now-start1);                  stat.forbrugtTid = (now-start1);
114                  saveStatistics(stat);                  LookupMain.saveStatistics(stat);
115    
116                  logger.info( stat.toString() );                  logger.info( stat.toString() );
117                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);
118          }          }
119                    
         public void shutdownWorker(int workerid) {  
                 logger.info("Shutting down worker: " + workerid);  
                 LookupWorker key = workers.remove(workerid);  
                   
                 if (key == null) {  
                         System.out.println("Error removing worker from set");  
                         System.exit(0);  
                 }  
         }  
120                    
121          // Getters and setters          // Getters and setters
122                                    
# Line 170  public class Lookup { Line 130  public class Lookup {
130          public Adresse[] getDaekkedeAdresser() {          public Adresse[] getDaekkedeAdresser() {
131                  return daekkedeAdresser;                  return daekkedeAdresser;
132          }          }
133            public Adresse[] getUdvidetDaekkedeAdresser() {
134          public Queue<Adresse> getQueue() {                  return udvidetDaekkedeAdresser;
                 return queue;  
135          }          }
   
   
           
136                    
137                    
           
         /////////////////////////////  
         // Static functions  
   
   
138    
139                    public Queue<Adresse> getQueue() {
140          public static void main(String[] args) throws Exception {                  return queue;
141                            }
                 //Setup j.u.l Logger  
                 Logger root = Logger.getLogger("");  
                 FileHandler fhandler = new FileHandler("fulddaekning.log"); // Ingen max størrelse, ingen rotation og ingen append  
                 fhandler.setFormatter( new SimpleFormatter() );  
                 root.addHandler( fhandler );  
                   
                   
                   
                   
                 File confFile = new File( CONFIG_FILENAME );  
                 if (! confFile.exists() ) {  
                         logger.warning("Config file not found: " + CONFIG_FILENAME);  
                         System.exit(1);  
                 }  
                                   
                 conf = new SafeProperties();  
                 conf.load( new FileReader(confFile) );  
                   
                 max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );  
                 logger.info("Starting with MAX_WORKERS:" + max_workers);  
                   
                 verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );  
                 logger.info("Starting with VERBOSE:" + verbose);  
                   
                 rename_tables = Boolean.parseBoolean( conf.getSafeProperty("RENAMETABLES") );  
                 logger.info("Starting with RENAMETABLES:" + rename_tables);  
                   
                 distributor = conf.getSafeProperty("DISTRIBUTOR");  
                 distributor = distributor.toUpperCase();  
                 logger.info("Starting for DISTRIBUTOR:" + distributor);  
                   
                 Constants.init(distributor);  
                 Constants consts = Constants.getInstance();  
                   
                 Database db = new Database(conf);  
                   
                   
142    
                   
                 boolean testRun= false;  
                   
                   
                 long start = System.currentTimeMillis();  
                   
                 if (testRun == false) {  
                   
                         logger.info("Finder postnumre");  
                         List<Integer> postnumre = db.hentPostnumre();  
                           
                         // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen  
                         for(Integer postnr : postnumre) { //  
                                 logger.info("Validerer BBox for " + postnr);  
                                 BoundingBox bbox = db.getBoundingbox(postnr);  
                                 bbox.validateBbox();  
                         }  
                           
                         if (consts.doExtendedLookup()) {  
                                 logger.info("Henter alle daekkede adresser");  
                                 alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();  
                                 logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);  
                         }  
                           
                           
                         //pre-check er ok - reset tmp tabel og start søgningen  
                         db.resetResultTable();  
                           
                         for(Integer postnr : postnumre) {  
                                 Lookup lookup = new Lookup(postnr, db);  
                                 lookup.doLookup();                        
                         }  
                           
                         if (rename_tables) {  
                                 db.renameResultTables();  
                         } else {  
                                 logger.info( "Rename tables is disabled !!!" );  
                         }  
                           
           
143    
                 } else {  
                         /// Test  
                         db.resetResultTable();  
                           
                         if (consts.doExtendedLookup()) {  
                                 alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();  
                                 logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);  
                         }  
                           
                         Lookup lookup = new Lookup(4583, db);  
                         lookup.doLookup();                                                                
                 }  
                   
                 long now = System.currentTimeMillis();  
                 long elapsed = now - start ;  
                   
                 logger.info("Mest brugte tid: " + mestBrugteTid);  
                 logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);  
                 logger.info("Flest Dækkede, " + flestDaekkede);  
                 logger.info("Største Dataset, " + stoersteDataset);              
                 logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );  
         }  
           
           
         static String formatMilliSeconds(long milliseconds) {  
                 int mseconds = (int) milliseconds % 1000;  
                 int seconds = (int) (milliseconds / 1000) % 60 ;  
                 int minutes = (int) ((milliseconds / (1000*60)) % 60);  
                 int hours   = (int) ((milliseconds / (1000*60*60)) % 24);  
                   
                 return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);  
         }  
                   
144  }  }
Legend:
Removed from v.2232  
changed lines
  Added in v.2424
  ViewVC Help
Powered by ViewVC 1.1.20