/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2214 by torben, Fri Sep 12 06:42:29 2014 UTC revision 2259 by torben, Mon Feb 9 13:21:39 2015 UTC
# Line 1  Line 1 
1  package dk.daoas.fulddaekning;  package dk.daoas.fulddaekning;
2    
 import java.io.File;  
 import java.io.FileReader;  
 import java.util.List;  
3  import java.util.Map;  import java.util.Map;
4  import java.util.Queue;  import java.util.Queue;
5  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.*;
 import java.util.logging.FileHandler;  
6  import java.util.logging.Level;  import java.util.logging.Level;
7  import java.util.logging.Logger;  import java.util.logging.Logger;
 import java.util.logging.SimpleFormatter;  
8    
9  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;
10    
11  public class Lookup {  public class Lookup {
12    
         static final String CONFIG_FILENAME = "fulddaekning.properties";  
   
         static int max_workers;  
         static boolean verbose;  
13                    
         static boolean rename_tables;  
         static String distributor;  
14                    
15          static SafeProperties conf;          final static Logger logger = Logger.getLogger( Lookup.class.toString() );
         static Logger logger = Logger.getLogger( Lookup.class.toString() );  
16                    
17          int postnr;          String postnr;
18          Database db;          Database db;
19                                    
20          Adresse daekkedeAdresser[];          Adresse daekkedeAdresser[];
# Line 34  public class Lookup { Line 22  public class Lookup {
22                    
23          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
24    
25            ThreadPoolExecutor threadPool;  
26    
27                    
28                    
29          static Statistik flestDaekkede = new Statistik();          public Lookup(String postnr, Database db, ThreadPoolExecutor threadPool) {
         static Statistik flestIkkeDaekkede = new Statistik();  
           
           
         static class Statistik {  
                 int postnr;  
                 int antalDaekkede = 0;  
                 int antalIkkeDaekkede = 0;  
                   
                 @Override  
                 public String toString() {  
                         return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede="  + antalDaekkede;  
                 }  
         }  
           
           
         public Lookup(int postnr, Database db) {  
30                  this.postnr = postnr;                  this.postnr = postnr;
31                  this.db = db;                  this.db = db;
32                    this.threadPool = threadPool;
33          }          }
34                    
35          public static void saveStatistics(Statistik stat) {  
                 if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {  
                         flestDaekkede = stat;  
                 }  
                 if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {  
                         flestIkkeDaekkede = stat;  
                 }                
         }  
36                    
37          public void doLookup() throws BoundingBoxException {          public void doLookup() throws BoundingBoxException {
38                  logger.info("Starting for postnr=" + postnr);                  logger.info("Starting for postnr=" + postnr);
# Line 74  public class Lookup { Line 43  public class Lookup {
43                  long start2 = 0;                  long start2 = 0;
44                                    
45                  try {                  try {
46                            
47                            logger.info("Henter _ikke_ daekkede adresser i " + postnr);
48                            queue = db.hentIkkedaekkedeAdresser(postnr);
49                            if (queue.size() == 0) {
50                                    logger.info("Fandt ikke nogen _ikke_ daekkede adresser i " + postnr);
51                                    return;
52                            }
53                            
54                          BoundingBox bbox = db.getBoundingbox(postnr);                          BoundingBox bbox = db.getBoundingbox(postnr);
55                          bbox.validateBbox();                          bbox.validateBbox();
56                                                    
# Line 84  public class Lookup { Line 61  public class Lookup {
61                          logger.info("Henter daekkede adresser i " + postnr);                          logger.info("Henter daekkede adresser i " + postnr);
62                          daekkedeAdresser = db.hentDaekkedeAdresser(bbox);                          daekkedeAdresser = db.hentDaekkedeAdresser(bbox);
63                                                    
                         logger.info("Henter _ikke_ daekkede adresser i " + postnr);  
                         queue = db.hentIkkedaekkedeAdresser(postnr);  
                           
64                          stat.postnr = postnr;                          stat.postnr = postnr;
65                          stat.antalDaekkede = daekkedeAdresser.length;                          stat.antalDaekkede = daekkedeAdresser.length;
66                          stat.antalIkkeDaekkede = queue.size();                          stat.antalIkkeDaekkede = queue.size();
67                                                    stat.totalDataset = stat.antalDaekkede * stat.antalIkkeDaekkede;
68                          saveStatistics(stat);                                                                          
                                                   
69                                                    
70                          logger.info("Starter beregning for " + postnr);                          logger.info("Starter beregning for " + postnr);
71                          start2 = System.currentTimeMillis();                          start2 = System.currentTimeMillis();
72                                                                                                                                                                                                                                    
73                          for (int i =0; i<max_workers; i++) {                          for (int i =0; i < LookupMain.max_workers; i++) {
74                                  LookupWorker worker = new LookupWorker(i, this);                                  LookupWorker worker = new LookupWorker(i, this);
75                                  Thread t = new Thread(worker);                                  /*Thread t = new Thread(worker);
76                                  t.start();                                  t.start();
77                                                                    
78                                  workers.put(i, worker);                                  workers.put(i, worker);*/
79                          }                          }
80                                                    
81                          while (workers.size() > 0) {                          while (threadPool.getActiveCount() > 0) {
82                                  Thread.sleep(10);//wait for worker threads                                  Thread.sleep(10);//wait for worker threads
83                          }                          }
84                                                    
85                            db.saveBatch();//Save any unsaved rows
86                            
87                                                    
88                  } catch(Exception e) {                  } catch(Exception e) {
89                          logger.log(Level.WARNING, "Exception during lookup", e);                          logger.log(Level.WARNING, "Exception during lookup", e);
# Line 121  public class Lookup { Line 96  public class Lookup {
96                  }                  }
97                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
98                                    
99                    stat.forbrugtTid = (now-start1);
100                    LookupMain.saveStatistics(stat);
101    
102                  logger.info( stat.toString() );                  logger.info( stat.toString() );
103                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);
104          }          }
105                    
         public void shutdownWorker(int workerid) {  
                 logger.info("Shutting down worker: " + workerid);  
                 LookupWorker key = workers.remove(workerid);  
                   
                 if (key == null) {  
                         System.out.println("Error removing worker from set");  
                         System.exit(0);  
                 }  
         }  
106                    
107          // Getters and setters          // Getters and setters
108                                    
# Line 154  public class Lookup { Line 122  public class Lookup {
122          }          }
123    
124    
           
           
           
           
         /////////////////////////////  
         // Static functions  
   
   
   
           
         public static void main(String[] args) throws Exception {  
                   
                 //Setup j.u.l Logger  
                 Logger root = Logger.getLogger("");  
                 FileHandler fhandler = new FileHandler("fulddaekning.log"); // Ingen max størrelse, ingen rotation og ingen append  
                 fhandler.setFormatter( new SimpleFormatter() );  
                 root.addHandler( fhandler );  
                   
                   
                   
                   
                   
                 File confFile = new File( CONFIG_FILENAME );  
                 if (! confFile.exists() ) {  
                         logger.warning("Config file not found: " + CONFIG_FILENAME);  
                         System.exit(1);  
                 }  
                                   
                 conf = new SafeProperties();  
                 conf.load( new FileReader(confFile) );  
                   
                 max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );  
                 logger.info("Starting with MAX_WORKERS:" + max_workers);  
                   
                 verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );  
                 logger.info("Starting with VERBOSE:" + verbose);  
                   
                 rename_tables = Boolean.parseBoolean( conf.getSafeProperty("RENAMETABLES") );  
                 logger.info("Starting with RENAMETABLES:" + rename_tables);  
                   
                 distributor = conf.getSafeProperty("DISTRIBUTOR");  
                 distributor = distributor.toUpperCase();  
                 Constants.init(distributor);  
   
                   
                 Database db = new Database(conf);  
                   
                   
   
                   
                   
                   
                   
                 long start = System.currentTimeMillis();  
                   
                 logger.info("Finder postnumre");  
                 List<Integer> postnumre = db.hentPostnumre();  
                   
                 // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen  
                 for(Integer postnr : postnumre) { //  
                         logger.info("Validerer BBox for " + postnr);  
                         BoundingBox bbox = db.getBoundingbox(postnr);  
                         bbox.validateBbox();  
                 }  
                   
                   
                 //pre-check er ok - reset tmp tabel og start søgningen  
                 db.resetResultTable();  
                   
                 for(Integer postnr : postnumre) {  
                         Lookup lookup = new Lookup(postnr, db);  
                         lookup.doLookup();                        
                 }  
                   
                 if (rename_tables) {  
                         db.renameResultTables();  
                 } else {  
                         logger.info( "Rename tables is disabled !!!" );  
                 }  
                   
                 long now = System.currentTimeMillis();  
   
                 logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);  
                 logger.info("Flest Dækkede, " + flestDaekkede);  
                 logger.info("Fuld load done : " + (now-start) );  
   
                   
                 /*  
                 /// Test  
                 db.resetResultTable();  
                 Lookup lookup = new Lookup(2750, db);  
                 lookup.doLookup();                
                 long now = System.currentTimeMillis();  
                 logger.info("Fuld load done : " + (now-start) );*/  
         }  
                   
125  }  }
Legend:
Removed from v.2214  
changed lines
  Added in v.2259
  ViewVC Help
Powered by ViewVC 1.1.20