/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2155 by torben, Thu May 8 09:12:00 2014 UTC revision 2330 by torben, Fri Feb 20 08:52:52 2015 UTC
# Line 1  Line 1 
1  package dk.daoas.fulddaekning;  package dk.daoas.fulddaekning;
2    
 import java.io.File;  
 import java.io.FileReader;  
 import java.util.ArrayList;  
 import java.util.List;  
3  import java.util.Map;  import java.util.Map;
 import java.util.Properties;  
4  import java.util.Queue;  import java.util.Queue;
5  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
6    import java.util.concurrent.CyclicBarrier;
7    import java.util.concurrent.ThreadPoolExecutor;
8  import java.util.logging.Level;  import java.util.logging.Level;
9  import java.util.logging.Logger;  import java.util.logging.Logger;
10    
11  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;
12    
13  public class Lookup {  public class Lookup {
14          static int max_workers;  
15          static boolean verbose;          
16                    
17          static Properties conf;          final static Logger logger = Logger.getLogger( Lookup.class.toString() );
         static Logger logger = Logger.getLogger( Lookup.class.toString() );  
18                    
19          int postnr;          int postnr;
20          Database db;          Database db;
21                                    
22          ArrayList<Adresse> daekkedeAdresser;          Adresse daekkedeAdresser[];
23          Queue<Adresse> queue;          Queue<Adresse> queue;
24                    
25          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
26    
27            ThreadPoolExecutor threadPool;  
28                    
29          static Statistik flestDaekkede = new Statistik();          CyclicBarrier barrier;
30          static Statistik flestIkkeDaekkede = new Statistik();  
31                            
           
         static class Statistik {  
                 int postnr;  
                 int antalDaekkede = 0;  
                 int antalIkkeDaekkede = 0;  
                   
                 @Override  
                 public String toString() {  
                         return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede="  + antalDaekkede;  
                 }  
         }  
           
32                    
33          public Lookup(int postnr, Database db) {          public Lookup(int postnr, Database db, ThreadPoolExecutor threadPool) {
34                  this.postnr = postnr;                  this.postnr = postnr;
35                  this.db = db;                  this.db = db;
36                    this.threadPool = threadPool;
37          }          }
38                    
39          public static void saveStatistics(Statistik stat) {  
                 if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {  
                         flestDaekkede = stat;  
                 }  
                 if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {  
                         flestIkkeDaekkede = stat;  
                 }                
         }  
40                    
41          public void doLookup() throws BoundingBoxException {          public void doLookup() throws BoundingBoxException {
42                  logger.info("Starting for postnr=" + postnr);                  logger.info("Starting for postnr=" + postnr);
43                                    
44                  Statistik stat = new Statistik();                  Statistik stat = new Statistik();
45                    
46                    Constants consts = Constants.getInstance();
47                                                                    
48                  long start1 = System.currentTimeMillis();                                long start1 = System.currentTimeMillis();              
49                  long start2 = 0;                  long start2 = 0;
50                                    
51                    barrier = new CyclicBarrier(LookupMain.max_workers + 1);
52                    
53                  try {                  try {
54                            
55                            logger.info("Henter _ikke_ daekkede adresser i " + postnr);
56                            queue = db.hentIkkedaekkedeAdresserCache(postnr);
57                            if (queue.size() == 0) {
58                                    logger.info("Fandt ikke nogen _ikke_ daekkede adresser i " + postnr);
59                                    return;
60                            }
61                            
62                          BoundingBox bbox = db.getBoundingbox(postnr);                          BoundingBox bbox = db.getBoundingbox(postnr);
63                          bbox.validateBbox();                          bbox.validateBbox();
64                                                    
65                          logger.info("Bbox=" + bbox);                          logger.info("Bbox=" + bbox);
66                          bbox.adjustToMargin();                          bbox.adjustToMargin( consts.getKmMargin() );
67                          logger.info("Bbox Adjusted=" + bbox);                          logger.info("Bbox Adjusted=" + bbox);
68                                                    
69                          logger.info("Henter daekkede adresser i " + postnr);                          logger.info("Henter daekkede adresser i " + postnr);
70                          daekkedeAdresser = db.hentDaekkedeAdresser(bbox);                          daekkedeAdresser = db.hentDaekkedeAdresserCache(bbox);
71                                                    
                         logger.info("Henter _ikke_ daekkede adresser i " + postnr);  
                         queue = db.hentIkkedaekkedeAdresser(postnr);  
72                                                    
73                          stat.postnr = postnr;                          stat.postnr = postnr;
74                          stat.antalDaekkede = daekkedeAdresser.size();                          stat.antalDaekkede = daekkedeAdresser.length;
75                          stat.antalIkkeDaekkede = queue.size();                          stat.antalIkkeDaekkede = queue.size();
76                                                    stat.totalDataset = stat.antalDaekkede * stat.antalIkkeDaekkede;
77                          saveStatistics(stat);                                                                          
                                                   
78                                                    
79                          logger.info("Starter beregning for " + postnr);                          logger.info("Starter beregning for " + postnr);
80                          start2 = System.currentTimeMillis();                          start2 = System.currentTimeMillis();
81                                                                                                                                                                                                                                    
82                          for (int i =0; i<max_workers; i++) {                          for (int i =0; i < LookupMain.max_workers; i++) {
83                                  LookupWorker worker = new LookupWorker(i, this);                                  LookupWorker worker = new LookupWorker(i, this, barrier);
84                                  Thread t = new Thread(worker);                                  threadPool.submit(worker);
                                 t.start();  
                                   
                                 workers.put(i, worker);  
85                          }                          }
86                                                    
87                          while (workers.size() > 0) {                          barrier.await();
88                                  Thread.sleep(10);//wait for worker threads                          
89                          }                          db.saveBatch();//Save any unsaved rows
90                                                    
91                                                    
92                  } catch(Exception e) {                  } catch(Exception e) {
# Line 115  public class Lookup { Line 100  public class Lookup {
100                  }                  }
101                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
102                                    
103                    stat.forbrugtTid = (now-start1);
104                    LookupMain.saveStatistics(stat);
105    
106                  logger.info( stat.toString() );                  logger.info( stat.toString() );
107                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);
108          }          }
109                    
         public void shutdownWorker(int workerid) {  
                 logger.info("Shutting down worker: " + workerid);  
                 workers.remove(workerid);  
         }  
110                    
111          // Getters and setters          // Getters and setters
112                                    
# Line 134  public class Lookup { Line 117  public class Lookup {
117    
118    
119    
120          public ArrayList<Adresse> getDaekkedeAdresser() {          public Adresse[] getDaekkedeAdresser() {
121                  return daekkedeAdresser;                  return daekkedeAdresser;
122          }          }
123    
# Line 143  public class Lookup { Line 126  public class Lookup {
126          }          }
127    
128    
           
           
           
           
         /////////////////////////////  
         // Static functions  
   
   
   
           
         public static void main(String[] args) throws Exception {  
                   
                 File confFile = new File("fulddaekning.properties");  
                 if (! confFile.exists() ) {  
                         logger.warning("Config file not found");  
                         System.exit(1);  
                 }  
                                   
                 conf = new Properties();  
                 conf.load( new FileReader(confFile) );  
                   
                 max_workers = Integer.parseInt( conf.getProperty("MAX_WORKERS") );  
                 logger.info("Starting with MAX_WORKERS:" + max_workers);  
                   
                 verbose = Boolean.parseBoolean( conf.getProperty("VERBOSE") );  
                 logger.info("Starting with VERBOSE:" + verbose);  
                   
                 Database db = new Database(conf);  
                   
                 db.resetResultTable();  
   
                   
                   
                   
                   
                 long start = System.currentTimeMillis();  
                   
                 logger.info("Finder postnumre");  
                 List<Integer> postnumre = db.hentPostnumre();  
                   
                 for(Integer postnr : postnumre) {  
                         Lookup lookup = new Lookup(postnr, db);  
                         lookup.doLookup();                        
                 }  
                   
                 long now = System.currentTimeMillis();  
   
                 logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);  
                 logger.info("Flest Dækkede, " + flestDaekkede);  
                 logger.info("Fuld load done : " + (now-start) );  
   
                   
                   
                 //Lookup lookup = new Lookup(7400, db);  
                 //lookup.doLookup();              
         }  
                   
129  }  }
Legend:
Removed from v.2155  
changed lines
  Added in v.2330
  ViewVC Help
Powered by ViewVC 1.1.20