/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2149 by torben, Wed Apr 30 14:18:43 2014 UTC revision 2424 by torben, Tue Mar 3 08:52:39 2015 UTC
# Line 1  Line 1 
1  package dk.daoas.fulddaekning;  package dk.daoas.fulddaekning;
2    
 import java.io.File;  
 import java.io.FileReader;  
3  import java.util.Map;  import java.util.Map;
4  import java.util.Properties;  import java.util.Queue;
5  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
6    import java.util.concurrent.CyclicBarrier;
7    import java.util.concurrent.ThreadPoolExecutor;
8  import java.util.logging.Level;  import java.util.logging.Level;
9  import java.util.logging.Logger;  import java.util.logging.Logger;
10    
11  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;
12    
13  public class Lookup {  public class Lookup {
14          static int max_workers;  
         static boolean verbose;  
15                    
         static Properties conf;  
         static Logger logger = Logger.getLogger( Lookup.class.toString() );  
16                    
17            final static Logger logger = Logger.getLogger( Lookup.class.toString() );
18            
19            int postnr;
20          Database db;          Database db;
21          WorkSet workset;                  
22            Adresse daekkedeAdresser[];
23            Adresse udvidetDaekkedeAdresser[];
24            Queue<Adresse> queue;
25                    
26          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
27    
28            ThreadPoolExecutor threadPool;  
29                    
30            CyclicBarrier barrier;
31    
32                    
33                    
34          public Lookup(WorkSet workset, Database db) {          public Lookup(int postnr, Database db, ThreadPoolExecutor threadPool) {
35                    this.postnr = postnr;
36                  this.db = db;                  this.db = db;
37                  this.workset = workset;                  this.threadPool = threadPool;
38          }          }
39                    
40            
41                    
42          public void doLookup() throws BoundingBoxException {          public void doLookup() throws BoundingBoxException {
43                  logger.info("Starting for postnr=" + workset.postnr);                            logger.info("Starting for postnr=" + postnr);
44                                    
45                    Statistik stat = new Statistik();
46                    
47                    Constants consts = Constants.getInstance();
48                                    
49                  long start1 = System.currentTimeMillis();                                long start1 = System.currentTimeMillis();              
50                  long start2 = 0;                  long start2 = 0;
51                                    
52                    barrier = new CyclicBarrier(LookupMain.max_workers + 1);
53                    
54                  try {                  try {
55                            
56                            logger.info("Henter _ikke_ daekkede adresser i " + postnr);
57                            queue = db.hentIkkedaekkedeAdresserCache(postnr);
58                            if (queue.size() == 0) {
59                                    logger.info("Fandt ikke nogen _ikke_ daekkede adresser i " + postnr);
60                                    return;
61                            }
62                            
63                            BoundingBox bbox = db.getBoundingbox(postnr);
64                            bbox.validateBbox();
65                            
66                            BoundingBox udvidetBbox = db.getBoundingbox(postnr);
67                            udvidetBbox.adjustToMargin( consts.getMaxDistance() );
68                            
69                            logger.info("Henter udvidet daekkede adresser i " + postnr);
70                            udvidetDaekkedeAdresser = db.hentDaekkedeAdresserCache(udvidetBbox);
71    
72                          logger.info("Starter beregning for " + workset.postnr);                          
73                            logger.info("Bbox=" + bbox);
74                            bbox.adjustToMargin( consts.getKmMargin() );
75                            logger.info("Bbox Adjusted=" + bbox);
76                            
77                            logger.info("Henter daekkede adresser i " + postnr);
78                            daekkedeAdresser = db.hentDaekkedeAdresserCache(bbox,udvidetDaekkedeAdresser);
79                            
80                                                    
81                            
82                            
83                            stat.postnr = postnr;
84                            stat.antalDaekkede = daekkedeAdresser.length;
85                            stat.antalIkkeDaekkede = queue.size();
86                            stat.totalDataset = stat.antalDaekkede * stat.antalIkkeDaekkede;
87                                                                            
88                            
89                            logger.info("Starter beregning for " + postnr);
90                          start2 = System.currentTimeMillis();                          start2 = System.currentTimeMillis();
91                                                                                                                                                                                                                                    
92                          for (int i =0; i<max_workers; i++) {                          for (int i =0; i < LookupMain.max_workers; i++) {
93                                  LookupWorker worker = new LookupWorker(i, this);                                  LookupWorker worker = new LookupWorker(i, this, barrier);
94                                  Thread t = new Thread(worker);                                  threadPool.submit(worker);
                                 t.start();  
                                   
                                 workers.put(i, worker);  
95                          }                          }
96                                                    
97                          while (workers.size() > 0) {                          barrier.await();
98                                  Thread.sleep(10);//wait for worker threads                          
99                          }                          db.saveBatch();//Save any unsaved rows
100                                                    
101                                                    
102                  } catch(Exception e) {                  } catch(Exception e) {
# Line 67  public class Lookup { Line 110  public class Lookup {
110                  }                  }
111                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
112                                    
113                    stat.forbrugtTid = (now-start1);
114                    LookupMain.saveStatistics(stat);
115    
116                  logger.info("Antal daekkede:" + workset.daekkedeAdresser.size() );                  logger.info( stat.toString() );
117                  logger.info("Antal ikke-daekkede:" + workset.queueSize );                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);
                 logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) );  
118          }          }
119                    
         public void shutdownWorker(int workerid) {  
                 logger.info("Shutting down worker: " + workerid);  
                 workers.remove(workerid);  
         }  
120                    
121          // Getters and setters          // Getters and setters
122                                    
# Line 84  public class Lookup { Line 124  public class Lookup {
124          public Database getDb() {          public Database getDb() {
125                  return db;                  return db;
126          }          }
           
         public WorkSet getWorkSet() {  
                 return workset;  
         }  
   
           
         /////////////////////////////  
         // Static functions  
127    
128    
129    
130            public Adresse[] getDaekkedeAdresser() {
131                    return daekkedeAdresser;
132            }
133            public Adresse[] getUdvidetDaekkedeAdresser() {
134                    return udvidetDaekkedeAdresser;
135            }
136            
137                    
         public static void main(String[] args) throws Exception {  
                   
                 File confFile = new File("fulddaekning.properties");  
                 if (! confFile.exists() ) {  
                         logger.warning("Config file not found");  
                         System.exit(1);  
                 }  
                                   
                 conf = new Properties();  
                 conf.load( new FileReader(confFile) );  
                   
                 max_workers = Integer.parseInt( conf.getProperty("MAX_WORKERS") );  
                 logger.info("Starting with MAX_WORKERS:" + max_workers);  
                   
                 verbose = Boolean.parseBoolean( conf.getProperty("VERBOSE") );  
                 logger.info("Starting with VERBOSE:" + verbose);  
                   
                 Database db = new Database(conf);  
                 db.resetResultTable();  
138    
139                            public Queue<Adresse> getQueue() {
140                  InputWorker inputWorker = new InputWorker(db);                  return queue;
                 Thread inputThread = new Thread(inputWorker);  
                 inputThread.start();  
                   
                   
                 long start = System.currentTimeMillis();  
                 boolean doContinue = true;  
                   
                 while (inputWorker.queue.isEmpty() == true) {  
                         Thread.sleep(3); //Vent indtil at første arbejds sæt er på plads  
                 }  
                   
                   
                 while ( doContinue == true ) {  
                         WorkSet set = inputWorker.queue.poll();  
                           
                         if (set != null) {  
                                 Lookup lookup = new Lookup(set, db);  
                                 lookup.doLookup();                                
                         } else {  
                                 System.out.println("Buffer underrun");  
                                 Thread.sleep(100);  
                         }  
                           
                         if ( inputWorker.isDone == true && inputWorker.queue.isEmpty() == true)  
                                 doContinue = false;  
                 }  
                   
                 /*logger.info("Finder postnumre");  
                 List<Integer> postnumre = db.hentPostnumre();  
                   
                 for(Integer postnr : postnumre) {  
                         Lookup lookup = new Lookup(postnr, db);  
                         lookup.doLookup();                        
                 }*/  
                   
                 long now = System.currentTimeMillis();  
                   
                 logger.info("Largest workset: " + inputWorker.largestWorkSetPostnr + "=" + inputWorker.largestWorkSetCount);  
                 logger.info("Fuld load done : " + (now-start) );  
                   
                   
                 //Lookup lookup = new Lookup(7400, db);  
                 //lookup.doLookup();              
141          }          }
           
142    
143            
144  }  }
Legend:
Removed from v.2149  
changed lines
  Added in v.2424
  ViewVC Help
Powered by ViewVC 1.1.20