/[projects]/dao/FuldDaekningWorker/src/main/java/dk/daoas/fulddaekning/LookupMain.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/main/java/dk/daoas/fulddaekning/LookupMain.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/LookupMain.java revision 2422 by torben, Tue Mar 3 08:14:09 2015 UTC dao/FuldDaekningWorker/src/main/java/dk/daoas/fulddaekning/LookupMain.java revision 2742 by torben, Wed Oct 7 06:59:07 2015 UTC
# Line 2  package dk.daoas.fulddaekning; Line 2  package dk.daoas.fulddaekning;
2    
3  import java.io.File;  import java.io.File;
4  import java.io.FileReader;  import java.io.FileReader;
5    import java.util.HashMap;
6    import java.util.List;
7    import java.util.Map;
8    import java.util.Queue;
9  import java.util.Set;  import java.util.Set;
10    import java.util.concurrent.CyclicBarrier;
11  import java.util.concurrent.Executors;  import java.util.concurrent.Executors;
12  import java.util.concurrent.ThreadFactory;  import java.util.concurrent.ThreadFactory;
13  import java.util.concurrent.ThreadPoolExecutor;  import java.util.concurrent.ThreadPoolExecutor;
14    import java.util.concurrent.atomic.AtomicInteger;
15  import java.util.logging.FileHandler;  import java.util.logging.FileHandler;
16  import java.util.logging.Logger;  import java.util.logging.Logger;
17  import java.util.logging.SimpleFormatter;  import java.util.logging.SimpleFormatter;
18    
19    import com.jwetherell.algorithms.data_structures.KdTree;
20    
21    
22  public class LookupMain {  public class LookupMain {
23    
24    
25          static final String CONFIG_FILENAME = "fulddaekning.properties";          static final String CONFIG_FILENAME = "fulddaekning.properties";
26            
27          static boolean rename_tables;          static boolean test_mode;
28          static SafeProperties conf;          static SafeProperties conf;
29            
30          static int max_workers;          static int max_workers;
31          static boolean verbose;          static boolean verbose;
32            
33          static String distributor;          static String distributor;
34    
35          final static Logger logger = Logger.getLogger( LookupMain.class.toString() );          final static Logger logger = Logger.getLogger( LookupMain.class.toString() );
36            
           
         static Statistik flestDaekkede = new Statistik();  
         static Statistik flestIkkeDaekkede = new Statistik();  
         static Statistik mestBrugteTid = new Statistik();  
         static Statistik stoersteDataset = new Statistik();  
           
         private static Adresse[] alleDaekkedeAdresser;  
37    
38          static ThreadPoolExecutor threadPool;          static ThreadPoolExecutor threadPool;
39    
40          private static void setupThreadPool() {          private static void setupThreadPool() {  
41                  threadPool = (ThreadPoolExecutor) Executors.newFixedThreadPool(max_workers, new WorkerThreadFactory() );                  threadPool = (ThreadPoolExecutor) Executors.newFixedThreadPool(max_workers, new WorkerThreadFactory() );        
42          }          }
43            
44            
45    
46          public static void main(String[] args) throws Exception {          public static void main(String[] args) throws Exception {
47                    
48                  //Setup j.u.l Logger                  //Setup j.u.l Logger
49                  Logger root = Logger.getLogger("");                  Logger root = Logger.getLogger("");
50                  FileHandler fhandler = new FileHandler("fulddaekning.log"); // Ingen max størrelse, ingen rotation og ingen append                  FileHandler fhandler = new FileHandler("fulddaekning.log"); // Ingen max størrelse, ingen rotation og ingen append
51                  fhandler.setFormatter( new SimpleFormatter() );                  fhandler.setFormatter( new SimpleFormatter() );
52                  root.addHandler( fhandler );                  root.addHandler( fhandler );
53                    
54                    
55                    
56                    
57                  File confFile = new File( CONFIG_FILENAME );                  File confFile = new File( CONFIG_FILENAME );
58                  if (! confFile.exists() ) {                  if (! confFile.exists() ) {
59                          logger.warning("Config file not found: " + CONFIG_FILENAME);                          logger.warning("Config file not found: " + CONFIG_FILENAME);
60                          System.exit(1);                          System.exit(1);
61                  }                  }
62                                    
63                    int antalIkkeDaekkede = -1;
64                    
65                  conf = new SafeProperties();                  conf = new SafeProperties();
66                  conf.load( new FileReader(confFile) );                  conf.load( new FileReader(confFile) );
67                    
68                  max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );  
69                  if (max_workers <= 0) {  
                         logger.info("!!! AUTO-DETECT MAX_WORKERS !!!");  
                         int cores = Runtime.getRuntime().availableProcessors();  
                         cores -= 1;//Efterlad 1 core/cpu i reserve til systemet  
                           
                         max_workers = Math.max(1, cores); //Dog skal der som minimum være 1 core til beregning  
                           
                 }  
                 logger.info("Starting with MAX_WORKERS:" + max_workers);  
                 setupThreadPool();  
                   
                   
70                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );
71                  logger.info("Starting with VERBOSE:" + verbose);                  logger.info("Starting with VERBOSE:" + verbose);
72                    
73                  rename_tables = Boolean.parseBoolean( conf.getSafeProperty("RENAMETABLES") );                  test_mode = Boolean.parseBoolean( conf.getSafeProperty("TEST") );
74                  logger.info("Starting with RENAMETABLES:" + rename_tables);                  logger.info("Starting with TEST:" + test_mode);
75                    
76                  distributor = conf.getSafeProperty("DISTRIBUTOR");                  distributor = conf.getSafeProperty("DISTRIBUTOR");
77                  distributor = distributor.toUpperCase();                  distributor = distributor.toUpperCase();
78                  logger.info("Starting for DISTRIBUTOR:" + distributor);                  logger.info("Starting for DISTRIBUTOR:" + distributor);
79                    
80                  Constants.init(distributor);                  Constants.init(distributor);
81                  Constants consts = Constants.getInstance();                  Constants consts = Constants.getInstance();
82    
83                    max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );  
84                    if (max_workers <= 0) {  
85                            logger.info("!!! AUTO-DETECT MAX_WORKERS !!!");  
86                            int cores = Runtime.getRuntime().availableProcessors();  
87                            cores -= 1;//Efterlad 1 core/cpu i reserve til systemet  
88    
89                            max_workers = Math.max(1, cores); //Dog skal der som minimum være 1 core til beregning  
90    
91                    }        
92                    if (test_mode) {
93                            max_workers = 1;
94                    }
95                    logger.info("Starting with MAX_WORKERS:" + max_workers);        
96                    setupThreadPool();
97    
98                                    
99                  Database db = new Database(conf);                  Database db = new Database(conf);
100                  db.hentAlleIkkedaekkedeAdresser(consts.getMinPostnr(), consts.getMaxPostnr() );                  Queue<Adresse> ikkeDaekkede = db.hentAlleIkkedaekkedeAdresser(consts.getMinPostnr(), consts.getMaxPostnr() );
101                    antalIkkeDaekkede = ikkeDaekkede.size();
102                    logger.info("Antal ikke-daekkede: " + antalIkkeDaekkede );
103    
104    
105    
                   
106                  boolean testRun= false;                  boolean testRun= false;
107                    
108                                    AtomicInteger antalFundne = new AtomicInteger(0);
109    
110                    long beregnStart =0;
111                  long start = System.currentTimeMillis();                  long start = System.currentTimeMillis();
112                                    int antalDaekkedeAdresser = -1;
113    
114                  if (testRun == false) {                  if (testRun == false) {
115                    
116                          logger.info("Finder postnumre");                          logger.info("Finder postnumre");
117                          Set<Integer> postnumre = db.hentPostnumreCache();                          Set<Short> postnumre = db.hentPostnumreCache();
118                            
119                          // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen                          // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen
120                          for(int postnr : postnumre) { //                          for(short postnr : postnumre) { //
121                                  logger.info("Validerer BBox for " + postnr);                                  logger.info("Validerer BBox for " + postnr);
122                                  BoundingBox bbox = db.getBoundingbox(postnr);                                  BoundingBox bbox = db.getBoundingbox(postnr);
123                                  bbox.validateBbox();                                  bbox.validateBbox();
124                          }                          }
125                            
126    
127                          logger.info("Henter alle daekkede adresser");                          logger.info("Henter alle daekkede adresser");
128                          alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();                          antalDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
129                          logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);                                              logger.info( "AlleDaekkedeAdresser.length=" + antalDaekkedeAdresser );
130                            
131                          //pre-check er ok - reset tmp tabel og start søgningen                          Map<Short, List<Adresse>> addrHoList = db.getDaekkedeAdresserHO();
132    
133                            Map<Short, KdTree<Adresse>> hoTrees = new HashMap<Short,KdTree<Adresse>>();
134    
135                            for ( Map.Entry<Short, List<Adresse>> entry : addrHoList.entrySet() ) {
136                                    short ho = entry.getKey();
137                                    List<Adresse> geopoints = entry.getValue();
138    
139                                    logger.info("Opbygger KDTree for " + ho + " - antal=" + geopoints.size() );
140    
141                                    @SuppressWarnings("unchecked")
142                                    List<KdTree.XYZPoint> tmpPoints = (List<KdTree.XYZPoint>)(List<?>) geopoints;
143    
144                                    KdTree<Adresse> addressTree = new KdTree<Adresse>( tmpPoints );
145                                    hoTrees.put(ho, addressTree);                          
146                            }
147    
148                          db.resetResultTable();                          db.resetResultTable();
149    
150                            beregnStart = System.currentTimeMillis();
151                            logger.info("Starter beregning");
152    
153                            //pre-check er ok - reset tmp tabel og start søgningen
154                            
155                            CyclicBarrier barrier = new CyclicBarrier(LookupMain.max_workers + 1);
156                                                    
157                          for(int postnr : postnumre) {                          for (int i=0; i<max_workers; i++) {
158                                  Lookup lookup = new Lookup(postnr, db, threadPool);                                  LookupWorker worker = new LookupWorker(i, barrier, ikkeDaekkede, hoTrees,antalFundne,db,verbose,consts);
159                                  lookup.doLookup();                                                        threadPool.submit( worker );
160                          }                          }
161                                                    
162                          if (rename_tables) {                          barrier.await(); // Afvent at workerne bliver færdige
163                            
164                            logger.info("Calc is done - cleaning up remaining bits");
165                            
166                            threadPool.shutdown(); //Calc is done now
167    
168    
169                            db.saveBatch();
170    
171                            if (test_mode == false) {
172                                  db.renameResultTables();                                  db.renameResultTables();
173                          } else {                          } else {
174                                  logger.info( "Rename tables is disabled !!!" );                                  logger.info( "Rename tables is disabled !!!" );
175                          }                          }
176                            
177            
178    
179                  } else {                  } else {
180                          /// Test                          /// Test
181                            /*
182                          db.resetResultTable();                          db.resetResultTable();
183                            
184    
185                          alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();                          alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
186                          logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);                          logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.size());
187    
188                                                    short post = (short) 2700;                      
189                          Lookup lookup = new Lookup(2700, db, threadPool);                          Lookup lookup = new Lookup(post, db, threadPool);
190                          lookup.doLookup();                                                                                        lookup.doLookup();*/                                                            
191                  }                  }
192    
193                  threadPool.shutdown();  
                   
194                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
195                  long elapsed = now - start ;                  long elapsed = now - start ;
196                                    long elapsedBeregn = now - beregnStart;
197                  logger.info("Mest brugte tid: " + mestBrugteTid);  
198                  logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);  
                 logger.info("Flest Dækkede, " + flestDaekkede);  
                 logger.info("Største Dataset, " + stoersteDataset);              
199                  logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );                  logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );
200          }                  logger.info("Fuld load done (beregning) : " + formatMilliSeconds(elapsedBeregn) );
201                    logger.info("Antal daekkede : " + antalDaekkedeAdresser );
202                    logger.info("Antal ikke-daekkede : " + antalIkkeDaekkede );
203                    logger.info("Heraf, antal fundne : " + antalFundne );
204    
205                            logger.info( String.format("Fandt adresser til : %.2f %%", (antalFundne.get() *100.0)/antalIkkeDaekkede ) );
206          public static void saveStatistics(Statistik stat) {                  //logger.info("Fandt adresser til : " + (antalFundne*100.0)/ikkeDaekkede.length + "%" );
                 if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {  
                         flestDaekkede = stat;  
                 }  
                 if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {  
                         flestIkkeDaekkede = stat;  
                 }  
                   
                 if (stat.totalDataset > mestBrugteTid.totalDataset) {  
                         stoersteDataset = stat;  
                 }  
                   
                 if (stat.forbrugtTid > mestBrugteTid.forbrugtTid) {  
                         mestBrugteTid = stat;  
                 }  
207          }          }
208    
209    
210    
211          static String formatMilliSeconds(long milliseconds) {          static String formatMilliSeconds(long milliseconds) {
212                  int mseconds = (int) milliseconds % 1000;                  int mseconds = (int) milliseconds % 1000;
213                  int seconds = (int) (milliseconds / 1000) % 60 ;                  int seconds = (int) (milliseconds / 1000) % 60 ;
214                  int minutes = (int) ((milliseconds / (1000*60)) % 60);                  int minutes = (int) ((milliseconds / (1000*60)) % 60);
215                  int hours   = (int) ((milliseconds / (1000*60*60)) % 24);                  int hours   = (int) ((milliseconds / (1000*60*60)) % 24);
216                    
217                  return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);                  return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);
218          }          }
219            
220          static class WorkerThreadFactory implements ThreadFactory {  
221                  int count = 0;          static class WorkerThreadFactory implements ThreadFactory {      
222                    int count = 0;  
223                  @Override  
224                  public Thread newThread(Runnable r) {                  @Override        
225                          return new Thread(r, "lookupWorker/" + count++);                  public Thread newThread(Runnable r) {    
226                  }                                return new Thread(r, "lookupWorker/" + count++);        
227                    }
228          }          }
229  }  }
Legend:
Removed from v.2422  
changed lines
  Added in v.2742
  ViewVC Help
Powered by ViewVC 1.1.20