/[projects]/dao/FuldDaekningWorker/src/main/java/dk/daoas/fulddaekning/LookupMain.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/main/java/dk/daoas/fulddaekning/LookupMain.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/LookupMain.java revision 2688 by torben, Mon Aug 31 09:35:29 2015 UTC dao/FuldDaekningWorker/src/main/java/dk/daoas/fulddaekning/LookupMain.java revision 2753 by torben, Thu Oct 15 15:34:27 2015 UTC
# Line 1  Line 1 
1  package dk.daoas.fulddaekning;  package dk.daoas.fulddaekning;
2    
 import geocode.GeoPoint;  
 import geocode.kdtree.KDTree;  
   
3  import java.io.File;  import java.io.File;
4  import java.io.FileReader;  import java.io.FileReader;
 import java.sql.SQLException;  
5  import java.util.HashMap;  import java.util.HashMap;
6  import java.util.List;  import java.util.List;
7  import java.util.Map;  import java.util.Map;
8    import java.util.Queue;
9  import java.util.Set;  import java.util.Set;
10    import java.util.concurrent.CyclicBarrier;
11    import java.util.concurrent.Executors;
12    import java.util.concurrent.ThreadFactory;
13    import java.util.concurrent.ThreadPoolExecutor;
14    import java.util.concurrent.atomic.AtomicInteger;
15  import java.util.logging.FileHandler;  import java.util.logging.FileHandler;
 import java.util.logging.Level;  
16  import java.util.logging.Logger;  import java.util.logging.Logger;
17  import java.util.logging.SimpleFormatter;  import java.util.logging.SimpleFormatter;
18    
19    import ags.utils.dataStructures.trees.thirdGenKD.KdTree;
20    
21    
22    
23  public class LookupMain {  public class LookupMain {
           
          static class LookupResult {  
                  double bedsteAfstand = 9999999.999;  
                  Adresse bedsteAdr = null;  
          }  
24    
25    
26          static final String CONFIG_FILENAME = "fulddaekning.properties";          static final String CONFIG_FILENAME = "fulddaekning.properties";
27            
28          static boolean rename_tables;          static boolean use_osrm;
29            static boolean test_mode;
30          static SafeProperties conf;          static SafeProperties conf;
31            
32          static int max_workers;          static int max_workers;
33          static boolean verbose;          static boolean verbose;
34            
35          static String distributor;          static String distributor;
36    
37          final static Logger logger = Logger.getLogger( LookupMain.class.toString() );          final static Logger logger = Logger.getLogger( LookupMain.class.toString() );
           
           
           
           
38    
39            
40                    static ThreadPoolExecutor threadPool;
41    
42            private static void setupThreadPool() {  
43                    threadPool = (ThreadPoolExecutor) Executors.newFixedThreadPool(max_workers, new WorkerThreadFactory() );        
44            }
45    
46    
47    
48          public static void main(String[] args) throws Exception {          public static void main(String[] args) throws Exception {
49                    
50                  //Setup j.u.l Logger                  //Setup j.u.l Logger
51                  Logger root = Logger.getLogger("");                  Logger root = Logger.getLogger("");
52                  FileHandler fhandler = new FileHandler("fulddaekning.log"); // Ingen max størrelse, ingen rotation og ingen append                  FileHandler fhandler = new FileHandler("fulddaekning.log"); // Ingen max størrelse, ingen rotation og ingen append
53                  fhandler.setFormatter( new SimpleFormatter() );                  fhandler.setFormatter( new SimpleFormatter() );
54                  root.addHandler( fhandler );                  root.addHandler( fhandler );
55                    
56                    
57                    
58                    
59                  File confFile = new File( CONFIG_FILENAME );                  File confFile = new File( CONFIG_FILENAME );
60                  if (! confFile.exists() ) {                  if (! confFile.exists() ) {
61                          logger.warning("Config file not found: " + CONFIG_FILENAME);                          logger.warning("Config file not found: " + CONFIG_FILENAME);
62                          System.exit(1);                          System.exit(1);
63                  }                  }
64                                    
65                    int antalIkkeDaekkede = -1;
66                    
67                  conf = new SafeProperties();                  conf = new SafeProperties();
68                  conf.load( new FileReader(confFile) );                  conf.load( new FileReader(confFile) );
69                    
70                    
71                    
72                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );
73                  logger.info("Starting with VERBOSE:" + verbose);                  logger.info("Starting with VERBOSE:" + verbose);
74                    
75                  rename_tables = Boolean.parseBoolean( conf.getSafeProperty("RENAMETABLES") );                  test_mode = Boolean.parseBoolean( conf.getSafeProperty("TEST") );
76                  logger.info("Starting with RENAMETABLES:" + rename_tables);                  logger.info("Starting with TEST:" + test_mode);
77                    
78                    use_osrm = Boolean.parseBoolean( conf.getSafeProperty("USE_OSRM") );
79                    logger.info("Starting with USE_OSRM:" + use_osrm);
80    
81                  distributor = conf.getSafeProperty("DISTRIBUTOR");                  distributor = conf.getSafeProperty("DISTRIBUTOR");
82                  distributor = distributor.toUpperCase();                  distributor = distributor.toUpperCase();
83                  logger.info("Starting for DISTRIBUTOR:" + distributor);                  logger.info("Starting for DISTRIBUTOR:" + distributor);
84                    
85                  Constants.init(distributor);                  Constants.init(distributor);
86                  Constants consts = Constants.getInstance();                  Constants consts = Constants.getInstance();
87    
88                    max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );  
89                    if (max_workers <= 0) {  
90                            logger.info("!!! AUTO-DETECT MAX_WORKERS !!!");  
91                            int cores = Runtime.getRuntime().availableProcessors();  
92                            cores -= 1;//Efterlad 1 core/cpu i reserve til systemet  
93    
94                            max_workers = Math.max(1, cores); //Dog skal der som minimum være 1 core til beregning  
95    
96                    }        
97                    if (test_mode) {
98                            max_workers = 1;
99                    }
100                    logger.info("Starting with MAX_WORKERS:" + max_workers);        
101                    setupThreadPool();
102    
103                                    
104                  Database db = new Database(conf);                  Database db = new Database(conf);
105                  Adresse ikkeDaekkede[] = db.hentAlleIkkedaekkedeAdresser(consts.getMinPostnr(), consts.getMaxPostnr() );                  Queue<Adresse> ikkeDaekkede = db.hentAlleIkkedaekkedeAdresser(consts.getMinPostnr(), consts.getMaxPostnr() );
106                  logger.info("Antal ikke-daekkede: " + ikkeDaekkede.length);                  antalIkkeDaekkede = ikkeDaekkede.size();
107                                    logger.info("Antal ikke-daekkede: " + antalIkkeDaekkede );
108    
109    
110    
111                  boolean testRun= false;                  boolean testRun= false;
112                    
113                  int antalFundne = 0;                  AtomicInteger antalFundne = new AtomicInteger(0);
114                    
115                                    long beregnStart =0;
116                  long start = System.currentTimeMillis();                  long start = System.currentTimeMillis();
                   
117                  int antalDaekkedeAdresser = -1;                  int antalDaekkedeAdresser = -1;
118                    
119                  if (testRun == false) {                  if (testRun == false) {
120                    
121                          logger.info("Finder postnumre");                          logger.info("Finder postnumre");
122                          Set<Short> postnumre = db.hentPostnumreCache();                          Set<Short> postnumre = db.hentPostnumreCache();
123                            
124                          // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen                          // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen
125                          for(short postnr : postnumre) { //                          for(short postnr : postnumre) { //
126                                  logger.info("Validerer BBox for " + postnr);                                  logger.info("Validerer BBox for " + postnr);
127                                  BoundingBox bbox = db.getBoundingbox(postnr);                                  BoundingBox bbox = db.getBoundingbox(postnr);
128                                  bbox.validateBbox();                                  bbox.validateBbox();
129                          }                          }
130                            
131    
132                          logger.info("Henter alle daekkede adresser");                          logger.info("Henter alle daekkede adresser");
133                          antalDaekkedeAdresser = db.hentAlleDaekkedeAdresser();                          antalDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
134                          logger.info( "AlleDaekkedeAdresser.length=" + antalDaekkedeAdresser );                          logger.info( "AlleDaekkedeAdresser.length=" + antalDaekkedeAdresser );
135                            
136                          Map<Short, List<GeoPoint>> addrHoList = db.getDaekkedeAdresserHO();                          Map<Short, List<Adresse>> addrHoList = db.getDaekkedeAdresserHO();
137                            
138                          Map<Short, KDTree<GeoPoint>> hoTrees = new HashMap<Short,KDTree<GeoPoint>>();                          Map<Short, KdTree<Adresse>> hoTrees = new HashMap<Short,KdTree<Adresse>>();
139                            
140                          for ( Map.Entry<Short, List<GeoPoint>> entry : addrHoList.entrySet() ) {                          for ( Map.Entry<Short, List<Adresse>> entry : addrHoList.entrySet() ) {
141                                  short ho = entry.getKey();                                  short ho = entry.getKey();
142                                  List<GeoPoint> geopoints = entry.getValue();                                  List<Adresse> geopoints = entry.getValue();
143                                    
144                                  logger.info("Opbygger KDTree for " + ho + " - antal=" + geopoints.size() );                                  logger.info("Opbygger KDTree for " + ho + " - antal=" + geopoints.size() );
145                                  KDTree<GeoPoint> addressTree = new KDTree<GeoPoint>( geopoints );  
146                                    int bucketSize = 96*12;
147    
148                                    KdTree<Adresse> addressTree = new KdTree<Adresse>( 3, bucketSize );
149                                    for(Adresse a: geopoints) {
150                                            addressTree.addPoint(a.xyz, a);
151                                    }
152                                    
153                                  hoTrees.put(ho, addressTree);                                                            hoTrees.put(ho, addressTree);                          
154                          }                          }
155                            
156                          db.resetResultTable();                          db.resetResultTable();
157                    
158                            beregnStart = System.currentTimeMillis();
159                          logger.info("Starter beregning");                          logger.info("Starter beregning");
160                    
                         final int workerId = -1;  
161                          //pre-check er ok - reset tmp tabel og start søgningen                          //pre-check er ok - reset tmp tabel og start søgningen
162                                                    
163                          for (Adresse qAdresse : ikkeDaekkede) {                          CyclicBarrier barrier = new CyclicBarrier(LookupMain.max_workers + 1);
                                   
                                 short ho = qAdresse.ho;  
                                 KDTree<GeoPoint> addressTree = hoTrees.get(ho);  
                                   
                                 LookupResult result = new LookupResult();  
                                 result.bedsteAdr = (Adresse) addressTree.findNearest(qAdresse);  
                                 result.bedsteAfstand = GeoPointHelper.beregnAfstand(qAdresse, result.bedsteAdr);  
164                                                    
165                            for (int i=0; i<max_workers; i++) {
166                                    LookupWorker worker = new LookupWorker(i, barrier, ikkeDaekkede, hoTrees,antalFundne,db,verbose,consts);
167                                    threadPool.submit( worker );
168                            }
169                                                    
170                            barrier.await(); // Afvent at workerne bliver færdige
171                                                    
172                                  if (result.bedsteAfstand <= consts.getMaxDistance() ) { //Gem kun hvis distancen er under max_distance for distributøren                          logger.info("Calc is done - cleaning up remaining bits");
                                         if (verbose == true) {  
                                                 logger.fine("(" +workerId + ") Bedste: " + qAdresse + "==>" + result.bedsteAdr + " ::: " + result.bedsteAfstand );  
                                         }  
                                           
                                         antalFundne++;  
                                           
                                         try {  
                                                 db.gemResultat(qAdresse, result.bedsteAdr, result.bedsteAfstand);  
                                         } catch (SQLException e) {  
                                                 logger.log(Level.WARNING, "Error saving result", e);  
                                                 logger.warning("Shutting down");  
                                                   
                                                 System.exit(0); //hvis at indsættelsen fejler skal vi afbryde med det samme  
                                         }  
                                 } else {  
                                         if (verbose == true) {  
                                                 System.out.println("For stor afstand: " + qAdresse + " > " + result.bedsteAfstand);  
                                         }  
                                 }  
                                   
                         }  
173                                                    
174                            threadPool.shutdown(); //Calc is done now
175    
176    
177                          db.saveBatch();                          db.saveBatch();
178                            
179                          if (rename_tables) {                          if (test_mode == false) {
180                                  db.renameResultTables();                                  db.renameResultTables();
181                          } else {                          } else {
182                                  logger.info( "Rename tables is disabled !!!" );                                  logger.info( "Rename tables is disabled !!!" );
183                          }                          }
184                            
185            
186    
187                  } else {                  } else {
188                          /// Test                          /// Test
189                          /*                          /*
190                          db.resetResultTable();                          db.resetResultTable();
191                            
192    
193                          alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();                          alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
194                          logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.size());                          logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.size());
# Line 184  public class LookupMain { Line 198  public class LookupMain {
198                          lookup.doLookup();*/                                                                                      lookup.doLookup();*/                                                            
199                  }                  }
200    
201                    
202                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
203                  long elapsed = now - start ;                  long elapsed = now - start ;
204                                    long elapsedBeregn = now - beregnStart;
205    
206    
207                  logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );                  logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );
208                    logger.info("Fuld load done (beregning) : " + formatMilliSeconds(elapsedBeregn) );
209                  logger.info("Antal daekkede : " + antalDaekkedeAdresser );                  logger.info("Antal daekkede : " + antalDaekkedeAdresser );
210                  logger.info("Antal ikke-daekkede : " + ikkeDaekkede.length );                  logger.info("Antal ikke-daekkede : " + antalIkkeDaekkede );
211                  logger.info("Heraf, antal fundne : " + antalFundne );                  logger.info("Heraf, antal fundne : " + antalFundne );
212                    
213                  logger.info( String.format("Fandt adresser til : %.2f %%", (antalFundne*100.0)/ikkeDaekkede.length ) );                  logger.info( String.format("Fandt adresser til : %.2f %%", (antalFundne.get() *100.0)/antalIkkeDaekkede ) );
214                  //logger.info("Fandt adresser til : " + (antalFundne*100.0)/ikkeDaekkede.length + "%" );                  //logger.info("Fandt adresser til : " + (antalFundne*100.0)/ikkeDaekkede.length + "%" );
215          }          }
216    
217            
218    
219          static String formatMilliSeconds(long milliseconds) {          static String formatMilliSeconds(long milliseconds) {
220                  int mseconds = (int) milliseconds % 1000;                  int mseconds = (int) milliseconds % 1000;
221                  int seconds = (int) (milliseconds / 1000) % 60 ;                  int seconds = (int) (milliseconds / 1000) % 60 ;
222                  int minutes = (int) ((milliseconds / (1000*60)) % 60);                  int minutes = (int) ((milliseconds / (1000*60)) % 60);
223                  int hours   = (int) ((milliseconds / (1000*60*60)) % 24);                  int hours   = (int) ((milliseconds / (1000*60*60)) % 24);
224                    
225                  return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);                  return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);
226          }          }
227            
228    
229            static class WorkerThreadFactory implements ThreadFactory {      
230                    int count = 0;  
231    
232                    @Override        
233                    public Thread newThread(Runnable r) {    
234                            return new Thread(r, "lookupWorker/" + count++);        
235                    }
236            }
237  }  }
Legend:
Removed from v.2688  
changed lines
  Added in v.2753
  ViewVC Help
Powered by ViewVC 1.1.20