/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/LookupMain.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/LookupMain.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2260 by torben, Mon Feb 9 14:00:53 2015 UTC revision 2708 by torben, Sun Sep 27 18:20:41 2015 UTC
# Line 2  package dk.daoas.fulddaekning; Line 2  package dk.daoas.fulddaekning;
2    
3  import java.io.File;  import java.io.File;
4  import java.io.FileReader;  import java.io.FileReader;
5    import java.sql.SQLException;
6    import java.util.Collection;
7    import java.util.HashMap;
8  import java.util.List;  import java.util.List;
9    import java.util.Map;
10    import java.util.Set;
11    import java.util.function.Consumer;
12  import java.util.logging.FileHandler;  import java.util.logging.FileHandler;
13    import java.util.logging.Level;
14  import java.util.logging.Logger;  import java.util.logging.Logger;
15  import java.util.logging.SimpleFormatter;  import java.util.logging.SimpleFormatter;
16  import java.util.concurrent.*;  
17    import com.jwetherell.algorithms.data_structures.KdTree;
18    
19    import dk.daoas.fulddaekning.osrm.OSRMHelper;
20    
21  public class LookupMain {  public class LookupMain {
22            
23             static class LookupResult {
24                     double bedsteAfstand = 9999999.999;
25                     Adresse bedsteAdr = null;
26             }
27    
28    
29          static final String CONFIG_FILENAME = "fulddaekning.properties";          static final String CONFIG_FILENAME = "fulddaekning.properties";
# Line 24  public class LookupMain { Line 39  public class LookupMain {
39          final static Logger logger = Logger.getLogger( LookupMain.class.toString() );          final static Logger logger = Logger.getLogger( LookupMain.class.toString() );
40                    
41                    
         static Statistik flestDaekkede = new Statistik();  
         static Statistik flestIkkeDaekkede = new Statistik();  
         static Statistik mestBrugteTid = new Statistik();  
         static Statistik stoersteDataset = new Statistik();  
42                    
43          static Adresse[] alleDaekkedeAdresser;          static final int MAX_RESULTS = 100;
44            
45          static ThreadPoolExecutor threadPool;          static OSRMHelper osrmHelper = new OSRMHelper();
46    
         private static void setupThreadPool() {  
                 threadPool = (ThreadPoolExecutor) Executors.newFixedThreadPool(max_workers, new WorkerThreadFactory() );  
         }  
47                    
48                    
49          public static void main(String[] args) throws Exception {          public static void main(String[] args) throws Exception {
# Line 58  public class LookupMain { Line 66  public class LookupMain {
66                  conf = new SafeProperties();                  conf = new SafeProperties();
67                  conf.load( new FileReader(confFile) );                  conf.load( new FileReader(confFile) );
68                                    
                 max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );  
                 if (max_workers <= 0) {  
                         logger.info("!!! AUTO-DETECT MAX_WORKERS !!!");  
                         int cores = Runtime.getRuntime().availableProcessors();  
                         cores -= 1;//Efterlad 1 core/cpu i reserve til systemet  
                           
                         max_workers = Math.max(1, cores); //Dog skal der som minimum være 1 core til beregning  
                           
                 }  
                 logger.info("Starting with MAX_WORKERS:" + max_workers);  
                 setupThreadPool();  
69                                    
70                                    
71                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );
# Line 85  public class LookupMain { Line 82  public class LookupMain {
82                  Constants consts = Constants.getInstance();                  Constants consts = Constants.getInstance();
83                                    
84                  Database db = new Database(conf);                  Database db = new Database(conf);
85                                    Adresse ikkeDaekkede[] = db.hentAlleIkkedaekkedeAdresser(consts.getMinPostnr(), consts.getMaxPostnr() );
86                                    logger.info("Antal ikke-daekkede: " + ikkeDaekkede.length);
   
87                                    
88                  boolean testRun= false;                  boolean testRun= false;
89                                    
90                    int antalFundne = 0;
91                                    
92                    long beregnStart =0;
93                  long start = System.currentTimeMillis();                  long start = System.currentTimeMillis();
94                    int antalDaekkedeAdresser = -1;
95                                    
96                  if (testRun == false) {                  if (testRun == false) {
97                                    
98                          logger.info("Finder postnumre");                          logger.info("Finder postnumre");
99                          List<String> postnumre = db.hentPostnumre();                          Set<Short> postnumre = db.hentPostnumreCache();
100                                                    
101                          // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen                          // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen
102                          for(String postnr : postnumre) { //                          for(short postnr : postnumre) { //
103                                  logger.info("Validerer BBox for " + postnr);                                  logger.info("Validerer BBox for " + postnr);
104                                  BoundingBox bbox = db.getBoundingbox(postnr);                                  BoundingBox bbox = db.getBoundingbox(postnr);
105                                  bbox.validateBbox();                                  bbox.validateBbox();
106                          }                          }
107                                                    
108                          if (consts.doExtendedLookup()) {  
109                                  logger.info("Henter alle daekkede adresser");                          logger.info("Henter alle daekkede adresser");
110                                  alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();                          antalDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
111                                  logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);                          logger.info( "AlleDaekkedeAdresser.length=" + antalDaekkedeAdresser );
                         }  
112                                                    
113                            Map<Short, List<Adresse>> addrHoList = db.getDaekkedeAdresserHO();
114                            
115                            Map<Short, KdTree<Adresse>> hoTrees = new HashMap<Short,KdTree<Adresse>>();
116                            
117                            for ( Map.Entry<Short, List<Adresse>> entry : addrHoList.entrySet() ) {
118                                    short ho = entry.getKey();
119                                    List<Adresse> geopoints = entry.getValue();
120                                    
121                                    logger.info("Opbygger KDTree for " + ho + " - antal=" + geopoints.size() );
122                                    
123                                    @SuppressWarnings("unchecked")
124                                    List<KdTree.XYZPoint> tmpPoints = (List<KdTree.XYZPoint>)(List<?>) geopoints;
125                                    
126                                    KdTree<Adresse> addressTree = new KdTree<Adresse>( tmpPoints );
127                                    hoTrees.put(ho, addressTree);                          
128                            }
129                                                    
                         //pre-check er ok - reset tmp tabel og start søgningen  
130                          db.resetResultTable();                          db.resetResultTable();
131                    
132                            beregnStart = System.currentTimeMillis();
133                            logger.info("Starter beregning");
134                    
135                            final int workerId = -1;
136                            //pre-check er ok - reset tmp tabel og start søgningen
137                                                    
138                          for(String postnr : postnumre) {                          for (Adresse qAdresse : ikkeDaekkede) {
139                                  Lookup lookup = new Lookup(postnr, db, threadPool);                                  
140                                  lookup.doLookup();                                                        short ho = qAdresse.ho;
141                                    KdTree<Adresse> addressTree = hoTrees.get(ho);
142                                    
143                                    LookupResult result = new LookupResult();
144                                    Collection<Adresse> res = addressTree.nearestNeighbourSearch(MAX_RESULTS, qAdresse);
145                                    if (res.size() > MAX_RESULTS ) {
146                                            System.out.println("Returnerede mere end MAX_RESULTS> " + res.size() );
147                                            System.exit(0);
148                                    }
149                                    
150                                    
151                                    result.bedsteAdr = osrmHelper.getNearestViaTable(qAdresse, res);
152                                    System.out.println("Bedste:" + result.bedsteAdr );
153    
154                                    result.bedsteAfstand = GeoPointHelper.beregnAfstand(qAdresse, result.bedsteAdr);
155                            
156                            
157                                    if (result.bedsteAfstand <= consts.getMaxDistance() ) { //Gem kun hvis distancen er under max_distance for distributøren
158                                            if (verbose == true) {
159                                                    logger.fine("(" +workerId + ") Bedste: " + qAdresse + "==>" + result.bedsteAdr + " ::: " + result.bedsteAfstand );
160                                            }
161                                            
162                                            antalFundne++;
163                                            
164                                            try {
165                                                    db.gemResultat(qAdresse, result.bedsteAdr, result.bedsteAfstand);
166                                            } catch (SQLException e) {
167                                                    logger.log(Level.WARNING, "Error saving result", e);
168                                                    logger.warning("Shutting down");
169                                                    
170                                                    System.exit(0); //hvis at indsættelsen fejler skal vi afbryde med det samme
171                                            }
172                                    } else {
173                                            if (verbose == true) {
174                                                    System.out.println("For stor afstand: " + qAdresse + " > " + result.bedsteAfstand);
175                                            }
176                                    }
177                                    
178                          }                          }
179                                                    
180                            db.saveBatch();
181                            
182                          if (rename_tables) {                          if (rename_tables) {
183                                  db.renameResultTables();                                  db.renameResultTables();
184                          } else {                          } else {
# Line 131  public class LookupMain { Line 189  public class LookupMain {
189    
190                  } else {                  } else {
191                          /// Test                          /// Test
192                            /*
193                          db.resetResultTable();                          db.resetResultTable();
194                                                    
195                          if (consts.doExtendedLookup()) {  
196                                  alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();                          alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
197                                  logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);                          logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.size());
198                          }  
199                                                    short post = (short) 2700;                      
200                          Lookup lookup = new Lookup("458x", db, threadPool);                          Lookup lookup = new Lookup(post, db, threadPool);
201                          lookup.doLookup();                                                                                        lookup.doLookup();*/                                                            
202                  }                  }
203    
                 threadPool.shutdown();  
204                                    
205                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
206                  long elapsed = now - start ;                  long elapsed = now - start ;
207                    long elapsedBeregn = now - beregnStart;
208                                    
209                  logger.info("Mest brugte tid: " + mestBrugteTid);  
                 logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);  
                 logger.info("Flest Dækkede, " + flestDaekkede);  
                 logger.info("Største Dataset, " + stoersteDataset);              
210                  logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );                  logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );
211                    logger.info("Fuld load done (beregning) : " + formatMilliSeconds(elapsedBeregn) );
212                    logger.info("Antal daekkede : " + antalDaekkedeAdresser );
213                    logger.info("Antal ikke-daekkede : " + ikkeDaekkede.length );
214                    logger.info("Heraf, antal fundne : " + antalFundne );
215                    
216                    logger.info( String.format("Fandt adresser til : %.2f %%", (antalFundne*100.0)/ikkeDaekkede.length ) );
217                    //logger.info("Fandt adresser til : " + (antalFundne*100.0)/ikkeDaekkede.length + "%" );
218          }          }
219    
220                    
         public static void saveStatistics(Statistik stat) {  
                 if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {  
                         flestDaekkede = stat;  
                 }  
                 if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {  
                         flestIkkeDaekkede = stat;  
                 }  
                   
                 if (stat.totalDataset > mestBrugteTid.totalDataset) {  
                         stoersteDataset = stat;  
                 }  
                   
                 if (stat.forbrugtTid > mestBrugteTid.forbrugtTid) {  
                         mestBrugteTid = stat;  
                 }  
         }  
221    
222          static String formatMilliSeconds(long milliseconds) {          static String formatMilliSeconds(long milliseconds) {
223                  int mseconds = (int) milliseconds % 1000;                  int mseconds = (int) milliseconds % 1000;
# Line 181  public class LookupMain { Line 228  public class LookupMain {
228                  return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);                  return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);
229          }          }
230                    
         static class WorkerThreadFactory implements ThreadFactory {  
                 int count = 0;  
   
                 @Override  
                 public Thread newThread(Runnable r) {  
                         return new Thread(r, "lookupWorker/" + count++);  
                 }        
         }  
231  }  }
Legend:
Removed from v.2260  
changed lines
  Added in v.2708
  ViewVC Help
Powered by ViewVC 1.1.20