/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/LookupMain.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/LookupMain.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2244 by torben, Wed Dec 10 10:06:32 2014 UTC revision 2688 by torben, Mon Aug 31 09:35:29 2015 UTC
# Line 1  Line 1 
1  package dk.daoas.fulddaekning;  package dk.daoas.fulddaekning;
2    
3    import geocode.GeoPoint;
4    import geocode.kdtree.KDTree;
5    
6  import java.io.File;  import java.io.File;
7  import java.io.FileReader;  import java.io.FileReader;
8    import java.sql.SQLException;
9    import java.util.HashMap;
10  import java.util.List;  import java.util.List;
11    import java.util.Map;
12    import java.util.Set;
13  import java.util.logging.FileHandler;  import java.util.logging.FileHandler;
14    import java.util.logging.Level;
15  import java.util.logging.Logger;  import java.util.logging.Logger;
16  import java.util.logging.SimpleFormatter;  import java.util.logging.SimpleFormatter;
17    
18  public class LookupMain {  public class LookupMain {
19            
20             static class LookupResult {
21                     double bedsteAfstand = 9999999.999;
22                     Adresse bedsteAdr = null;
23             }
24    
25    
26          static final String CONFIG_FILENAME = "fulddaekning.properties";          static final String CONFIG_FILENAME = "fulddaekning.properties";
# Line 23  public class LookupMain { Line 36  public class LookupMain {
36          final static Logger logger = Logger.getLogger( LookupMain.class.toString() );          final static Logger logger = Logger.getLogger( LookupMain.class.toString() );
37                    
38                    
         static Statistik flestDaekkede = new Statistik();  
         static Statistik flestIkkeDaekkede = new Statistik();  
         static Statistik mestBrugteTid = new Statistik();  
         static Statistik stoersteDataset = new Statistik();  
39                    
40          static Adresse[] alleDaekkedeAdresser;          
41    
42                    
43                    
44          public static void main(String[] args) throws Exception {          public static void main(String[] args) throws Exception {
# Line 51  public class LookupMain { Line 61  public class LookupMain {
61                  conf = new SafeProperties();                  conf = new SafeProperties();
62                  conf.load( new FileReader(confFile) );                  conf.load( new FileReader(confFile) );
63                                    
                 max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );  
                 if (max_workers <= 0) {  
                         logger.info("!!! AUTO-DETECT MAX_WORKERS !!!");  
                         int cores = Runtime.getRuntime().availableProcessors();  
                         cores -= 1;//Efterlad 1 core/cpu i reserve til systemet  
                           
                         max_workers = Math.max(1, cores); //Dog skal der som minimum være 1 core til beregning  
                           
                 }  
                 logger.info("Starting with MAX_WORKERS:" + max_workers);  
64                                    
65                                    
66                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );
# Line 77  public class LookupMain { Line 77  public class LookupMain {
77                  Constants consts = Constants.getInstance();                  Constants consts = Constants.getInstance();
78                                    
79                  Database db = new Database(conf);                  Database db = new Database(conf);
80                                    Adresse ikkeDaekkede[] = db.hentAlleIkkedaekkedeAdresser(consts.getMinPostnr(), consts.getMaxPostnr() );
81                                    logger.info("Antal ikke-daekkede: " + ikkeDaekkede.length);
   
82                                    
83                  boolean testRun= false;                  boolean testRun= false;
84                                    
85                    int antalFundne = 0;
86                    
87                                    
88                  long start = System.currentTimeMillis();                  long start = System.currentTimeMillis();
89                                    
90                    int antalDaekkedeAdresser = -1;
91                    
92                  if (testRun == false) {                  if (testRun == false) {
93                                    
94                          logger.info("Finder postnumre");                          logger.info("Finder postnumre");
95                          List<String> postnumre = db.hentPostnumre();                          Set<Short> postnumre = db.hentPostnumreCache();
96                                                    
97                          // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen                          // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen
98                          for(String postnr : postnumre) { //                          for(short postnr : postnumre) { //
99                                  logger.info("Validerer BBox for " + postnr);                                  logger.info("Validerer BBox for " + postnr);
100                                  BoundingBox bbox = db.getBoundingbox(postnr);                                  BoundingBox bbox = db.getBoundingbox(postnr);
101                                  bbox.validateBbox();                                  bbox.validateBbox();
102                          }                          }
103                                                    
104                          if (consts.doExtendedLookup()) {  
105                                  logger.info("Henter alle daekkede adresser");                          logger.info("Henter alle daekkede adresser");
106                                  alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();                          antalDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
107                                  logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);                          logger.info( "AlleDaekkedeAdresser.length=" + antalDaekkedeAdresser );
                         }  
108                                                    
109                            Map<Short, List<GeoPoint>> addrHoList = db.getDaekkedeAdresserHO();
110                            
111                            Map<Short, KDTree<GeoPoint>> hoTrees = new HashMap<Short,KDTree<GeoPoint>>();
112                            
113                            for ( Map.Entry<Short, List<GeoPoint>> entry : addrHoList.entrySet() ) {
114                                    short ho = entry.getKey();
115                                    List<GeoPoint> geopoints = entry.getValue();
116                                    
117                                    logger.info("Opbygger KDTree for " + ho + " - antal=" + geopoints.size() );
118                                    KDTree<GeoPoint> addressTree = new KDTree<GeoPoint>( geopoints );
119                                    hoTrees.put(ho, addressTree);                          
120                            }
121                                                    
                         //pre-check er ok - reset tmp tabel og start søgningen  
122                          db.resetResultTable();                          db.resetResultTable();
123                    
124                            logger.info("Starter beregning");
125                    
126                            final int workerId = -1;
127                            //pre-check er ok - reset tmp tabel og start søgningen
128                                                    
129                          for(String postnr : postnumre) {                          for (Adresse qAdresse : ikkeDaekkede) {
130                                  Lookup lookup = new Lookup(postnr, db);                                  
131                                  lookup.doLookup();                                                        short ho = qAdresse.ho;
132                                    KDTree<GeoPoint> addressTree = hoTrees.get(ho);
133                                    
134                                    LookupResult result = new LookupResult();
135                                    result.bedsteAdr = (Adresse) addressTree.findNearest(qAdresse);
136                                    result.bedsteAfstand = GeoPointHelper.beregnAfstand(qAdresse, result.bedsteAdr);
137                            
138                            
139                            
140                                    if (result.bedsteAfstand <= consts.getMaxDistance() ) { //Gem kun hvis distancen er under max_distance for distributøren
141                                            if (verbose == true) {
142                                                    logger.fine("(" +workerId + ") Bedste: " + qAdresse + "==>" + result.bedsteAdr + " ::: " + result.bedsteAfstand );
143                                            }
144                                            
145                                            antalFundne++;
146                                            
147                                            try {
148                                                    db.gemResultat(qAdresse, result.bedsteAdr, result.bedsteAfstand);
149                                            } catch (SQLException e) {
150                                                    logger.log(Level.WARNING, "Error saving result", e);
151                                                    logger.warning("Shutting down");
152                                                    
153                                                    System.exit(0); //hvis at indsættelsen fejler skal vi afbryde med det samme
154                                            }
155                                    } else {
156                                            if (verbose == true) {
157                                                    System.out.println("For stor afstand: " + qAdresse + " > " + result.bedsteAfstand);
158                                            }
159                                    }
160                                    
161                          }                          }
162                                                    
163                            db.saveBatch();
164                            
165                          if (rename_tables) {                          if (rename_tables) {
166                                  db.renameResultTables();                                  db.renameResultTables();
167                          } else {                          } else {
# Line 123  public class LookupMain { Line 172  public class LookupMain {
172    
173                  } else {                  } else {
174                          /// Test                          /// Test
175                            /*
176                          db.resetResultTable();                          db.resetResultTable();
177                                                    
178                          if (consts.doExtendedLookup()) {  
179                                  alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();                          alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
180                                  logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);                          logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.size());
181                          }  
182                                                    short post = (short) 2700;                      
183                          Lookup lookup = new Lookup("458x", db);                          Lookup lookup = new Lookup(post, db, threadPool);
184                          lookup.doLookup();                                                                                        lookup.doLookup();*/                                                            
185                  }                  }
186    
187                                    
188                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
189                  long elapsed = now - start ;                  long elapsed = now - start ;
190                                    
191                  logger.info("Mest brugte tid: " + mestBrugteTid);  
                 logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);  
                 logger.info("Flest Dækkede, " + flestDaekkede);  
                 logger.info("Største Dataset, " + stoersteDataset);              
192                  logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );                  logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );
193                    logger.info("Antal daekkede : " + antalDaekkedeAdresser );
194                    logger.info("Antal ikke-daekkede : " + ikkeDaekkede.length );
195                    logger.info("Heraf, antal fundne : " + antalFundne );
196                    
197                    logger.info( String.format("Fandt adresser til : %.2f %%", (antalFundne*100.0)/ikkeDaekkede.length ) );
198                    //logger.info("Fandt adresser til : " + (antalFundne*100.0)/ikkeDaekkede.length + "%" );
199          }          }
200    
201                    
         public static void saveStatistics(Statistik stat) {  
                 if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {  
                         flestDaekkede = stat;  
                 }  
                 if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {  
                         flestIkkeDaekkede = stat;  
                 }  
                   
                 if (stat.totalDataset > mestBrugteTid.totalDataset) {  
                         stoersteDataset = stat;  
                 }  
                   
                 if (stat.forbrugtTid > mestBrugteTid.forbrugtTid) {  
                         mestBrugteTid = stat;  
                 }  
         }  
202    
203          static String formatMilliSeconds(long milliseconds) {          static String formatMilliSeconds(long milliseconds) {
204                  int mseconds = (int) milliseconds % 1000;                  int mseconds = (int) milliseconds % 1000;
# Line 169  public class LookupMain { Line 207  public class LookupMain {
207                  int hours   = (int) ((milliseconds / (1000*60*60)) % 24);                  int hours   = (int) ((milliseconds / (1000*60*60)) % 24);
208                                    
209                  return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);                  return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);
210          }                }
211            
212  }  }
Legend:
Removed from v.2244  
changed lines
  Added in v.2688
  ViewVC Help
Powered by ViewVC 1.1.20