/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2153 by torben, Wed May 7 16:07:46 2014 UTC revision 2234 by torben, Wed Oct 8 09:16:18 2014 UTC
# Line 2  package dk.daoas.fulddaekning; Line 2  package dk.daoas.fulddaekning;
2    
3  import java.io.File;  import java.io.File;
4  import java.io.FileReader;  import java.io.FileReader;
 import java.util.ArrayList;  
5  import java.util.List;  import java.util.List;
6  import java.util.Map;  import java.util.Map;
 import java.util.Properties;  
7  import java.util.Queue;  import java.util.Queue;
8  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
9    import java.util.logging.FileHandler;
10  import java.util.logging.Level;  import java.util.logging.Level;
11  import java.util.logging.Logger;  import java.util.logging.Logger;
12    import java.util.logging.SimpleFormatter;
13    
14  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;
15    
16  public class Lookup {  public class Lookup {
17    
18            static final String CONFIG_FILENAME = "fulddaekning.properties";
19    
20          static int max_workers;          static int max_workers;
21          static boolean verbose;          static boolean verbose;
22                    
23          static Properties conf;          static boolean rename_tables;
24            static String distributor;
25            
26            static SafeProperties conf;
27          static Logger logger = Logger.getLogger( Lookup.class.toString() );          static Logger logger = Logger.getLogger( Lookup.class.toString() );
28                    
29          int postnr;          int postnr;
30          Database db;          Database db;
31                                    
32          ArrayList<Adresse> daekkedeAdresser;          Adresse daekkedeAdresser[];
33          Queue<Adresse> queue;          Queue<Adresse> queue;
34                    
35          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
36    
         static int flestDaekkedeAntal = 0;  
         static int flestDaekkedePostnr;  
37                    
38          static int flestIkkeDaekkedeAntal = 0;          static Statistik flestDaekkede = new Statistik();
39          static int flestIkkeDaekkedePostnr;          static Statistik flestIkkeDaekkede = new Statistik();
40            static Statistik mestBrugteTid = new Statistik();
41            static Statistik stoersteDataset = new Statistik();
42            
43            static Adresse[] alleDaekkedeAdresser;
44            
45            
46            static class Statistik {
47                    int postnr;
48                    int antalDaekkede = 0;
49                    int antalIkkeDaekkede = 0;
50                    int totalDataset = 0;          
51                    long forbrugtTid = 0;
52    
53                    
54                    @Override
55                    public String toString() {
56                            return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede="  + antalDaekkede + " forbrugtTid=" + forbrugtTid + " totalDataset=" + totalDataset;
57                    }
58            }
59                    
60                    
61          public Lookup(int postnr, Database db) {          public Lookup(int postnr, Database db) {
# Line 40  public class Lookup { Line 63  public class Lookup {
63                  this.db = db;                  this.db = db;
64          }          }
65                    
66                    public static void saveStatistics(Statistik stat) {
67                    if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {
68                            flestDaekkede = stat;
69                    }
70                    if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {
71                            flestIkkeDaekkede = stat;
72                    }
73                    
74                    if (stat.totalDataset > mestBrugteTid.totalDataset) {
75                            stoersteDataset = stat;
76                    }
77                    
78                    if (stat.forbrugtTid > mestBrugteTid.forbrugtTid) {
79                            mestBrugteTid = stat;
80                    }
81            }
82                    
83          public void doLookup() throws BoundingBoxException {          public void doLookup() throws BoundingBoxException {
84                  logger.info("Starting for postnr=" + postnr);                  logger.info("Starting for postnr=" + postnr);
85                                    
86                  int queueSize=-1;                  Statistik stat = new Statistik();
87                                                    
88                  long start1 = System.currentTimeMillis();                                long start1 = System.currentTimeMillis();              
89                  long start2 = 0;                  long start2 = 0;
90                                    
91                  try {                  try {
92                            
93                            logger.info("Henter _ikke_ daekkede adresser i " + postnr);
94                            queue = db.hentIkkedaekkedeAdresser(postnr);
95                            if (queue.size() == 0) {
96                                    logger.info("Fandt ikke nogen _ikke_ daekkede adresser i " + postnr);
97                                    return;
98                            }
99                            
100                          BoundingBox bbox = db.getBoundingbox(postnr);                          BoundingBox bbox = db.getBoundingbox(postnr);
101                          bbox.validateBbox();                          bbox.validateBbox();
102                                                    
# Line 61  public class Lookup { Line 107  public class Lookup {
107                          logger.info("Henter daekkede adresser i " + postnr);                          logger.info("Henter daekkede adresser i " + postnr);
108                          daekkedeAdresser = db.hentDaekkedeAdresser(bbox);                          daekkedeAdresser = db.hentDaekkedeAdresser(bbox);
109                                                    
110                          logger.info("Henter _ikke_ daekkede adresser i " + postnr);                          stat.postnr = postnr;
111                          queue = db.hentIkkedaekkedeAdresser(postnr);                          stat.antalDaekkede = daekkedeAdresser.length;
112                          queueSize = queue.size();                          stat.antalIkkeDaekkede = queue.size();
113                                                    stat.totalDataset = stat.antalDaekkede * stat.antalIkkeDaekkede;
114                          if (daekkedeAdresser.size() > flestDaekkedeAntal) {                                                                          
                                 flestDaekkedeAntal = daekkedeAdresser.size();  
                                 flestDaekkedePostnr = postnr;  
                         }  
                           
                         if (queueSize > flestIkkeDaekkedeAntal) {  
                                 flestIkkeDaekkedeAntal = queueSize;  
                                 flestIkkeDaekkedePostnr = postnr;  
                         }  
                           
115                                                    
116                          logger.info("Starter beregning for " + postnr);                          logger.info("Starter beregning for " + postnr);
117                          start2 = System.currentTimeMillis();                          start2 = System.currentTimeMillis();
# Line 91  public class Lookup { Line 128  public class Lookup {
128                                  Thread.sleep(10);//wait for worker threads                                  Thread.sleep(10);//wait for worker threads
129                          }                          }
130                                                    
131                            db.saveBatch();//Save any unsaved rows
132                            
133                                                    
134                  } catch(Exception e) {                  } catch(Exception e) {
135                          logger.log(Level.WARNING, "Exception during lookup", e);                          logger.log(Level.WARNING, "Exception during lookup", e);
# Line 103  public class Lookup { Line 142  public class Lookup {
142                  }                  }
143                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
144                                    
145                  logger.info("Antal daekkede:" + daekkedeAdresser.size() + "  postnr=" + postnr);                  stat.forbrugtTid = (now-start1);
146                  logger.info("Antal ikke-daekkede:" + queueSize + "  postnr=" + postnr);                  saveStatistics(stat);
147                    
148                    logger.info( stat.toString() );
149                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);
150          }          }
151                    
152          public void shutdownWorker(int workerid) {          public void shutdownWorker(int workerid) {
153                  logger.info("Shutting down worker: " + workerid);                  //logger.info("Shutting down worker: " + workerid);
154                  workers.remove(workerid);                  LookupWorker key = workers.remove(workerid);
155                    
156                    if (key == null) {
157                            System.out.println("Error removing worker from set " + workerid);
158                            System.exit(0);
159                    }
160          }          }
161                    
162          // Getters and setters          // Getters and setters
# Line 123  public class Lookup { Line 168  public class Lookup {
168    
169    
170    
171          public ArrayList<Adresse> getDaekkedeAdresser() {          public Adresse[] getDaekkedeAdresser() {
172                  return daekkedeAdresser;                  return daekkedeAdresser;
173          }          }
174    
# Line 144  public class Lookup { Line 189  public class Lookup {
189                    
190          public static void main(String[] args) throws Exception {          public static void main(String[] args) throws Exception {
191                                    
192                  File confFile = new File("fulddaekning.properties");                  //Setup j.u.l Logger
193                    Logger root = Logger.getLogger("");
194                    FileHandler fhandler = new FileHandler("fulddaekning.log"); // Ingen max størrelse, ingen rotation og ingen append
195                    fhandler.setFormatter( new SimpleFormatter() );
196                    root.addHandler( fhandler );
197                    
198                    
199                    
200                    
201                    File confFile = new File( CONFIG_FILENAME );
202                  if (! confFile.exists() ) {                  if (! confFile.exists() ) {
203                          logger.warning("Config file not found");                          logger.warning("Config file not found: " + CONFIG_FILENAME);
204                          System.exit(1);                          System.exit(1);
205                  }                  }
206                                                                    
207                  conf = new Properties();                  conf = new SafeProperties();
208                  conf.load( new FileReader(confFile) );                  conf.load( new FileReader(confFile) );
209                                    
210                  max_workers = Integer.parseInt( conf.getProperty("MAX_WORKERS") );                  max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );
211                  logger.info("Starting with MAX_WORKERS:" + max_workers);                  logger.info("Starting with MAX_WORKERS:" + max_workers);
212                                    
213                  verbose = Boolean.parseBoolean( conf.getProperty("VERBOSE") );                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );
214                  logger.info("Starting with VERBOSE:" + verbose);                  logger.info("Starting with VERBOSE:" + verbose);
215                                    
216                    rename_tables = Boolean.parseBoolean( conf.getSafeProperty("RENAMETABLES") );
217                    logger.info("Starting with RENAMETABLES:" + rename_tables);
218                    
219                    distributor = conf.getSafeProperty("DISTRIBUTOR");
220                    distributor = distributor.toUpperCase();
221                    logger.info("Starting for DISTRIBUTOR:" + distributor);
222                    
223                    Constants.init(distributor);
224                    Constants consts = Constants.getInstance();
225                    
226                  Database db = new Database(conf);                  Database db = new Database(conf);
227                                    
                 db.resetResultTable();  
   
228                                    
229    
230                                    
231                    boolean testRun= false;
232                                    
233                                    
234                  long start = System.currentTimeMillis();                  long start = System.currentTimeMillis();
235                                    
236                  logger.info("Finder postnumre");                  if (testRun == false) {
                 List<Integer> postnumre = db.hentPostnumre();  
237                                    
238                  for(Integer postnr : postnumre) {                          logger.info("Finder postnumre");
239                          Lookup lookup = new Lookup(postnr, db);                          List<Integer> postnumre = db.hentPostnumre();
240                          lookup.doLookup();                                                
241                            // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen
242                            for(Integer postnr : postnumre) { //
243                                    logger.info("Validerer BBox for " + postnr);
244                                    BoundingBox bbox = db.getBoundingbox(postnr);
245                                    bbox.validateBbox();
246                            }
247                            
248                            if (consts.doExtendedLookup()) {
249                                    logger.info("Henter alle daekkede adresser");
250                                    alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
251                                    logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);
252                            }
253                            
254                            
255                            //pre-check er ok - reset tmp tabel og start søgningen
256                            db.resetResultTable();
257                            
258                            for(Integer postnr : postnumre) {
259                                    Lookup lookup = new Lookup(postnr, db);
260                                    lookup.doLookup();                      
261                            }
262                            
263                            if (rename_tables) {
264                                    db.renameResultTables();
265                            } else {
266                                    logger.info( "Rename tables is disabled !!!" );
267                            }
268                            
269            
270    
271                    } else {
272                            /// Test
273                            db.resetResultTable();
274                            
275                            if (consts.doExtendedLookup()) {
276                                    alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
277                                    logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);
278                            }
279                            
280                            Lookup lookup = new Lookup(4583, db);
281                            lookup.doLookup();                                                              
282                  }                  }
283                                    
284                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
285                                                    long elapsed = now - start ;
                 logger.info("Fuld load done : " + (now-start) );  
                 logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkedePostnr + ": " + flestIkkeDaekkedeAntal);  
                 logger.info("Flest Dækkede, " + flestDaekkedePostnr + ": " + flestDaekkedeAntal);  
286                                    
287                    logger.info("Mest brugte tid: " + mestBrugteTid);
288                    logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);
289                    logger.info("Flest Dækkede, " + flestDaekkede);
290                    logger.info("Største Dataset, " + stoersteDataset);            
291                    logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );
292            }
293            
294            
295            static String formatMilliSeconds(long milliseconds) {
296                    int mseconds = (int) milliseconds % 1000;
297                    int seconds = (int) (milliseconds / 1000) % 60 ;
298                    int minutes = (int) ((milliseconds / (1000*60)) % 60);
299                    int hours   = (int) ((milliseconds / (1000*60*60)) % 24);
300                                    
301                  //Lookup lookup = new Lookup(7400, db);                  return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);
                 //lookup.doLookup();              
302          }          }
303                                    
304  }  }
Legend:
Removed from v.2153  
changed lines
  Added in v.2234
  ViewVC Help
Powered by ViewVC 1.1.20