/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2195 by torben, Thu Jun 19 10:56:04 2014 UTC revision 2219 by torben, Fri Sep 12 21:03:06 2014 UTC
# Line 2  package dk.daoas.fulddaekning; Line 2  package dk.daoas.fulddaekning;
2    
3  import java.io.File;  import java.io.File;
4  import java.io.FileReader;  import java.io.FileReader;
 import java.util.ArrayList;  
5  import java.util.List;  import java.util.List;
6  import java.util.Map;  import java.util.Map;
 import java.util.Properties;  
7  import java.util.Queue;  import java.util.Queue;
8  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
9    import java.util.logging.FileHandler;
10  import java.util.logging.Level;  import java.util.logging.Level;
11  import java.util.logging.Logger;  import java.util.logging.Logger;
12    import java.util.logging.SimpleFormatter;
13    
14  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;
15    
# Line 21  public class Lookup { Line 21  public class Lookup {
21          static boolean verbose;          static boolean verbose;
22                    
23          static boolean rename_tables;          static boolean rename_tables;
24            static String distributor;
25                    
26          static SafeProperties conf;          static SafeProperties conf;
27          static Logger logger = Logger.getLogger( Lookup.class.toString() );          static Logger logger = Logger.getLogger( Lookup.class.toString() );
# Line 28  public class Lookup { Line 29  public class Lookup {
29          int postnr;          int postnr;
30          Database db;          Database db;
31                                    
32          ArrayList<Adresse> daekkedeAdresser;          Adresse daekkedeAdresser[];
33          Queue<Adresse> queue;          Queue<Adresse> queue;
34                    
35          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
# Line 87  public class Lookup { Line 88  public class Lookup {
88                          queue = db.hentIkkedaekkedeAdresser(postnr);                          queue = db.hentIkkedaekkedeAdresser(postnr);
89                                                    
90                          stat.postnr = postnr;                          stat.postnr = postnr;
91                          stat.antalDaekkede = daekkedeAdresser.size();                          stat.antalDaekkede = daekkedeAdresser.length;
92                          stat.antalIkkeDaekkede = queue.size();                          stat.antalIkkeDaekkede = queue.size();
93                                                    
94                          saveStatistics(stat);                          saveStatistics(stat);
# Line 108  public class Lookup { Line 109  public class Lookup {
109                                  Thread.sleep(10);//wait for worker threads                                  Thread.sleep(10);//wait for worker threads
110                          }                          }
111                                                    
112                            db.saveBatch();//Save any unsaved rows
113                            
114                                                    
115                  } catch(Exception e) {                  } catch(Exception e) {
116                          logger.log(Level.WARNING, "Exception during lookup", e);                          logger.log(Level.WARNING, "Exception during lookup", e);
# Line 127  public class Lookup { Line 130  public class Lookup {
130                    
131          public void shutdownWorker(int workerid) {          public void shutdownWorker(int workerid) {
132                  logger.info("Shutting down worker: " + workerid);                  logger.info("Shutting down worker: " + workerid);
133                  workers.remove(workerid);                  LookupWorker key = workers.remove(workerid);
134                    
135                    if (key == null) {
136                            System.out.println("Error removing worker from set");
137                            System.exit(0);
138                    }
139          }          }
140                    
141          // Getters and setters          // Getters and setters
# Line 139  public class Lookup { Line 147  public class Lookup {
147    
148    
149    
150          public ArrayList<Adresse> getDaekkedeAdresser() {          public Adresse[] getDaekkedeAdresser() {
151                  return daekkedeAdresser;                  return daekkedeAdresser;
152          }          }
153    
# Line 160  public class Lookup { Line 168  public class Lookup {
168                    
169          public static void main(String[] args) throws Exception {          public static void main(String[] args) throws Exception {
170                                    
171                    //Setup j.u.l Logger
172                    Logger root = Logger.getLogger("");
173                    FileHandler fhandler = new FileHandler("fulddaekning.log"); // Ingen max størrelse, ingen rotation og ingen append
174                    fhandler.setFormatter( new SimpleFormatter() );
175                    root.addHandler( fhandler );
176                    
177                    
178                    
179                    
180                  File confFile = new File( CONFIG_FILENAME );                  File confFile = new File( CONFIG_FILENAME );
181                  if (! confFile.exists() ) {                  if (! confFile.exists() ) {
182                          logger.warning("Config file not found: " + CONFIG_FILENAME);                          logger.warning("Config file not found: " + CONFIG_FILENAME);
# Line 178  public class Lookup { Line 195  public class Lookup {
195                  rename_tables = Boolean.parseBoolean( conf.getSafeProperty("RENAMETABLES") );                  rename_tables = Boolean.parseBoolean( conf.getSafeProperty("RENAMETABLES") );
196                  logger.info("Starting with RENAMETABLES:" + rename_tables);                  logger.info("Starting with RENAMETABLES:" + rename_tables);
197                                    
198                    distributor = conf.getSafeProperty("DISTRIBUTOR");
199                    distributor = distributor.toUpperCase();
200                    Constants.init(distributor);
201    
202                    
203                  Database db = new Database(conf);                  Database db = new Database(conf);
204                                    
205                  db.resetResultTable();                  
206    
207                                    
208                                    
# Line 191  public class Lookup { Line 213  public class Lookup {
213                  logger.info("Finder postnumre");                  logger.info("Finder postnumre");
214                  List<Integer> postnumre = db.hentPostnumre();                  List<Integer> postnumre = db.hentPostnumre();
215                                    
216                    // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen
217                    for(Integer postnr : postnumre) { //
218                            logger.info("Validerer BBox for " + postnr);
219                            BoundingBox bbox = db.getBoundingbox(postnr);
220                            bbox.validateBbox();
221                    }
222                    
223                    
224                    //pre-check er ok - reset tmp tabel og start søgningen
225                    db.resetResultTable();
226                    
227                  for(Integer postnr : postnumre) {                  for(Integer postnr : postnumre) {
228                          Lookup lookup = new Lookup(postnr, db);                          Lookup lookup = new Lookup(postnr, db);
229                          lookup.doLookup();                                                lookup.doLookup();                      
# Line 203  public class Lookup { Line 236  public class Lookup {
236                  }                  }
237                                    
238                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
239                    long elapsed = now - start ;
240    
241                  logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);                  logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);
242                  logger.info("Flest Dækkede, " + flestDaekkede);                  logger.info("Flest Dækkede, " + flestDaekkede);
243                  logger.info("Fuld load done : " + (now-start) );                  logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );
244    
245                                    
246                    /*
247                    /// Test
248                    db.resetResultTable();
249                    Lookup lookup = new Lookup(2750, db);
250                    lookup.doLookup();              
251                    long now = System.currentTimeMillis();
252                    long elapsed = now - start ;
253                    logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );*/
254            }
255            
256            static String formatMilliSeconds(long milliseconds) {
257                    int mseconds = (int) milliseconds % 1000;
258                    int seconds = (int) (milliseconds / 1000) % 60 ;
259                    int minutes = (int) ((milliseconds / (1000*60)) % 60);
260                    int hours   = (int) ((milliseconds / (1000*60*60)) % 24);
261                                    
262                  //Lookup lookup = new Lookup(7400, db);                  return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);
                 //lookup.doLookup();              
263          }          }
264                                    
265  }  }
Legend:
Removed from v.2195  
changed lines
  Added in v.2219
  ViewVC Help
Powered by ViewVC 1.1.20