/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2147 by torben, Wed Apr 30 12:53:01 2014 UTC revision 2219 by torben, Fri Sep 12 21:03:06 2014 UTC
# Line 2  package dk.daoas.fulddaekning; Line 2  package dk.daoas.fulddaekning;
2    
3  import java.io.File;  import java.io.File;
4  import java.io.FileReader;  import java.io.FileReader;
5    import java.util.List;
6  import java.util.Map;  import java.util.Map;
7  import java.util.Properties;  import java.util.Queue;
8  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
9    import java.util.logging.FileHandler;
10  import java.util.logging.Level;  import java.util.logging.Level;
11  import java.util.logging.Logger;  import java.util.logging.Logger;
12    import java.util.logging.SimpleFormatter;
13    
14  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;
15    
16  public class Lookup {  public class Lookup {
17    
18            static final String CONFIG_FILENAME = "fulddaekning.properties";
19    
20          static int max_workers;          static int max_workers;
21          static boolean verbose;          static boolean verbose;
22                    
23          static Properties conf;          static boolean rename_tables;
24            static String distributor;
25            
26            static SafeProperties conf;
27          static Logger logger = Logger.getLogger( Lookup.class.toString() );          static Logger logger = Logger.getLogger( Lookup.class.toString() );
28                    
29            int postnr;
30          Database db;          Database db;
31          WorkSet workset;                  
32            Adresse daekkedeAdresser[];
33            Queue<Adresse> queue;
34                    
35          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
36    
37                    
38            static Statistik flestDaekkede = new Statistik();
39            static Statistik flestIkkeDaekkede = new Statistik();
40                    
41          public Lookup(WorkSet workset, Database db) {          
42                  this.db = db;          static class Statistik {
43                  this.workset = workset;                  int postnr;
44                    int antalDaekkede = 0;
45                    int antalIkkeDaekkede = 0;
46                    
47                    @Override
48                    public String toString() {
49                            return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede="  + antalDaekkede;
50                    }
51          }          }
52                    
53                    
54            public Lookup(int postnr, Database db) {
55                    this.postnr = postnr;
56                    this.db = db;
57            }
58            
59            public static void saveStatistics(Statistik stat) {
60                    if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {
61                            flestDaekkede = stat;
62                    }
63                    if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {
64                            flestIkkeDaekkede = stat;
65                    }              
66            }
67                    
68          public void doLookup() throws BoundingBoxException {          public void doLookup() throws BoundingBoxException {
69                  logger.info("Starting for postnr=" + workset.postnr);                            logger.info("Starting for postnr=" + postnr);
70                                    
71                    Statistik stat = new Statistik();
72                                    
73                  long start1 = System.currentTimeMillis();                                long start1 = System.currentTimeMillis();              
74                  long start2 = 0;                  long start2 = 0;
75                                    
76                  try {                  try {
77                            BoundingBox bbox = db.getBoundingbox(postnr);
78                          logger.info("Starter beregning for " + workset.postnr);                          bbox.validateBbox();
79                            
80                            logger.info("Bbox=" + bbox);
81                            bbox.adjustToMargin();
82                            logger.info("Bbox Adjusted=" + bbox);
83                            
84                            logger.info("Henter daekkede adresser i " + postnr);
85                            daekkedeAdresser = db.hentDaekkedeAdresser(bbox);
86                            
87                            logger.info("Henter _ikke_ daekkede adresser i " + postnr);
88                            queue = db.hentIkkedaekkedeAdresser(postnr);
89                            
90                            stat.postnr = postnr;
91                            stat.antalDaekkede = daekkedeAdresser.length;
92                            stat.antalIkkeDaekkede = queue.size();
93                            
94                            saveStatistics(stat);
95                                                    
96                            
97                            logger.info("Starter beregning for " + postnr);
98                          start2 = System.currentTimeMillis();                          start2 = System.currentTimeMillis();
99                                                                                                                                                                                                                                    
100                          for (int i =0; i<max_workers; i++) {                          for (int i =0; i<max_workers; i++) {
# Line 55  public class Lookup { Line 109  public class Lookup {
109                                  Thread.sleep(10);//wait for worker threads                                  Thread.sleep(10);//wait for worker threads
110                          }                          }
111                                                    
112                            db.saveBatch();//Save any unsaved rows
113                            
114                                                    
115                  } catch(Exception e) {                  } catch(Exception e) {
116                          logger.log(Level.WARNING, "Exception during lookup", e);                          logger.log(Level.WARNING, "Exception during lookup", e);
# Line 68  public class Lookup { Line 124  public class Lookup {
124                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
125                                    
126    
127                  logger.info("Antal daekkede:" + workset.daekkedeAdresser.size() );                  logger.info( stat.toString() );
128                  logger.info("Antal ikke-daekkede:" + workset.queueSize );                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);
                 logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) );  
129          }          }
130                    
131          public void shutdownWorker(int workerid) {          public void shutdownWorker(int workerid) {
132                  logger.info("Shutting down worker: " + workerid);                  logger.info("Shutting down worker: " + workerid);
133                  workers.remove(workerid);                  LookupWorker key = workers.remove(workerid);
134                    
135                    if (key == null) {
136                            System.out.println("Error removing worker from set");
137                            System.exit(0);
138                    }
139          }          }
140                    
141          // Getters and setters          // Getters and setters
# Line 84  public class Lookup { Line 144  public class Lookup {
144          public Database getDb() {          public Database getDb() {
145                  return db;                  return db;
146          }          }
147            
148          public WorkSet getWorkSet() {  
149                  return workset;  
150            public Adresse[] getDaekkedeAdresser() {
151                    return daekkedeAdresser;
152            }
153    
154            public Queue<Adresse> getQueue() {
155                    return queue;
156          }          }
157    
158    
159            
160            
161            
162                    
163          /////////////////////////////          /////////////////////////////
164          // Static functions          // Static functions
# Line 98  public class Lookup { Line 168  public class Lookup {
168                    
169          public static void main(String[] args) throws Exception {          public static void main(String[] args) throws Exception {
170                                    
171                  File confFile = new File("fulddaekning.properties");                  //Setup j.u.l Logger
172                    Logger root = Logger.getLogger("");
173                    FileHandler fhandler = new FileHandler("fulddaekning.log"); // Ingen max størrelse, ingen rotation og ingen append
174                    fhandler.setFormatter( new SimpleFormatter() );
175                    root.addHandler( fhandler );
176                    
177                    
178                    
179                    
180                    File confFile = new File( CONFIG_FILENAME );
181                  if (! confFile.exists() ) {                  if (! confFile.exists() ) {
182                          logger.warning("Config file not found");                          logger.warning("Config file not found: " + CONFIG_FILENAME);
183                          System.exit(1);                          System.exit(1);
184                  }                  }
185                                                                    
186                  conf = new Properties();                  conf = new SafeProperties();
187                  conf.load( new FileReader(confFile) );                  conf.load( new FileReader(confFile) );
188                                    
189                  max_workers = Integer.parseInt( conf.getProperty("MAX_WORKERS") );                  max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );
190                  logger.info("Starting with MAX_WORKERS:" + max_workers);                  logger.info("Starting with MAX_WORKERS:" + max_workers);
191                                    
192                  verbose = Boolean.parseBoolean( conf.getProperty("VERBOSE") );                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );
193                  logger.info("Starting with VERBOSE:" + verbose);                  logger.info("Starting with VERBOSE:" + verbose);
194                                    
195                    rename_tables = Boolean.parseBoolean( conf.getSafeProperty("RENAMETABLES") );
196                    logger.info("Starting with RENAMETABLES:" + rename_tables);
197                    
198                    distributor = conf.getSafeProperty("DISTRIBUTOR");
199                    distributor = distributor.toUpperCase();
200                    Constants.init(distributor);
201    
202                    
203                  Database db = new Database(conf);                  Database db = new Database(conf);
204                  db.resetResultTable();                  
205                    
206    
207                                    
                 InputWorker inputWorker = new InputWorker(db);  
                 Thread inputThread = new Thread(inputWorker);  
                 inputThread.start();  
208                                    
209                                    
                 long start = System.currentTimeMillis();  
                 boolean doContinue = true;  
210                                    
211                  while (inputWorker.queue.isEmpty() == true) {                  long start = System.currentTimeMillis();
                         Thread.sleep(3); //Vent indtil at første arbejds sæt er på plads  
                 }  
212                                    
213                    logger.info("Finder postnumre");
214                    List<Integer> postnumre = db.hentPostnumre();
215                                    
216                  while ( doContinue == true ) {                  // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen
217                          WorkSet set = inputWorker.queue.poll();                  for(Integer postnr : postnumre) { //
218                                                    logger.info("Validerer BBox for " + postnr);
219                          if (set != null) {                          BoundingBox bbox = db.getBoundingbox(postnr);
220                                  Lookup lookup = new Lookup(set, db);                          bbox.validateBbox();
                                 lookup.doLookup();                                
                         } else {  
                                 System.out.println("Buffer underrun");  
                                 Thread.sleep(10);  
                         }  
                           
                         if ( inputWorker.isDone == true && inputWorker.queue.isEmpty() == true)  
                                 doContinue = false;  
221                  }                  }
222                                    
223                  /*logger.info("Finder postnumre");                  
224                  List<Integer> postnumre = db.hentPostnumre();                  //pre-check er ok - reset tmp tabel og start søgningen
225                    db.resetResultTable();
226                                    
227                  for(Integer postnr : postnumre) {                  for(Integer postnr : postnumre) {
228                          Lookup lookup = new Lookup(postnr, db);                          Lookup lookup = new Lookup(postnr, db);
229                          lookup.doLookup();                                                lookup.doLookup();                      
230                  }*/                  }
                   
                 long now = System.currentTimeMillis();  
231                                    
232                  logger.info("Fuld load done : " + (now-start) );                  if (rename_tables) {
233                            db.renameResultTables();
234                    } else {
235                            logger.info( "Rename tables is disabled !!!" );
236                    }
237                                    
238                    long now = System.currentTimeMillis();
239                    long elapsed = now - start ;
240    
241                    logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);
242                    logger.info("Flest Dækkede, " + flestDaekkede);
243                    logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );
244    
245                                    
246                  //Lookup lookup = new Lookup(7400, db);                  /*
247                  //lookup.doLookup();                              /// Test
248                    db.resetResultTable();
249                    Lookup lookup = new Lookup(2750, db);
250                    lookup.doLookup();              
251                    long now = System.currentTimeMillis();
252                    long elapsed = now - start ;
253                    logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );*/
254          }          }
255                    
256            static String formatMilliSeconds(long milliseconds) {
257                            int mseconds = (int) milliseconds % 1000;
258                    int seconds = (int) (milliseconds / 1000) % 60 ;
259                    int minutes = (int) ((milliseconds / (1000*60)) % 60);
260                    int hours   = (int) ((milliseconds / (1000*60*60)) % 24);
261                    
262                    return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);
263            }
264                    
265  }  }

Legend:
Removed from v.2147  
changed lines
  Added in v.2219

  ViewVC Help
Powered by ViewVC 1.1.20