/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2152 by torben, Wed May 7 08:10:45 2014 UTC revision 2213 by torben, Fri Sep 12 06:40:25 2014 UTC
# Line 2  package dk.daoas.fulddaekning; Line 2  package dk.daoas.fulddaekning;
2    
3  import java.io.File;  import java.io.File;
4  import java.io.FileReader;  import java.io.FileReader;
 import java.util.ArrayList;  
5  import java.util.List;  import java.util.List;
6  import java.util.Map;  import java.util.Map;
 import java.util.Properties;  
7  import java.util.Queue;  import java.util.Queue;
8  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
9    import java.util.logging.FileHandler;
10  import java.util.logging.Level;  import java.util.logging.Level;
11  import java.util.logging.Logger;  import java.util.logging.Logger;
12    
13  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;
14    
15  public class Lookup {  public class Lookup {
16    
17            static final String CONFIG_FILENAME = "fulddaekning.properties";
18    
19          static int max_workers;          static int max_workers;
20          static boolean verbose;          static boolean verbose;
21                    
22          static Properties conf;          static boolean rename_tables;
23            static String distributor;
24            
25            static SafeProperties conf;
26          static Logger logger = Logger.getLogger( Lookup.class.toString() );          static Logger logger = Logger.getLogger( Lookup.class.toString() );
27                    
28          int postnr;          int postnr;
29          Database db;          Database db;
30                                    
31          ArrayList<Adresse> daekkedeAdresser;          Adresse daekkedeAdresser[];
32          Queue<Adresse> queue;          Queue<Adresse> queue;
33                    
34          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
35    
36                    
37            static Statistik flestDaekkede = new Statistik();
38            static Statistik flestIkkeDaekkede = new Statistik();
39            
40            
41            static class Statistik {
42                    int postnr;
43                    int antalDaekkede = 0;
44                    int antalIkkeDaekkede = 0;
45                    
46                    @Override
47                    public String toString() {
48                            return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede="  + antalDaekkede;
49                    }
50            }
51            
52                    
53          public Lookup(int postnr, Database db) {          public Lookup(int postnr, Database db) {
54                  this.postnr = postnr;                  this.postnr = postnr;
55                  this.db = db;                  this.db = db;
56          }          }
57                    
58                    public static void saveStatistics(Statistik stat) {
59                    if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {
60                            flestDaekkede = stat;
61                    }
62                    if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {
63                            flestIkkeDaekkede = stat;
64                    }              
65            }
66                    
67          public void doLookup() throws BoundingBoxException {          public void doLookup() throws BoundingBoxException {
68                  logger.info("Starting for postnr=" + postnr);                  logger.info("Starting for postnr=" + postnr);
69                                    
70                  int queueSize=-1;                  Statistik stat = new Statistik();
71                                                    
72                  long start1 = System.currentTimeMillis();                                long start1 = System.currentTimeMillis();              
73                  long start2 = 0;                  long start2 = 0;
74                                    
# Line 58  public class Lookup { Line 85  public class Lookup {
85                                                    
86                          logger.info("Henter _ikke_ daekkede adresser i " + postnr);                          logger.info("Henter _ikke_ daekkede adresser i " + postnr);
87                          queue = db.hentIkkedaekkedeAdresser(postnr);                          queue = db.hentIkkedaekkedeAdresser(postnr);
                         queueSize = queue.size();  
88                                                    
89                            stat.postnr = postnr;
90                            stat.antalDaekkede = daekkedeAdresser.length;
91                            stat.antalIkkeDaekkede = queue.size();
92                            
93                            saveStatistics(stat);
94                                                    
95                                                    
96                          logger.info("Starter beregning for " + postnr);                          logger.info("Starter beregning for " + postnr);
97                          start2 = System.currentTimeMillis();                          start2 = System.currentTimeMillis();
# Line 88  public class Lookup { Line 120  public class Lookup {
120                  }                  }
121                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
122                                    
123                  logger.info("Antal daekkede:" + daekkedeAdresser.size() );  
124                  logger.info("Antal ikke-daekkede:" + queueSize );                  logger.info( stat.toString() );
125                                    logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);
                 logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) );  
126          }          }
127                    
128          public void shutdownWorker(int workerid) {          public void shutdownWorker(int workerid) {
129                  logger.info("Shutting down worker: " + workerid);                  logger.info("Shutting down worker: " + workerid);
130                  workers.remove(workerid);                  LookupWorker key = workers.remove(workerid);
131                    
132                    if (key == null) {
133                            System.out.println("Error removing worker from set");
134                            System.exit(0);
135                    }
136          }          }
137                    
138          // Getters and setters          // Getters and setters
# Line 108  public class Lookup { Line 144  public class Lookup {
144    
145    
146    
147          public ArrayList<Adresse> getDaekkedeAdresser() {          public Adresse[] getDaekkedeAdresser() {
148                  return daekkedeAdresser;                  return daekkedeAdresser;
149          }          }
150    
# Line 129  public class Lookup { Line 165  public class Lookup {
165                    
166          public static void main(String[] args) throws Exception {          public static void main(String[] args) throws Exception {
167                                    
168                  File confFile = new File("fulddaekning.properties");                  //Setup j.u.l Logger
169                    Logger root = Logger.getLogger("");
170                    FileHandler fhandler = new FileHandler("fulddaekning.log"); // Ingen max størrelse, ingen rotation og ingen append
171                    root.addHandler( fhandler );
172                    
173                    
174                    
175                    
176                    
177                    File confFile = new File( CONFIG_FILENAME );
178                  if (! confFile.exists() ) {                  if (! confFile.exists() ) {
179                          logger.warning("Config file not found");                          logger.warning("Config file not found: " + CONFIG_FILENAME);
180                          System.exit(1);                          System.exit(1);
181                  }                  }
182                                                                    
183                  conf = new Properties();                  conf = new SafeProperties();
184                  conf.load( new FileReader(confFile) );                  conf.load( new FileReader(confFile) );
185                                    
186                  max_workers = Integer.parseInt( conf.getProperty("MAX_WORKERS") );                  max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );
187                  logger.info("Starting with MAX_WORKERS:" + max_workers);                  logger.info("Starting with MAX_WORKERS:" + max_workers);
188                                    
189                  verbose = Boolean.parseBoolean( conf.getProperty("VERBOSE") );                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );
190                  logger.info("Starting with VERBOSE:" + verbose);                  logger.info("Starting with VERBOSE:" + verbose);
191                                    
192                    rename_tables = Boolean.parseBoolean( conf.getSafeProperty("RENAMETABLES") );
193                    logger.info("Starting with RENAMETABLES:" + rename_tables);
194                    
195                    distributor = conf.getSafeProperty("DISTRIBUTOR");
196                    distributor = distributor.toUpperCase();
197                    Constants.init(distributor);
198    
199                    
200                  Database db = new Database(conf);                  Database db = new Database(conf);
201                                    
202                  db.resetResultTable();                  
203    
204                                    
205                                    
# Line 157  public class Lookup { Line 210  public class Lookup {
210                  logger.info("Finder postnumre");                  logger.info("Finder postnumre");
211                  List<Integer> postnumre = db.hentPostnumre();                  List<Integer> postnumre = db.hentPostnumre();
212                                    
213                    // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen
214                    for(Integer postnr : postnumre) { //
215                            logger.info("Validerer BBox for " + postnr);
216                            BoundingBox bbox = db.getBoundingbox(postnr);
217                            bbox.validateBbox();
218                    }
219                    
220                    
221                    //pre-check er ok - reset tmp tabel og start søgningen
222                    db.resetResultTable();
223                    
224                  for(Integer postnr : postnumre) {                  for(Integer postnr : postnumre) {
225                          Lookup lookup = new Lookup(postnr, db);                          Lookup lookup = new Lookup(postnr, db);
226                          lookup.doLookup();                                                lookup.doLookup();                      
227                  }                  }
228                                    
229                  long now = System.currentTimeMillis();                  if (rename_tables) {
230                            db.renameResultTables();
231                    } else {
232                            logger.info( "Rename tables is disabled !!!" );
233                    }
234                                    
235                    long now = System.currentTimeMillis();
236    
237                    logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);
238                    logger.info("Flest Dækkede, " + flestDaekkede);
239                  logger.info("Fuld load done : " + (now-start) );                  logger.info("Fuld load done : " + (now-start) );
240    
241                                    
242                                    /*
243                  //Lookup lookup = new Lookup(7400, db);                  /// Test
244                  //lookup.doLookup();                              db.resetResultTable();
245                    Lookup lookup = new Lookup(2750, db);
246                    lookup.doLookup();              
247                    long now = System.currentTimeMillis();
248                    logger.info("Fuld load done : " + (now-start) );*/
249          }          }
250                                    
251  }  }
Legend:
Removed from v.2152  
changed lines
  Added in v.2213
  ViewVC Help
Powered by ViewVC 1.1.20