/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2151 by torben, Wed May 7 07:59:03 2014 UTC revision 2207 by torben, Thu Sep 11 16:42:08 2014 UTC
# Line 2  package dk.daoas.fulddaekning; Line 2  package dk.daoas.fulddaekning;
2    
3  import java.io.File;  import java.io.File;
4  import java.io.FileReader;  import java.io.FileReader;
 import java.io.IOException;  
 import java.sql.Connection;  
 import java.sql.DriverManager;  
 import java.sql.SQLException;  
5  import java.util.ArrayList;  import java.util.ArrayList;
6  import java.util.List;  import java.util.List;
7  import java.util.Map;  import java.util.Map;
# Line 18  import java.util.logging.Logger; Line 14  import java.util.logging.Logger;
14  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;
15    
16  public class Lookup {  public class Lookup {
17    
18            static final String CONFIG_FILENAME = "fulddaekning.properties";
19    
20          static int max_workers;          static int max_workers;
21          static boolean verbose;          static boolean verbose;
22                    
23          static Properties conf;          static boolean rename_tables;
24            static String distributor;
25            
26            static SafeProperties conf;
27          static Logger logger = Logger.getLogger( Lookup.class.toString() );          static Logger logger = Logger.getLogger( Lookup.class.toString() );
28                    
29          int postnr;          int postnr;
30          Database db;          Database db;
31                                    
32          ArrayList<Adresse> daekkedeAdresser;          Adresse daekkedeAdresser[];
33          Queue<Adresse> queue;          Queue<Adresse> queue;
34                    
35          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
36    
37                    
38            static Statistik flestDaekkede = new Statistik();
39            static Statistik flestIkkeDaekkede = new Statistik();
40            
41            
42            static class Statistik {
43                    int postnr;
44                    int antalDaekkede = 0;
45                    int antalIkkeDaekkede = 0;
46                    
47                    @Override
48                    public String toString() {
49                            return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede="  + antalDaekkede;
50                    }
51            }
52            
53                    
54          public Lookup(int postnr, Database db) {          public Lookup(int postnr, Database db) {
55                  this.postnr = postnr;                  this.postnr = postnr;
56                  this.db = db;                  this.db = db;
57          }          }
58                    
59                    public static void saveStatistics(Statistik stat) {
60                    if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {
61                            flestDaekkede = stat;
62                    }
63                    if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {
64                            flestIkkeDaekkede = stat;
65                    }              
66            }
67                    
68          public void doLookup() throws BoundingBoxException {          public void doLookup() throws BoundingBoxException {
69                  logger.info("Starting for postnr=" + postnr);                  logger.info("Starting for postnr=" + postnr);
70                                    
71                  int queueSize=-1;                  Statistik stat = new Statistik();
72                                                    
73                  long start1 = System.currentTimeMillis();                                long start1 = System.currentTimeMillis();              
74                  long start2 = 0;                  long start2 = 0;
75                                    
# Line 62  public class Lookup { Line 86  public class Lookup {
86                                                    
87                          logger.info("Henter _ikke_ daekkede adresser i " + postnr);                          logger.info("Henter _ikke_ daekkede adresser i " + postnr);
88                          queue = db.hentIkkedaekkedeAdresser(postnr);                          queue = db.hentIkkedaekkedeAdresser(postnr);
                         queueSize = queue.size();  
89                                                    
90                            stat.postnr = postnr;
91                            stat.antalDaekkede = daekkedeAdresser.length;
92                            stat.antalIkkeDaekkede = queue.size();
93                            
94                            saveStatistics(stat);
95                                                    
96                                                    
97                          logger.info("Starter beregning for " + postnr);                          logger.info("Starter beregning for " + postnr);
98                          start2 = System.currentTimeMillis();                          start2 = System.currentTimeMillis();
# Line 92  public class Lookup { Line 121  public class Lookup {
121                  }                  }
122                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
123                                    
124                  logger.info("Antal daekkede:" + daekkedeAdresser.size() );  
125                  logger.info("Antal ikke-daekkede:" + queueSize );                  logger.info( stat.toString() );
126                                    logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);
                 logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) );  
127          }          }
128                    
129          public void shutdownWorker(int workerid) {          public void shutdownWorker(int workerid) {
130                  logger.info("Shutting down worker: " + workerid);                  logger.info("Shutting down worker: " + workerid);
131                  workers.remove(workerid);                  LookupWorker key = workers.remove(workerid);
132                    
133                    if (key == null) {
134                            System.out.println("Error removing worker from set");
135                            System.exit(0);
136                    }
137          }          }
138                    
139          // Getters and setters          // Getters and setters
# Line 112  public class Lookup { Line 145  public class Lookup {
145    
146    
147    
148          public ArrayList<Adresse> getDaekkedeAdresser() {          public Adresse[] getDaekkedeAdresser() {
149                  return daekkedeAdresser;                  return daekkedeAdresser;
150          }          }
151    
# Line 133  public class Lookup { Line 166  public class Lookup {
166                    
167          public static void main(String[] args) throws Exception {          public static void main(String[] args) throws Exception {
168                                    
169                  File confFile = new File("fulddaekning.properties");                  File confFile = new File( CONFIG_FILENAME );
170                  if (! confFile.exists() ) {                  if (! confFile.exists() ) {
171                          logger.warning("Config file not found");                          logger.warning("Config file not found: " + CONFIG_FILENAME);
172                          System.exit(1);                          System.exit(1);
173                  }                  }
174                                                                    
175                  conf = new Properties();                  conf = new SafeProperties();
176                  conf.load( new FileReader(confFile) );                  conf.load( new FileReader(confFile) );
177                                    
178                  max_workers = Integer.parseInt( conf.getProperty("MAX_WORKERS") );                  max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );
179                  logger.info("Starting with MAX_WORKERS:" + max_workers);                  logger.info("Starting with MAX_WORKERS:" + max_workers);
180                                    
181                  verbose = Boolean.parseBoolean( conf.getProperty("VERBOSE") );                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );
182                  logger.info("Starting with VERBOSE:" + verbose);                  logger.info("Starting with VERBOSE:" + verbose);
183                                    
184                  Connection conn = getConnection();                  rename_tables = Boolean.parseBoolean( conf.getSafeProperty("RENAMETABLES") );
185                  Database db = new Database(conn);                  logger.info("Starting with RENAMETABLES:" + rename_tables);
186                                    
187                  db.resetResultTable();                  distributor = conf.getSafeProperty("DISTRIBUTOR");
188                    distributor = distributor.toUpperCase();
189                    Constants.init(distributor);
190    
191                                    
192                    Database db = new Database(conf);
193                    
194                    
195    
196                                    
197                                    
198                                    
                 long start = System.currentTimeMillis();  
199                                    
200                    long start = System.currentTimeMillis();
201                    /*
202                  logger.info("Finder postnumre");                  logger.info("Finder postnumre");
203                  List<Integer> postnumre = db.hentPostnumre();                  List<Integer> postnumre = db.hentPostnumre();
204                                    
205                    // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen
206                    for(Integer postnr : postnumre) { //
207                            logger.info("Validerer BBox for " + postnr);
208                            BoundingBox bbox = db.getBoundingbox(postnr);
209                            bbox.validateBbox();
210                    }
211                    
212                    
213                    //pre-check er ok - reset tmp tabel og start søgningen
214                    db.resetResultTable();
215                    
216                  for(Integer postnr : postnumre) {                  for(Integer postnr : postnumre) {
217                          Lookup lookup = new Lookup(postnr, db);                          Lookup lookup = new Lookup(postnr, db);
218                          lookup.doLookup();                                                lookup.doLookup();                      
219                  }                  }
220                                    
221                  long now = System.currentTimeMillis();                  if (rename_tables) {
222                            db.renameResultTables();
223                    } else {
224                            logger.info( "Rename tables is disabled !!!" );
225                    }
226                                    
227                    long now = System.currentTimeMillis();
228    
229                    logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);
230                    logger.info("Flest Dækkede, " + flestDaekkede);
231                  logger.info("Fuld load done : " + (now-start) );                  logger.info("Fuld load done : " + (now-start) );
232    */
233                                    
234                                    
235                  //Lookup lookup = new Lookup(7400, db);                  /// Test
236                  //lookup.doLookup();                              db.resetResultTable();
237                    Lookup lookup = new Lookup(2750, db);
238                    lookup.doLookup();              
239                    long now = System.currentTimeMillis();
240                    logger.info("Fuld load done : " + (now-start) );
241          }          }
           
         public static Connection getConnection() throws SQLException, IOException {  
                                   
                 String db_host = conf.getProperty("DB_HOST");  
                 String db_user = conf.getProperty("DB_USER");  
                 String db_pass = conf.getProperty("DB_PASS");  
   
242                                    
                   
   
             Connection conn = null;  
             Properties connectionProps = new Properties();  
             connectionProps.put("user", db_user);  
             connectionProps.put("password", db_pass);  
   
                 conn = DriverManager.getConnection(  
                            "jdbc:mysql://" +  
                            db_host +  
                            ":3306/",  
                            connectionProps);  
             logger.info("Connected to database");  
             return conn;  
         }  
           
243  }  }
Legend:
Removed from v.2151  
changed lines
  Added in v.2207
  ViewVC Help
Powered by ViewVC 1.1.20