/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2150 by torben, Wed May 7 07:39:26 2014 UTC revision 2241 by torben, Wed Dec 10 09:50:33 2014 UTC
# Line 1  Line 1 
1  package dk.daoas.fulddaekning;  package dk.daoas.fulddaekning;
2    
 import java.io.File;  
 import java.io.FileReader;  
 import java.io.IOException;  
 import java.sql.Connection;  
 import java.sql.DriverManager;  
 import java.sql.SQLException;  
 import java.util.ArrayList;  
 import java.util.List;  
3  import java.util.Map;  import java.util.Map;
 import java.util.Properties;  
4  import java.util.Queue;  import java.util.Queue;
5  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
6  import java.util.logging.Level;  import java.util.logging.Level;
# Line 18  import java.util.logging.Logger; Line 9  import java.util.logging.Logger;
9  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;
10    
11  public class Lookup {  public class Lookup {
12          static int max_workers;  
13          static boolean verbose;          
14                    
15          static Properties conf;          final static Logger logger = Logger.getLogger( Lookup.class.toString() );
         static Logger logger = Logger.getLogger( Lookup.class.toString() );  
16                    
17          int postnr;          String postnr;
18          Database db;          Database db;
19                                    
20          ArrayList<Adresse> daekkedeAdresser;          Adresse daekkedeAdresser[];
21          Queue<Adresse> queue;          Queue<Adresse> queue;
22                    
23          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
24    
25                    
26    
27                    
28                    
29          public Lookup(int postnr, Database db) {          public Lookup(String postnr, Database db) {
30                  this.postnr = postnr;                  this.postnr = postnr;
31                  this.db = db;                  this.db = db;
32          }          }
33                    
34            
35                    
36          public void doLookup() throws BoundingBoxException {          public void doLookup() throws BoundingBoxException {
37                  logger.info("Starting for postnr=" + postnr);                  logger.info("Starting for postnr=" + postnr);
38                                    
39                  int queueSize=-1;                  Statistik stat = new Statistik();
40                                                    
41                  long start1 = System.currentTimeMillis();                                long start1 = System.currentTimeMillis();              
42                  long start2 = 0;                  long start2 = 0;
43                                    
44                  try {                  try {
45                            
46                            logger.info("Henter _ikke_ daekkede adresser i " + postnr);
47                            queue = db.hentIkkedaekkedeAdresser(postnr);
48                            if (queue.size() == 0) {
49                                    logger.info("Fandt ikke nogen _ikke_ daekkede adresser i " + postnr);
50                                    return;
51                            }
52                            
53                          BoundingBox bbox = db.getBoundingbox(postnr);                          BoundingBox bbox = db.getBoundingbox(postnr);
54                          bbox.validateBbox();                          bbox.validateBbox();
55                                                    
# Line 60  public class Lookup { Line 60  public class Lookup {
60                          logger.info("Henter daekkede adresser i " + postnr);                          logger.info("Henter daekkede adresser i " + postnr);
61                          daekkedeAdresser = db.hentDaekkedeAdresser(bbox);                          daekkedeAdresser = db.hentDaekkedeAdresser(bbox);
62                                                    
63                          logger.info("Henter _ikke_ daekkede adresser i " + postnr);                          stat.postnr = postnr;
64                          queue = db.hentIkkedaekkedeAdresser(postnr);                          stat.antalDaekkede = daekkedeAdresser.length;
65                          queueSize = queue.size();                          stat.antalIkkeDaekkede = queue.size();
66                                                    stat.totalDataset = stat.antalDaekkede * stat.antalIkkeDaekkede;
67                                                                            
68                                                    
69                          logger.info("Starter beregning for " + postnr);                          logger.info("Starter beregning for " + postnr);
70                          start2 = System.currentTimeMillis();                          start2 = System.currentTimeMillis();
71                                                                                                                                                                                                                                    
72                          for (int i =0; i<max_workers; i++) {                          for (int i =0; i < LookupMain.max_workers; i++) {
73                                  LookupWorker worker = new LookupWorker(i, this);                                  LookupWorker worker = new LookupWorker(i, this);
74                                  Thread t = new Thread(worker);                                  Thread t = new Thread(worker);
75                                  t.start();                                  t.start();
# Line 80  public class Lookup { Line 81  public class Lookup {
81                                  Thread.sleep(10);//wait for worker threads                                  Thread.sleep(10);//wait for worker threads
82                          }                          }
83                                                    
84                            db.saveBatch();//Save any unsaved rows
85                            
86                                                    
87                  } catch(Exception e) {                  } catch(Exception e) {
88                          logger.log(Level.WARNING, "Exception during lookup", e);                          logger.log(Level.WARNING, "Exception during lookup", e);
# Line 92  public class Lookup { Line 95  public class Lookup {
95                  }                  }
96                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
97                                    
98                  logger.info("Antal daekkede:" + daekkedeAdresser.size() );                  stat.forbrugtTid = (now-start1);
99                  logger.info("Antal ikke-daekkede:" + queueSize );                  LookupMain.saveStatistics(stat);
100                    
101                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) );                  logger.info( stat.toString() );
102                    logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);
103          }          }
104                    
105          public void shutdownWorker(int workerid) {          public void shutdownWorker(int workerid) {
106                  logger.info("Shutting down worker: " + workerid);                  //logger.info("Shutting down worker: " + workerid);
107                  workers.remove(workerid);                  LookupWorker key = workers.remove(workerid);
108                    
109                    if (key == null) {
110                            System.out.println("Error removing worker from set " + workerid);
111                            System.exit(0);
112                    }
113          }          }
114                    
115          // Getters and setters          // Getters and setters
# Line 112  public class Lookup { Line 121  public class Lookup {
121    
122    
123    
124          public ArrayList<Adresse> getDaekkedeAdresser() {          public Adresse[] getDaekkedeAdresser() {
125                  return daekkedeAdresser;                  return daekkedeAdresser;
126          }          }
127    
# Line 121  public class Lookup { Line 130  public class Lookup {
130          }          }
131    
132    
           
           
           
           
         /////////////////////////////  
         // Static functions  
   
   
   
           
         public static void main(String[] args) throws Exception {  
                   
                 File confFile = new File("fulddaekning.properties");  
                 if (! confFile.exists() ) {  
                         logger.warning("Config file not found");  
                         System.exit(1);  
                 }  
                                   
                 conf = new Properties();  
                 conf.load( new FileReader(confFile) );  
                   
                 max_workers = Integer.parseInt( conf.getProperty("MAX_WORKERS") );  
                 logger.info("Starting with MAX_WORKERS:" + max_workers);  
                   
                 verbose = Boolean.parseBoolean( conf.getProperty("VERBOSE") );  
                 logger.info("Starting with VERBOSE:" + verbose);  
                   
                 Connection conn = getConnection();  
                 Database db = new Database(conn);  
   
                   
                   
                   
                   
                 long start = System.currentTimeMillis();  
                   
                 logger.info("Finder postnumre");  
                 List<Integer> postnumre = db.hentPostnumre();  
                   
                 for(Integer postnr : postnumre) {  
                         Lookup lookup = new Lookup(postnr, db);  
                         lookup.doLookup();                        
                 }  
                   
                 long now = System.currentTimeMillis();  
                   
                 logger.info("Fuld load done : " + (now-start) );  
                   
                   
                 //Lookup lookup = new Lookup(7400, db);  
                 //lookup.doLookup();              
         }  
           
         public static Connection getConnection() throws SQLException, IOException {  
                                   
                 String db_host = conf.getProperty("DB_HOST");  
                 String db_user = conf.getProperty("DB_USER");  
                 String db_pass = conf.getProperty("DB_PASS");  
   
                   
                   
   
             Connection conn = null;  
             Properties connectionProps = new Properties();  
             connectionProps.put("user", db_user);  
             connectionProps.put("password", db_pass);  
   
                 conn = DriverManager.getConnection(  
                            "jdbc:mysql://" +  
                            db_host +  
                            ":3306/",  
                            connectionProps);  
             logger.info("Connected to database");  
             return conn;  
         }  
           
133  }  }
Legend:
Removed from v.2150  
changed lines
  Added in v.2241
  ViewVC Help
Powered by ViewVC 1.1.20