/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2149 by torben, Wed Apr 30 14:18:43 2014 UTC revision 2150 by torben, Wed May 7 07:39:26 2014 UTC
# Line 2  package dk.daoas.fulddaekning; Line 2  package dk.daoas.fulddaekning;
2    
3  import java.io.File;  import java.io.File;
4  import java.io.FileReader;  import java.io.FileReader;
5    import java.io.IOException;
6    import java.sql.Connection;
7    import java.sql.DriverManager;
8    import java.sql.SQLException;
9    import java.util.ArrayList;
10    import java.util.List;
11  import java.util.Map;  import java.util.Map;
12  import java.util.Properties;  import java.util.Properties;
13    import java.util.Queue;
14  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
15  import java.util.logging.Level;  import java.util.logging.Level;
16  import java.util.logging.Logger;  import java.util.logging.Logger;
# Line 17  public class Lookup { Line 24  public class Lookup {
24          static Properties conf;          static Properties conf;
25          static Logger logger = Logger.getLogger( Lookup.class.toString() );          static Logger logger = Logger.getLogger( Lookup.class.toString() );
26                    
27            int postnr;
28          Database db;          Database db;
29          WorkSet workset;                  
30            ArrayList<Adresse> daekkedeAdresser;
31            Queue<Adresse> queue;
32                    
33          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
34    
35                    
36                    
37          public Lookup(WorkSet workset, Database db) {          public Lookup(int postnr, Database db) {
38                    this.postnr = postnr;
39                  this.db = db;                  this.db = db;
                 this.workset = workset;  
40          }          }
41                    
42                    
43                    
44          public void doLookup() throws BoundingBoxException {          public void doLookup() throws BoundingBoxException {
45                  logger.info("Starting for postnr=" + workset.postnr);                            logger.info("Starting for postnr=" + postnr);
46                    
47                    int queueSize=-1;
48                                    
49                  long start1 = System.currentTimeMillis();                                long start1 = System.currentTimeMillis();              
50                  long start2 = 0;                  long start2 = 0;
51                                    
52                  try {                  try {
53                            BoundingBox bbox = db.getBoundingbox(postnr);
54                          logger.info("Starter beregning for " + workset.postnr);                          bbox.validateBbox();
55                            
56                            logger.info("Bbox=" + bbox);
57                            bbox.adjustToMargin();
58                            logger.info("Bbox Adjusted=" + bbox);
59                            
60                            logger.info("Henter daekkede adresser i " + postnr);
61                            daekkedeAdresser = db.hentDaekkedeAdresser(bbox);
62                            
63                            logger.info("Henter _ikke_ daekkede adresser i " + postnr);
64                            queue = db.hentIkkedaekkedeAdresser(postnr);
65                            queueSize = queue.size();
66                            
67                            
68                            logger.info("Starter beregning for " + postnr);
69                          start2 = System.currentTimeMillis();                          start2 = System.currentTimeMillis();
70                                                                                                                                                                                                                                    
71                          for (int i =0; i<max_workers; i++) {                          for (int i =0; i<max_workers; i++) {
# Line 67  public class Lookup { Line 92  public class Lookup {
92                  }                  }
93                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
94                                    
95                    logger.info("Antal daekkede:" + daekkedeAdresser.size() );
96                  logger.info("Antal daekkede:" + workset.daekkedeAdresser.size() );                  logger.info("Antal ikke-daekkede:" + queueSize );
97                  logger.info("Antal ikke-daekkede:" + workset.queueSize );                  
98                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) );                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) );
99          }          }
100                    
# Line 84  public class Lookup { Line 109  public class Lookup {
109          public Database getDb() {          public Database getDb() {
110                  return db;                  return db;
111          }          }
112            
113          public WorkSet getWorkSet() {  
114                  return workset;  
115            public ArrayList<Adresse> getDaekkedeAdresser() {
116                    return daekkedeAdresser;
117          }          }
118    
119            public Queue<Adresse> getQueue() {
120                    return queue;
121            }
122    
123    
124            
125            
126            
127                    
128          /////////////////////////////          /////////////////////////////
129          // Static functions          // Static functions
# Line 113  public class Lookup { Line 148  public class Lookup {
148                  verbose = Boolean.parseBoolean( conf.getProperty("VERBOSE") );                  verbose = Boolean.parseBoolean( conf.getProperty("VERBOSE") );
149                  logger.info("Starting with VERBOSE:" + verbose);                  logger.info("Starting with VERBOSE:" + verbose);
150                                    
151                  Database db = new Database(conf);                  Connection conn = getConnection();
152                  db.resetResultTable();                  Database db = new Database(conn);
153    
154                                    
                 InputWorker inputWorker = new InputWorker(db);  
                 Thread inputThread = new Thread(inputWorker);  
                 inputThread.start();  
155                                    
156                                    
                 long start = System.currentTimeMillis();  
                 boolean doContinue = true;  
                   
                 while (inputWorker.queue.isEmpty() == true) {  
                         Thread.sleep(3); //Vent indtil at første arbejds sæt er på plads  
                 }  
157                                    
158                    long start = System.currentTimeMillis();
159                                    
160                  while ( doContinue == true ) {                  logger.info("Finder postnumre");
                         WorkSet set = inputWorker.queue.poll();  
                           
                         if (set != null) {  
                                 Lookup lookup = new Lookup(set, db);  
                                 lookup.doLookup();                                
                         } else {  
                                 System.out.println("Buffer underrun");  
                                 Thread.sleep(100);  
                         }  
                           
                         if ( inputWorker.isDone == true && inputWorker.queue.isEmpty() == true)  
                                 doContinue = false;  
                 }  
                   
                 /*logger.info("Finder postnumre");  
161                  List<Integer> postnumre = db.hentPostnumre();                  List<Integer> postnumre = db.hentPostnumre();
162                                    
163                  for(Integer postnr : postnumre) {                  for(Integer postnr : postnumre) {
164                          Lookup lookup = new Lookup(postnr, db);                          Lookup lookup = new Lookup(postnr, db);
165                          lookup.doLookup();                                                lookup.doLookup();                      
166                  }*/                  }
167                                    
168                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
169                                    
                 logger.info("Largest workset: " + inputWorker.largestWorkSetPostnr + "=" + inputWorker.largestWorkSetCount);  
170                  logger.info("Fuld load done : " + (now-start) );                  logger.info("Fuld load done : " + (now-start) );
171                                    
172                                    
# Line 163  public class Lookup { Line 174  public class Lookup {
174                  //lookup.doLookup();                              //lookup.doLookup();            
175          }          }
176                    
177            public static Connection getConnection() throws SQLException, IOException {
178                                    
179                    String db_host = conf.getProperty("DB_HOST");
180                    String db_user = conf.getProperty("DB_USER");
181                    String db_pass = conf.getProperty("DB_PASS");
182    
183                    
184                    
185    
186                Connection conn = null;
187                Properties connectionProps = new Properties();
188                connectionProps.put("user", db_user);
189                connectionProps.put("password", db_pass);
190    
191                    conn = DriverManager.getConnection(
192                               "jdbc:mysql://" +
193                               db_host +
194                               ":3306/",
195                               connectionProps);
196                logger.info("Connected to database");
197                return conn;
198            }
199                    
200  }  }
Legend:
Removed from v.2149  
changed lines
  Added in v.2150
  ViewVC Help
Powered by ViewVC 1.1.20