/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/Lookup.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2148 by torben, Wed Apr 30 13:34:24 2014 UTC revision 2158 by torben, Sat May 10 09:26:42 2014 UTC
# Line 2  package dk.daoas.fulddaekning; Line 2  package dk.daoas.fulddaekning;
2    
3  import java.io.File;  import java.io.File;
4  import java.io.FileReader;  import java.io.FileReader;
5    import java.util.ArrayList;
6    import java.util.List;
7  import java.util.Map;  import java.util.Map;
8  import java.util.Properties;  import java.util.Properties;
9    import java.util.Queue;
10  import java.util.concurrent.ConcurrentHashMap;  import java.util.concurrent.ConcurrentHashMap;
11  import java.util.logging.Level;  import java.util.logging.Level;
12  import java.util.logging.Logger;  import java.util.logging.Logger;
# Line 11  import java.util.logging.Logger; Line 14  import java.util.logging.Logger;
14  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;  import dk.daoas.fulddaekning.BoundingBox.BoundingBoxException;
15    
16  public class Lookup {  public class Lookup {
17    
18            static final String CONFIG_FILENAME = "fulddaekning.properties";
19    
20          static int max_workers;          static int max_workers;
21          static boolean verbose;          static boolean verbose;
22                    
23          static Properties conf;          static SafeProperties conf;
24          static Logger logger = Logger.getLogger( Lookup.class.toString() );          static Logger logger = Logger.getLogger( Lookup.class.toString() );
25                    
26            int postnr;
27          Database db;          Database db;
28          WorkSet workset;                  
29            ArrayList<Adresse> daekkedeAdresser;
30            Queue<Adresse> queue;
31                    
32          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();          Map<Integer, LookupWorker> workers = new ConcurrentHashMap<Integer, LookupWorker>();
33    
34                    
35            static Statistik flestDaekkede = new Statistik();
36            static Statistik flestIkkeDaekkede = new Statistik();
37                    
38          public Lookup(WorkSet workset, Database db) {          
39                  this.db = db;          static class Statistik {
40                  this.workset = workset;                  int postnr;
41                    int antalDaekkede = 0;
42                    int antalIkkeDaekkede = 0;
43                    
44                    @Override
45                    public String toString() {
46                            return "postnr=" + postnr + " antalIkkeDaekkede=" + antalIkkeDaekkede + " antalDaekkede="  + antalDaekkede;
47                    }
48          }          }
49                    
50                    
51            public Lookup(int postnr, Database db) {
52                    this.postnr = postnr;
53                    this.db = db;
54            }
55            
56            public static void saveStatistics(Statistik stat) {
57                    if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {
58                            flestDaekkede = stat;
59                    }
60                    if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {
61                            flestIkkeDaekkede = stat;
62                    }              
63            }
64                    
65          public void doLookup() throws BoundingBoxException {          public void doLookup() throws BoundingBoxException {
66                  logger.info("Starting for postnr=" + workset.postnr);                            logger.info("Starting for postnr=" + postnr);
67                                    
68                    Statistik stat = new Statistik();
69                                    
70                  long start1 = System.currentTimeMillis();                                long start1 = System.currentTimeMillis();              
71                  long start2 = 0;                  long start2 = 0;
72                                    
73                  try {                  try {
74                            BoundingBox bbox = db.getBoundingbox(postnr);
75                          logger.info("Starter beregning for " + workset.postnr);                          bbox.validateBbox();
76                            
77                            logger.info("Bbox=" + bbox);
78                            bbox.adjustToMargin();
79                            logger.info("Bbox Adjusted=" + bbox);
80                            
81                            logger.info("Henter daekkede adresser i " + postnr);
82                            daekkedeAdresser = db.hentDaekkedeAdresser(bbox);
83                            
84                            logger.info("Henter _ikke_ daekkede adresser i " + postnr);
85                            queue = db.hentIkkedaekkedeAdresser(postnr);
86                            
87                            stat.postnr = postnr;
88                            stat.antalDaekkede = daekkedeAdresser.size();
89                            stat.antalIkkeDaekkede = queue.size();
90                            
91                            saveStatistics(stat);
92                                                    
93                            
94                            logger.info("Starter beregning for " + postnr);
95                          start2 = System.currentTimeMillis();                          start2 = System.currentTimeMillis();
96                                                                                                                                                                                                                                    
97                          for (int i =0; i<max_workers; i++) {                          for (int i =0; i<max_workers; i++) {
# Line 68  public class Lookup { Line 119  public class Lookup {
119                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
120                                    
121    
122                  logger.info("Antal daekkede:" + workset.daekkedeAdresser.size() );                  logger.info( stat.toString() );
123                  logger.info("Antal ikke-daekkede:" + workset.queueSize );                  logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) + "  postnr=" + postnr);
                 logger.info("Done! elapsed=" + (now-start1) + "/" +  (now-start2) );  
124          }          }
125                    
126          public void shutdownWorker(int workerid) {          public void shutdownWorker(int workerid) {
# Line 84  public class Lookup { Line 134  public class Lookup {
134          public Database getDb() {          public Database getDb() {
135                  return db;                  return db;
136          }          }
137            
138          public WorkSet getWorkSet() {  
139                  return workset;  
140            public ArrayList<Adresse> getDaekkedeAdresser() {
141                    return daekkedeAdresser;
142          }          }
143    
144            public Queue<Adresse> getQueue() {
145                    return queue;
146            }
147    
148    
149            
150            
151            
152                    
153          /////////////////////////////          /////////////////////////////
154          // Static functions          // Static functions
# Line 98  public class Lookup { Line 158  public class Lookup {
158                    
159          public static void main(String[] args) throws Exception {          public static void main(String[] args) throws Exception {
160                                    
161                  File confFile = new File("fulddaekning.properties");                  File confFile = new File( CONFIG_FILENAME );
162                  if (! confFile.exists() ) {                  if (! confFile.exists() ) {
163                          logger.warning("Config file not found");                          logger.warning("Config file not found: " + CONFIG_FILENAME);
164                          System.exit(1);                          System.exit(1);
165                  }                  }
166                                                                    
167                  conf = new Properties();                  conf = new SafeProperties();
168                  conf.load( new FileReader(confFile) );                  conf.load( new FileReader(confFile) );
169                                    
170                  max_workers = Integer.parseInt( conf.getProperty("MAX_WORKERS") );                  max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );
171                  logger.info("Starting with MAX_WORKERS:" + max_workers);                  logger.info("Starting with MAX_WORKERS:" + max_workers);
172                                    
173                  verbose = Boolean.parseBoolean( conf.getProperty("VERBOSE") );                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );
174                  logger.info("Starting with VERBOSE:" + verbose);                  logger.info("Starting with VERBOSE:" + verbose);
175                                    
176                  Database db = new Database(conf);                  Database db = new Database(conf);
177                    
178                  db.resetResultTable();                  db.resetResultTable();
179    
180                                    
                 InputWorker inputWorker = new InputWorker(db);  
                 Thread inputThread = new Thread(inputWorker);  
                 inputThread.start();  
                   
                   
                 long start = System.currentTimeMillis();  
                 boolean doContinue = true;  
181                                    
                 while (inputWorker.queue.isEmpty() == true) {  
                         Thread.sleep(3); //Vent indtil at første arbejds sæt er på plads  
                 }  
182                                    
183                                    
184                  while ( doContinue == true ) {                  long start = System.currentTimeMillis();
                         WorkSet set = inputWorker.queue.poll();  
                           
                         if (set != null) {  
                                 Lookup lookup = new Lookup(set, db);  
                                 lookup.doLookup();                                
                         } else {  
                                 System.out.println("Buffer underrun");  
                                 Thread.sleep(100);  
                         }  
                           
                         if ( inputWorker.isDone == true && inputWorker.queue.isEmpty() == true)  
                                 doContinue = false;  
                 }  
185                                    
186                  /*logger.info("Finder postnumre");                  logger.info("Finder postnumre");
187                  List<Integer> postnumre = db.hentPostnumre();                  List<Integer> postnumre = db.hentPostnumre();
188                                    
189                  for(Integer postnr : postnumre) {                  for(Integer postnr : postnumre) {
190                          Lookup lookup = new Lookup(postnr, db);                          Lookup lookup = new Lookup(postnr, db);
191                          lookup.doLookup();                                                lookup.doLookup();                      
192                  }*/                  }
193                                    
194                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
195                    
196                    logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);
197                    logger.info("Flest Dækkede, " + flestDaekkede);
198                  logger.info("Fuld load done : " + (now-start) );                  logger.info("Fuld load done : " + (now-start) );
199    
200                                    
201                                    
202                  //Lookup lookup = new Lookup(7400, db);                  //Lookup lookup = new Lookup(7400, db);
203                  //lookup.doLookup();                              //lookup.doLookup();            
204          }          }
205                            
   
           
206  }  }
Legend:
Removed from v.2148  
changed lines
  Added in v.2158
  ViewVC Help
Powered by ViewVC 1.1.20