/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/LookupMain.java
ViewVC logotype

Diff of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/LookupMain.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2584 by torben, Tue Jun 9 19:42:00 2015 UTC revision 2585 by torben, Sun Jun 14 14:28:21 2015 UTC
# Line 1  Line 1 
1  package dk.daoas.fulddaekning;  package dk.daoas.fulddaekning;
2    
3    import geocode.GeoPoint;
4    import geocode.kdtree.KDTree;
5    
6  import java.io.File;  import java.io.File;
7  import java.io.FileReader;  import java.io.FileReader;
8    import java.sql.SQLException;
9    import java.util.List;
10  import java.util.Set;  import java.util.Set;
 import java.util.concurrent.Executors;  
 import java.util.concurrent.ThreadFactory;  
 import java.util.concurrent.ThreadPoolExecutor;  
11  import java.util.logging.FileHandler;  import java.util.logging.FileHandler;
12    import java.util.logging.Level;
13  import java.util.logging.Logger;  import java.util.logging.Logger;
14  import java.util.logging.SimpleFormatter;  import java.util.logging.SimpleFormatter;
15    
16  public class LookupMain {  public class LookupMain {
17            
18             static class LookupResult {
19                     double bedsteAfstand = 9999999.999;
20                     Adresse bedsteAdr = null;
21             }
22    
23    
24          static final String CONFIG_FILENAME = "fulddaekning.properties";          static final String CONFIG_FILENAME = "fulddaekning.properties";
# Line 26  public class LookupMain { Line 34  public class LookupMain {
34          final static Logger logger = Logger.getLogger( LookupMain.class.toString() );          final static Logger logger = Logger.getLogger( LookupMain.class.toString() );
35                    
36                    
         static Statistik flestDaekkede = new Statistik();  
         static Statistik flestIkkeDaekkede = new Statistik();  
         static Statistik mestBrugteTid = new Statistik();  
         static Statistik stoersteDataset = new Statistik();  
37                    
38          private static Adresse[] alleDaekkedeAdresser;          private static List<GeoPoint> alleDaekkedeAdresser;
39    
         static ThreadPoolExecutor threadPool;  
   
         private static void setupThreadPool() {  
                 threadPool = (ThreadPoolExecutor) Executors.newFixedThreadPool(max_workers, new WorkerThreadFactory() );  
         }  
40                    
41                    
42          public static void main(String[] args) throws Exception {          public static void main(String[] args) throws Exception {
# Line 60  public class LookupMain { Line 59  public class LookupMain {
59                  conf = new SafeProperties();                  conf = new SafeProperties();
60                  conf.load( new FileReader(confFile) );                  conf.load( new FileReader(confFile) );
61                                    
                 max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );  
                 if (max_workers <= 0) {  
                         logger.info("!!! AUTO-DETECT MAX_WORKERS !!!");  
                         int cores = Runtime.getRuntime().availableProcessors();  
                         cores -= 1;//Efterlad 1 core/cpu i reserve til systemet  
                           
                         max_workers = Math.max(1, cores); //Dog skal der som minimum være 1 core til beregning  
                           
                 }  
                 logger.info("Starting with MAX_WORKERS:" + max_workers);  
                 setupThreadPool();  
62                                    
63                                    
64                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );                  verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );
# Line 87  public class LookupMain { Line 75  public class LookupMain {
75                  Constants consts = Constants.getInstance();                  Constants consts = Constants.getInstance();
76                                    
77                  Database db = new Database(conf);                  Database db = new Database(conf);
78                  db.hentAlleIkkedaekkedeAdresser(consts.getMinPostnr(), consts.getMaxPostnr() );                  Adresse ikkeDaekkede[] = db.hentAlleIkkedaekkedeAdresser(consts.getMinPostnr(), consts.getMaxPostnr() );
79    
80                                    
81                  boolean testRun= false;                  boolean testRun= false;
# Line 110  public class LookupMain { Line 98  public class LookupMain {
98    
99                          logger.info("Henter alle daekkede adresser");                          logger.info("Henter alle daekkede adresser");
100                          alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();                          alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
101                          logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);                                              logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.size());
102                            
103                            KDTree<GeoPoint> addressTree = new KDTree<GeoPoint>(alleDaekkedeAdresser);
104                                                    
                         //pre-check er ok - reset tmp tabel og start søgningen  
105                          db.resetResultTable();                          db.resetResultTable();
106                    
107                            logger.info("Starter beregning");
108                    
109                            final int workerId = -1;
110                            //pre-check er ok - reset tmp tabel og start søgningen
111                            
112                            for (Adresse qAdresse : ikkeDaekkede) {
113                                    
114                                    
115                                    LookupResult result = new LookupResult();
116                                    result.bedsteAdr = (Adresse) addressTree.findNearest(qAdresse);
117                                    result.bedsteAfstand = GeoPointHelper.beregnAfstand(qAdresse, result.bedsteAdr);
118                                                    
119                          for(short postnr : postnumre) {                          
120                                  Lookup lookup = new Lookup(postnr, db, threadPool);                          
121                                  lookup.doLookup();                                                        if (result.bedsteAfstand <= consts.getMaxDistance() ) { //Gem kun hvis distancen er under max_distance for distributøren
122                                            if (LookupMain.verbose == true) {
123                                                    logger.fine("(" +workerId + ") Bedste: " + qAdresse + "==>" + result.bedsteAdr + " ::: " + result.bedsteAfstand );
124                                            }
125                                            
126                                            try {
127                                                    db.gemResultat(qAdresse, result.bedsteAdr, result.bedsteAfstand);
128                                            } catch (SQLException e) {
129                                                    logger.log(Level.WARNING, "Error saving result", e);
130                                                    logger.warning("Shutting down");
131                                                    
132                                                    System.exit(0); //hvis at indsættelsen fejler skal vi afbryde med det samme
133                                            }
134                                    } else {
135                                            System.out.println("For stor afstand: " + qAdresse + " > " + result.bedsteAfstand);
136                                    }
137                                    
138                          }                          }
139                                                    
140                            db.saveBatch();
141                            
142                          if (rename_tables) {                          if (rename_tables) {
143                                  db.renameResultTables();                                  db.renameResultTables();
144                          } else {                          } else {
# Line 130  public class LookupMain { Line 149  public class LookupMain {
149    
150                  } else {                  } else {
151                          /// Test                          /// Test
152                            /*
153                          db.resetResultTable();                          db.resetResultTable();
154                                                    
155    
156                          alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();                          alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
157                          logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);                          logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.size());
158    
159                          short post = (short) 2700;                                                short post = (short) 2700;                      
160                          Lookup lookup = new Lookup(post, db, threadPool);                          Lookup lookup = new Lookup(post, db, threadPool);
161                          lookup.doLookup();                                                                                        lookup.doLookup();*/                                                            
162                  }                  }
163    
                 threadPool.shutdown();  
164                                    
165                  long now = System.currentTimeMillis();                  long now = System.currentTimeMillis();
166                  long elapsed = now - start ;                  long elapsed = now - start ;
167                                    
168                  logger.info("Mest brugte tid: " + mestBrugteTid);  
                 logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);  
                 logger.info("Flest Dækkede, " + flestDaekkede);  
                 logger.info("Største Dataset, " + stoersteDataset);              
169                  logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );                  logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );
170          }          }
171    
172                    
         public static void saveStatistics(Statistik stat) {  
                 if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {  
                         flestDaekkede = stat;  
                 }  
                 if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {  
                         flestIkkeDaekkede = stat;  
                 }  
                   
                 if (stat.totalDataset > mestBrugteTid.totalDataset) {  
                         stoersteDataset = stat;  
                 }  
                   
                 if (stat.forbrugtTid > mestBrugteTid.forbrugtTid) {  
                         mestBrugteTid = stat;  
                 }  
         }  
173    
174          static String formatMilliSeconds(long milliseconds) {          static String formatMilliSeconds(long milliseconds) {
175                  int mseconds = (int) milliseconds % 1000;                  int mseconds = (int) milliseconds % 1000;
# Line 180  public class LookupMain { Line 180  public class LookupMain {
180                  return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);                  return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);
181          }          }
182                    
         static class WorkerThreadFactory implements ThreadFactory {  
                 int count = 0;  
   
                 @Override  
                 public Thread newThread(Runnable r) {  
                         return new Thread(r, "lookupWorker/" + count++);  
                 }        
         }  
183  }  }
Legend:
Removed from v.2584  
changed lines
  Added in v.2585
  ViewVC Help
Powered by ViewVC 1.1.20