/[projects]/dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/LookupMain.java
ViewVC logotype

Contents of /dao/FuldDaekningWorker/src/dk/daoas/fulddaekning/LookupMain.java

Parent Directory Parent Directory | Revision Log Revision Log


Revision 2244 - (show annotations) (download)
Wed Dec 10 10:06:32 2014 UTC (9 years, 5 months ago) by torben
File size: 5032 byte(s)
mere sikker auto-beregning af max-cores
1 package dk.daoas.fulddaekning;
2
3 import java.io.File;
4 import java.io.FileReader;
5 import java.util.List;
6 import java.util.logging.FileHandler;
7 import java.util.logging.Logger;
8 import java.util.logging.SimpleFormatter;
9
10 public class LookupMain {
11
12
13 static final String CONFIG_FILENAME = "fulddaekning.properties";
14
15 static boolean rename_tables;
16 static SafeProperties conf;
17
18 static int max_workers;
19 static boolean verbose;
20
21 static String distributor;
22
23 final static Logger logger = Logger.getLogger( LookupMain.class.toString() );
24
25
26 static Statistik flestDaekkede = new Statistik();
27 static Statistik flestIkkeDaekkede = new Statistik();
28 static Statistik mestBrugteTid = new Statistik();
29 static Statistik stoersteDataset = new Statistik();
30
31 static Adresse[] alleDaekkedeAdresser;
32
33
34 public static void main(String[] args) throws Exception {
35
36 //Setup j.u.l Logger
37 Logger root = Logger.getLogger("");
38 FileHandler fhandler = new FileHandler("fulddaekning.log"); // Ingen max størrelse, ingen rotation og ingen append
39 fhandler.setFormatter( new SimpleFormatter() );
40 root.addHandler( fhandler );
41
42
43
44
45 File confFile = new File( CONFIG_FILENAME );
46 if (! confFile.exists() ) {
47 logger.warning("Config file not found: " + CONFIG_FILENAME);
48 System.exit(1);
49 }
50
51 conf = new SafeProperties();
52 conf.load( new FileReader(confFile) );
53
54 max_workers = Integer.parseInt( conf.getSafeProperty("MAX_WORKERS") );
55 if (max_workers <= 0) {
56 logger.info("!!! AUTO-DETECT MAX_WORKERS !!!");
57 int cores = Runtime.getRuntime().availableProcessors();
58 cores -= 1;//Efterlad 1 core/cpu i reserve til systemet
59
60 max_workers = Math.max(1, cores); //Dog skal der som minimum være 1 core til beregning
61
62 }
63 logger.info("Starting with MAX_WORKERS:" + max_workers);
64
65
66 verbose = Boolean.parseBoolean( conf.getSafeProperty("VERBOSE") );
67 logger.info("Starting with VERBOSE:" + verbose);
68
69 rename_tables = Boolean.parseBoolean( conf.getSafeProperty("RENAMETABLES") );
70 logger.info("Starting with RENAMETABLES:" + rename_tables);
71
72 distributor = conf.getSafeProperty("DISTRIBUTOR");
73 distributor = distributor.toUpperCase();
74 logger.info("Starting for DISTRIBUTOR:" + distributor);
75
76 Constants.init(distributor);
77 Constants consts = Constants.getInstance();
78
79 Database db = new Database(conf);
80
81
82
83
84 boolean testRun= false;
85
86
87 long start = System.currentTimeMillis();
88
89 if (testRun == false) {
90
91 logger.info("Finder postnumre");
92 List<String> postnumre = db.hentPostnumre();
93
94 // Først validerer vi BBox på alle postnummre, for at undgå fuldt stop midt i beregningen
95 for(String postnr : postnumre) { //
96 logger.info("Validerer BBox for " + postnr);
97 BoundingBox bbox = db.getBoundingbox(postnr);
98 bbox.validateBbox();
99 }
100
101 if (consts.doExtendedLookup()) {
102 logger.info("Henter alle daekkede adresser");
103 alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
104 logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);
105 }
106
107
108 //pre-check er ok - reset tmp tabel og start søgningen
109 db.resetResultTable();
110
111 for(String postnr : postnumre) {
112 Lookup lookup = new Lookup(postnr, db);
113 lookup.doLookup();
114 }
115
116 if (rename_tables) {
117 db.renameResultTables();
118 } else {
119 logger.info( "Rename tables is disabled !!!" );
120 }
121
122
123
124 } else {
125 /// Test
126 db.resetResultTable();
127
128 if (consts.doExtendedLookup()) {
129 alleDaekkedeAdresser = db.hentAlleDaekkedeAdresser();
130 logger.info( "AlleDaekkedeAdresser.length=" + alleDaekkedeAdresser.length);
131 }
132
133 Lookup lookup = new Lookup("458x", db);
134 lookup.doLookup();
135 }
136
137 long now = System.currentTimeMillis();
138 long elapsed = now - start ;
139
140 logger.info("Mest brugte tid: " + mestBrugteTid);
141 logger.info("Flest Ikke-dækkede, " + flestIkkeDaekkede);
142 logger.info("Flest Dækkede, " + flestDaekkede);
143 logger.info("Største Dataset, " + stoersteDataset);
144 logger.info("Fuld load done : " + formatMilliSeconds(elapsed) );
145 }
146
147
148 public static void saveStatistics(Statistik stat) {
149 if (stat.antalDaekkede > flestDaekkede.antalDaekkede) {
150 flestDaekkede = stat;
151 }
152 if (stat.antalIkkeDaekkede > flestIkkeDaekkede.antalIkkeDaekkede) {
153 flestIkkeDaekkede = stat;
154 }
155
156 if (stat.totalDataset > mestBrugteTid.totalDataset) {
157 stoersteDataset = stat;
158 }
159
160 if (stat.forbrugtTid > mestBrugteTid.forbrugtTid) {
161 mestBrugteTid = stat;
162 }
163 }
164
165 static String formatMilliSeconds(long milliseconds) {
166 int mseconds = (int) milliseconds % 1000;
167 int seconds = (int) (milliseconds / 1000) % 60 ;
168 int minutes = (int) ((milliseconds / (1000*60)) % 60);
169 int hours = (int) ((milliseconds / (1000*60*60)) % 24);
170
171 return String.format("%02d:%02d:%02d.%03d", hours, minutes, seconds, mseconds);
172 }
173 }

  ViewVC Help
Powered by ViewVC 1.1.20