/[projects]/dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/dawa/DawaTask.java
ViewVC logotype

Diff of /dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/dawa/DawaTask.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 3004 by torben, Tue Apr 19 12:39:38 2016 UTC revision 3069 by torben, Fri Jul 22 09:48:05 2016 UTC
# Line 1  Line 1 
1  package dk.daoas.adressevedligehold.dawa;  package dk.daoas.adressevedligehold.dawa;
2    
3  import java.util.ArrayList;  import java.util.ArrayList;
4    import java.util.Collections;
5  import java.util.List;  import java.util.List;
6  import java.util.Set;  import java.util.Map;
7    import java.util.Map.Entry;
8  import java.util.TreeMap;  import java.util.TreeMap;
9  import java.util.TreeSet;  
10    import com.google.common.base.Splitter;
11    
12  import dk.daoas.adressevedligehold.MailSender;  import dk.daoas.adressevedligehold.MailSender;
13  import dk.daoas.adressevedligehold.beans.Address;  import dk.daoas.adressevedligehold.beans.Address;
# Line 12  import dk.daoas.adressevedligehold.beans Line 15  import dk.daoas.adressevedligehold.beans
15  import dk.daoas.adressevedligehold.db.DatabaseCoverageUpdate;  import dk.daoas.adressevedligehold.db.DatabaseCoverageUpdate;
16  import dk.daoas.adressevedligehold.tasks.Task;  import dk.daoas.adressevedligehold.tasks.Task;
17  import dk.daoas.adressevedligehold.tasks.TaskLogger;  import dk.daoas.adressevedligehold.tasks.TaskLogger;
18    import dk.daoas.adressevedligehold.util.CountMap;
19  import dk.daoas.adressevedligehold.util.DeduplicateHelper;  import dk.daoas.adressevedligehold.util.DeduplicateHelper;
20    import dk.daoas.adressevedligehold.util.TimingHelper;
21    
22  /*  /*
23   * Alle regioner: http://dawa.aws.dk/regioner/   * Alle regioner: http://dawa.aws.dk/regioner/
# Line 22  import dk.daoas.adressevedligehold.util. Line 27  import dk.daoas.adressevedligehold.util.
27    
28  public class DawaTask extends Task {  public class DawaTask extends Task {
29                    
30          final String kommentarTemplate = "Oprettet via DAWA";          final static String KOMMENTAR_TEMPLATE = "Oprettet via DAWA";
31                    
32          private TaskLogger logger = TaskLogger.getInstance();          private TaskLogger logger = TaskLogger.getInstance();
33                    
34          private short regionCode;          private short regionCode;
35          private String regionName;          private String regionName;
36                    
37            int antalBehandlede = 0;
38            int antalKommuner = 0;
39            
40                    
41            DeduplicateHelper<String> dedup = new DeduplicateHelper<>();
42                    
         DatabaseCoverageUpdate db = new DatabaseCoverageUpdate();  
43                    
44          DeduplicateHelper<String> dedup = new DeduplicateHelper<>();          
45                    
46          public DawaTask(short regionCode, String regionName){          public DawaTask(short regionCode, String regionName){
47                  this.regionCode = regionCode;                            this.regionCode = regionCode;          
# Line 43  public class DawaTask extends Task { Line 51  public class DawaTask extends Task {
51    
52          @Override          @Override
53          protected void taskRun() throws Exception {          protected void taskRun() throws Exception {
54                    TimingHelper timer = new TimingHelper();
55                                    
56                    DatabaseCoverageUpdate db = new DatabaseCoverageUpdate();
57                                    
                 int kommunekode = 615;  
                 String kommunenavn = "Horsens";  
                   
                 // stage 1 - hent alle data              
58                  DawaWebservice dawa = new DawaWebservice();                  DawaWebservice dawa = new DawaWebservice();
59                  List<Address> dawaListe = dawa.lookup(kommunekode);                  TreeMap<String, DawaGade> search = new TreeMap<>();
60                                    
61                    // stage 1 - hent alle data                    
62                  List<Address> adresser = db.getAllAdresses();                  List<Address> adresser = db.getAllAdresses();
63                                    
64                                    
                   
65                  // stage 2 opbyg søge struktur                          // stage 2 opbyg søge struktur        
66                  logger.info("Building search structure");                  logger.info("Building search structure");
67                  TreeMap<String, DawaGade> search = new TreeMap<>();  
68                                    
69                  for (Address addr : adresser) {                  for (Address addr : adresser) {
70                          String dav = getDAVid(addr);                          String dav = getDAVid(addr);
# Line 71  public class DawaTask extends Task { Line 78  public class DawaTask extends Task {
78                  }                  }
79                  logger.info("Build search structure done");                  logger.info("Build search structure done");
80                                    
81                  // stage 3 søg                          Map<String,Integer> kommuner = dawa.kommunerIRegion(regionCode);
                 Set<String> ukendteDAV = new TreeSet<>();  
                 Set<String> dobbeltGadeidDAV = new TreeSet<>();  
                 List<Address> nyeAdresser = new ArrayList<>();  
82                                    
83                  for (Address dawaAddr : dawaListe) {                  String subject = "DAWA indlæsning - " + regionName;
84                          String dav = getDAVid(dawaAddr);                  
85                          DawaGade gade = search.get(dav);                  StringBuilder headerSB = new StringBuilder();
86                          if (gade == null) {                  headerSB.append("<h1>Indlæsnings rapport for " + regionName + " </h1><br>");
87                                  ukendteDAV.add(dav + " " + dawaAddr.vejnavn);                  
88                                  continue;                  List<Address> totalNye = new ArrayList<>();
89                          }                  List<Address> totalFejl = new ArrayList<>();
90                    CountMap totalUkendtDAV = new CountMap();
91                    CountMap totalDobbeltDav = new CountMap();
92                    
93                    
94                    
95                    antalKommuner = kommuner.size();
96                    
97                    
98                    StringBuilder sb = new StringBuilder();
99                    
100                    for (Map.Entry<String, Integer> entry : kommuner.entrySet()) {
101                            int kommunekode = entry.getValue();
102                            String kommunenavn = entry.getKey();
103                                                    
104                          if (gade.gadeids.size() != 1) {                          logger.info("Behandler: " + kommunekode + " " + kommunenavn);
105                                  dobbeltGadeidDAV.add(dav + " " + dawaAddr.vejnavn);                  
106                            
107                            List<Address> dawaListe = dawa.adresserIKommune(kommunekode);
108                            // stage 3 søg        
109                            CountMap ukendteDAV = new CountMap();
110                            CountMap dobbeltGadeidDAV = new CountMap();
111                            List<Address> nyeAdresser = new ArrayList<>();
112                            
113                            for (Address dawaAddr : dawaListe) {
114                                    String dav = getDAVid(dawaAddr);
115                                    DawaGade gade = search.get(dav);
116                                    if (gade == null) {
117                                            String key = dav + " " + dawaAddr.vejnavn;
118                                            ukendteDAV.increment(key);
119                                            continue;
120                                    }
121                                    
122                                    if (gade.gadeids.size() != 1) {
123                                            String key = dav + " " + dawaAddr.vejnavn;
124                                            dobbeltGadeidDAV.increment(key);
125                                            continue;
126                                    }
127                                    
128                                    boolean fundet = false;
129                                    for (Address target : gade.adresser) {
130                                            if ( target.husnr == dawaAddr.husnr && target.husnrbogstav.equals(dawaAddr.husnrbogstav) ) {
131                                                    fundet = true;
132                                                    break;
133                                            }      
134                                    }
135                                    
136                                    if (fundet == false) {
137                                            dawaAddr.gadeid = gade.gadeids.iterator().next();
138                                            dawaAddr.state = AddressState.CREATED;
139                                            dawaAddr.kommentar = KOMMENTAR_TEMPLATE;
140                                            nyeAdresser.add(dawaAddr);
141                                    }                      
142                          }                          }
143                            logger.info("Address Search done - starting save to DB");
144                            
145                            db.saveNewAddresses(nyeAdresser);
146                                                    
147                          boolean fundet = false;                          logger.info("Save to db done - adding to report mail");
148                          for (Address target : gade.adresser) {                          
149                                  if ( target.husnr == dawaAddr.husnr && target.husnrbogstav.equals(dawaAddr.husnrbogstav) ) {                          List<Address> saveOK = new ArrayList<>();
150                                          fundet = true;                          List<Address> saveFail = new ArrayList<>();
151                                          break;                          for (Address a : nyeAdresser) {
152                                  }                                        if (a.state == AddressState.CREATE_FAIL) {
153                                            saveFail.add(a);
154                                    } else {
155                                            saveOK.add(a);
156                                    }
157                          }                          }
158                                                    
159                          if (fundet == false) {                          totalNye.addAll(saveOK);
160                                  dawaAddr.gadeid = gade.gadeids.iterator().next();                          totalFejl.addAll(saveFail);
161                                  dawaAddr.state = AddressState.CREATED;                          
162                                  dawaAddr.kommentar = kommentarTemplate;                          totalUkendtDAV.putAll(ukendteDAV);
163                                  nyeAdresser.add(dawaAddr);                          totalDobbeltDav.putAll(dobbeltGadeidDAV);
164                          }                                        
165                            
166                            antalBehandlede++;
167            
168                            
169                            sb.append("<h2>Kommune: " + kommunenavn + "</h2>\n");
170                            
171                            sb.append("Kommunekode: " + kommunekode + "<br>\n");
172                            sb.append("Antal Inserts: " + saveOK.size() + "<br>\n");
173                            sb.append("Antal insert fails: " + saveFail.size() + "<br>\n");
174                            sb.append("Antal ukendte dav: " + ukendteDAV.size() + "<br>\n");
175                            sb.append("Antal dobbelt gadeid dav: " + dobbeltGadeidDAV.size() + "<br>\n");
176                  }                  }
                 logger.info("Address Search done - starting save to DB");  
177                                    
178                  db.saveNewAddresses(nyeAdresser);                  logger.info("Sendingreport mail");
179                                    
180                  logger.info("Save to db done - sending report mail");                  headerSB.append("Antal Inserts: " + totalNye.size() + "<br>\n");
181                    headerSB.append("Antal insert fails: " + totalFejl.size() + "<br>\n");
182                    headerSB.append("Antal ukendte dav: " + totalUkendtDAV.size() + "<br>\n");
183                    headerSB.append("Antal dobbelt gadeid dav: " + totalDobbeltDav.size() + "<br>\n");
184                    headerSB.append("Elapsed: " + timer.getElapsed() + " ms.<br>\n");
185                                    
186                  List<Address> saveOK = new ArrayList<>();                  Map<String,String> attachments = new TreeMap<>();
187                  List<Address> saveFail = new ArrayList<>();                  attachments.put("saveok.csv", buildAddressFile(totalNye) );
188                  for (Address a : nyeAdresser) {                  attachments.put("savefailed.csv", buildAddressFile(totalFejl) );
189                          if (a.state == AddressState.CREATE_FAIL) {                  
190                                  saveFail.add(a);                  attachments.put("ukendte_dav.csv", buildDavFile(totalUkendtDAV) );
191                          } else {                  attachments.put("dobbelt_dav_gadeid.csv", buildDavFile(totalDobbeltDav) );
                                 saveOK.add(a);  
                         }  
                 }  
192                                    
                 String subject = "DAWA indlæsning done";  
193                                    
194                    MailSender.sendMailWithAttachments(subject, headerSB.toString() + sb.toString(), attachments);
195    
196                    
197                    //Cleaning
198                    dedup.clear();
199            }
200            
201            private String buildDavFile(CountMap dav) {
202                  StringBuilder sb = new StringBuilder();                  StringBuilder sb = new StringBuilder();
                 sb.append("<h1>Indlæsnings rapport for " + regionName + " / " + regionCode + " </h1><br>");  
203                                    
204                  sb.append("<h2>Kommune: " + kommunenavn + " / " + kommunekode + "</h2><br>\n");                  sb.append("Gadeid;Vejnavn;Antal\r\n");
205                  sb.append("<h3>Adresser ok:</h3>\n");                  for ( Entry<String,Integer> entry : dav.entrySet()) {
206                  for (Address a: saveOK) {                          
207                          sb.append(a.toString() + "<br>\n");                          List<String> split = Splitter.on(' ').limit(2).splitToList(entry.getKey());
208                            sb.append( split.get(0) ).append(";");//gadeid
209                            sb.append( split.get(1) ).append(";");//vejnavn
210                            
211                            sb.append( entry.getValue() ).append("\r\n");//vejnavn
212                            
213                  }                  }
214                                    
215                  sb.append("<h3>SQL INSERT fejl:</h3>\n");                  return sb.toString();
216                  for (Address a: saveFail) {          }
217                          sb.append(a.toString() + "<br>\n");          
218                  }          private String buildAddressFile(List<Address> addr) {
219                                    
220                  sb.append("<h3>Ukendte DAV:</h3>\n");                  Collections.sort(addr); //brug dens egen compareTo funktion
                 for (String dav : ukendteDAV) {  
                         sb.append(dav + "<br>\n");  
                 }  
221                                    
222                  sb.append("<h3>Dobbelt gadeid DAV:</h3>\n");                  StringBuilder sb = new StringBuilder();
223                  for (String dav : dobbeltGadeidDAV) {                                  
224                          sb.append(dav + "<br>\n");                  sb.append("GadeID;Postnr;Kom.kode;Vejkode;Vejnavn;Husnr;Litra\r\n");
225                    for (Address a: addr) {
226                            sb.append(a.gadeid).append(";");
227                            sb.append(a.postnr).append(";");
228                            sb.append(a.kommunekode).append(";");
229                            sb.append(a.vejkode).append(";");
230                            sb.append(a.vejnavn).append(";");
231                            sb.append(a.husnr).append(";");
232                            sb.append(a.husnrbogstav).append("\r\n");
233                  }                  }
234                    return sb.toString();
235                                    
                 MailSender.sendMail(subject, sb.toString() );  
   
   
236          }          }
237                    
238            
239          String getDAVid(Address addr) {          String getDAVid(Address addr) {
240                  String dav = String.format("%04d%03d%04d", addr.postnr, addr.kommunekode, addr.vejkode);                  String dav = String.format("%04d%03d%04d", addr.postnr, addr.kommunekode, addr.vejkode);
241                                    
# Line 168  public class DawaTask extends Task { Line 254  public class DawaTask extends Task {
254    
255          @Override          @Override
256          public double getPercentCompleted() {          public double getPercentCompleted() {
257                  return 0;                  if (antalKommuner == 0) {
258                            return 0;      
259                    }
260                    
261                    return  (antalBehandlede / ((double)antalKommuner) ) * 100.0;
262                    
263          }          }
264                    
265    
Legend:
Removed from v.3004  
changed lines
  Added in v.3069
  ViewVC Help
Powered by ViewVC 1.1.20