/[projects]/dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/dawa/DawaTask.java
ViewVC logotype

Diff of /dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/dawa/DawaTask.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 3002 by torben, Mon Apr 18 18:56:35 2016 UTC revision 3072 by torben, Tue Jul 26 06:30:11 2016 UTC
# Line 1  Line 1 
1  package dk.daoas.adressevedligehold.dawa;  package dk.daoas.adressevedligehold.dawa;
2    
3  import com.google.gson.Gson;  import java.util.ArrayList;
4    import java.util.Collections;
5    import java.util.List;
6    import java.util.Map;
7    import java.util.Map.Entry;
8    import java.util.TreeMap;
9    
10    import com.google.common.base.Splitter;
11    
12    import dk.daoas.adressevedligehold.MailSender;
13    import dk.daoas.adressevedligehold.beans.Address;
14    import dk.daoas.adressevedligehold.beans.Address.AddressState;
15    import dk.daoas.adressevedligehold.db.DatabaseCoverageUpdate;
16  import dk.daoas.adressevedligehold.tasks.Task;  import dk.daoas.adressevedligehold.tasks.Task;
17    import dk.daoas.adressevedligehold.tasks.TaskLogger;
18    import dk.daoas.adressevedligehold.util.CountMap;
19    import dk.daoas.adressevedligehold.util.DeduplicateHelper;
20    import dk.daoas.adressevedligehold.util.TimingHelper;
21    
22  /*  /*
23   * Alle regioner: http://dawa.aws.dk/regioner/   * Alle regioner: http://dawa.aws.dk/regioner/
# Line 12  import dk.daoas.adressevedligehold.tasks Line 27  import dk.daoas.adressevedligehold.tasks
27    
28  public class DawaTask extends Task {  public class DawaTask extends Task {
29                    
30          private short regionCode;          final static String KOMMENTAR_TEMPLATE = "Oprettet via DAWA";
         private String regionName;  
31                    
32          private Gson gson = new Gson();          private TaskLogger logger = TaskLogger.getInstance();
33                    
34          public DawaTask(short regionCode, String regionName){          int antalBehandlede = 0;
35                  this.regionCode = regionCode;                    int antalKommuner = 0;
36                  this.regionName = regionName;          
37                            
38            String status = "";
39            
40            DeduplicateHelper<String> dedup = new DeduplicateHelper<>();
41            
42            
43            
44            public DawaTask(){              
45          }          }
46    
47          @Override          @Override
48          protected void taskRun() throws Exception {          protected void taskRun() throws Exception {
49                  // TODO Auto-generated method stub                  TimingHelper timer = new TimingHelper();
50                                    
51                    DatabaseCoverageUpdate db = new DatabaseCoverageUpdate();
52                    
53                    DawaWebservice dawa = new DawaWebservice();
54                    TreeMap<String, DawaGade> search = new TreeMap<>();
55                    
56                    // stage 1 - hent alle data
57                    status = "Henter Data";
58                    List<Address> adresser = db.getAllAdresses();
59                    
60                    
61                    // stage 2 opbyg søge struktur
62                    status = "Bygger søgestruktur";
63                    logger.info("Building search structure");
64    
65                    
66                    for (Address addr : adresser) {
67                            String dav = getDAVid(addr);
68                            DawaGade gade = search.get(dav);
69                            if (gade == null) {
70                                    gade = new DawaGade();
71                                    search.put(dav, gade);
72                            }
73                            gade.gadeids.add( addr.gadeid );
74                            gade.adresser.add(addr);                        
75                    }
76                    logger.info("Build search structure done");
77                    
78                    Map<String,Integer> kommuner = dawa.kommuner();
79                    
80                    String subject = "DAWA indlæsning";
81                    
82                    StringBuilder headerSB = new StringBuilder();
83                    headerSB.append("<h1>DAWA Indlæsnings rapport</h1><br>");
84                    
85                    List<Address> totalNye = new ArrayList<>();
86                    List<Address> totalFejl = new ArrayList<>();
87                    CountMap totalUkendtDAV = new CountMap();
88                    CountMap totalDobbeltDav = new CountMap();
89                    
90                    
91                    
92                    antalKommuner = kommuner.size();
93                    
94                    
95                    StringBuilder sb = new StringBuilder();
96                    
97                    for (Map.Entry<String, Integer> entry : kommuner.entrySet()) {
98                            int kommunekode = entry.getValue();
99                            String kommunenavn = entry.getKey();
100                            
101                            
102                            status = "Behandler: " + kommunenavn;
103                            logger.info("Behandler: " + kommunekode + " " + kommunenavn);
104                    
105                            
106                            List<Address> dawaListe = dawa.adresserIKommune(kommunekode);
107                            // stage 3 søg        
108                            CountMap ukendteDAV = new CountMap();
109                            CountMap dobbeltGadeidDAV = new CountMap();
110                            List<Address> nyeAdresser = new ArrayList<>();
111                            
112                            for (Address dawaAddr : dawaListe) {
113                                    String dav = getDAVid(dawaAddr);
114                                    DawaGade gade = search.get(dav);
115                                    if (gade == null) {
116                                            String key = dav + " " + dawaAddr.vejnavn;
117                                            ukendteDAV.increment(key);
118                                            continue;
119                                    }
120                                    
121                                    if (gade.gadeids.size() != 1) {
122                                            String key = dav + " " + dawaAddr.vejnavn;
123                                            dobbeltGadeidDAV.increment(key);
124                                            continue;
125                                    }
126                                    
127                                    boolean fundet = false;
128                                    for (Address target : gade.adresser) {
129                                            if ( target.husnr == dawaAddr.husnr && target.husnrbogstav.equals(dawaAddr.husnrbogstav) ) {
130                                                    fundet = true;
131                                                    break;
132                                            }      
133                                    }
134                                    
135                                    if (fundet == false) {
136                                            dawaAddr.gadeid = gade.gadeids.iterator().next();
137                                            dawaAddr.state = AddressState.CREATED;
138                                            dawaAddr.kommentar = KOMMENTAR_TEMPLATE;
139                                            nyeAdresser.add(dawaAddr);
140                                    }                      
141                            }
142                            logger.info("Address Search done - starting save to DB");
143                            
144                            db.saveNewAddresses(nyeAdresser);
145                            
146                            logger.info("Save to db done - adding to report mail");
147                            
148                            List<Address> saveOK = new ArrayList<>();
149                            List<Address> saveFail = new ArrayList<>();
150                            for (Address a : nyeAdresser) {
151                                    if (a.state == AddressState.CREATE_FAIL) {
152                                            saveFail.add(a);
153                                    } else {
154                                            saveOK.add(a);
155                                    }
156                            }
157                            
158                            totalNye.addAll(saveOK);
159                            totalFejl.addAll(saveFail);
160                            
161                            totalUkendtDAV.putAll(ukendteDAV);
162                            totalDobbeltDav.putAll(dobbeltGadeidDAV);
163                    
164                            
165                            antalBehandlede++;
166            
167                            
168                            sb.append("<h2>Kommune: " + kommunenavn + "</h2>\n");
169                            
170                            sb.append("Kommunekode: " + kommunekode + "<br>\n");
171                            sb.append("Antal Inserts: " + saveOK.size() + "<br>\n");
172                            sb.append("Antal insert fails: " + saveFail.size() + "<br>\n");
173                            sb.append("Antal ukendte dav: " + ukendteDAV.size() + "<br>\n");
174                            sb.append("Antal dobbelt gadeid dav: " + dobbeltGadeidDAV.size() + "<br>\n");
175                    }
176                    
177                    logger.info("Sendingreport mail");
178                    
179                    headerSB.append("Antal Inserts: " + totalNye.size() + "<br>\n");
180                    headerSB.append("Antal insert fails: " + totalFejl.size() + "<br>\n");
181                    headerSB.append("Antal ukendte dav: " + totalUkendtDAV.size() + "<br>\n");
182                    headerSB.append("Antal dobbelt gadeid dav: " + totalDobbeltDav.size() + "<br>\n");
183                    headerSB.append("Elapsed: " + timer.getElapsed() + " ms.<br>\n");
184                    
185                    Map<String,String> attachments = new TreeMap<>();
186                    attachments.put("saveok.csv", buildAddressFile(totalNye) );
187                    attachments.put("savefailed.csv", buildAddressFile(totalFejl) );
188                    
189                    attachments.put("ukendte_dav.csv", buildDavFile(totalUkendtDAV) );
190                    attachments.put("dobbelt_dav_gadeid.csv", buildDavFile(totalDobbeltDav) );
191                    
192                    
193                    MailSender.sendMailWithAttachments(subject, headerSB.toString() + sb.toString(), attachments);
194    
195                    
196                    //Cleaning
197                    dedup.clear();
198                    status = "";
199            }
200            
201            private String buildDavFile(CountMap dav) {
202                    StringBuilder sb = new StringBuilder();
203                    
204                    sb.append("DAVid;Vejnavn;Antal\r\n");
205                    for ( Entry<String,Integer> entry : dav.entrySet()) {
206                            
207                            List<String> split = Splitter.on(' ').limit(2).splitToList(entry.getKey());
208                            sb.append( split.get(0) ).append(";");//DAVid
209                            sb.append( split.get(1) ).append(";");//vejnavn
210                            
211                            sb.append( entry.getValue() ).append("\r\n");//vejnavn
212                            
213                    }
214                    
215                    return sb.toString();
216            }
217            
218            private String buildAddressFile(List<Address> addr) {
219                    
220                    Collections.sort(addr); //brug dens egen compareTo funktion
221                    
222                    StringBuilder sb = new StringBuilder();
223                                    
224                    sb.append("GadeID;Postnr;Kom.kode;Vejkode;Vejnavn;Husnr;Litra\r\n");
225                    for (Address a: addr) {
226                            sb.append(a.gadeid).append(";");
227                            sb.append(a.postnr).append(";");
228                            sb.append(a.kommunekode).append(";");
229                            sb.append(a.vejkode).append(";");
230                            sb.append(a.vejnavn).append(";");
231                            sb.append(a.husnr).append(";");
232                            sb.append(a.husnrbogstav).append("\r\n");
233                    }
234                    return sb.toString();
235                    
236            }
237            
238            
239            String getDAVid(Address addr) {
240                    String dav = String.format("%04d%03d%04d", addr.postnr, addr.kommunekode, addr.vejkode);
241                    
242                    return dedup.getInstance(dav);
243          }          }
244    
245          @Override          @Override
# Line 36  public class DawaTask extends Task { Line 249  public class DawaTask extends Task {
249    
250          @Override          @Override
251          public String getDetail() {          public String getDetail() {
252                  return "Region: " + regionCode + "/" + regionName;                  return status;
253          }          }
254    
255          @Override          @Override
256          public double getPercentCompleted() {          public double getPercentCompleted() {
257                  return 0;                  if (antalKommuner == 0) {
258                            return 0;      
259                    }
260                    
261                    return  (antalBehandlede / ((double)antalKommuner) ) * 100.0;
262                    
263          }          }
264                    
265    
Legend:
Removed from v.3002  
changed lines
  Added in v.3072
  ViewVC Help
Powered by ViewVC 1.1.20