/[projects]/dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/coveragefileupload/AddressManager.java
ViewVC logotype

Diff of /dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/coveragefileupload/AddressManager.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/AddressManager.java revision 2862 by torben, Thu Jan 28 11:07:07 2016 UTC dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/coveragefileupload/AddressManager.java revision 3114 by torben, Wed Sep 21 08:30:24 2016 UTC
# Line 1  Line 1 
1  package dk.daoas.adressevedligehold;  package dk.daoas.adressevedligehold.coveragefileupload;
2    
3  import java.sql.SQLException;  import java.sql.SQLException;
4  import java.util.ArrayList;  import java.util.ArrayList;
# Line 11  import java.util.TreeMap; Line 11  import java.util.TreeMap;
11    
12  import org.apache.commons.lang3.StringUtils;  import org.apache.commons.lang3.StringUtils;
13    
 import dk.daoas.adressevedligehold.AddressSourceEntry.EntryType;  
14  import dk.daoas.adressevedligehold.beans.Address;  import dk.daoas.adressevedligehold.beans.Address;
15  import dk.daoas.adressevedligehold.beans.Address.AddressState;  import dk.daoas.adressevedligehold.beans.Address.AddressState;
16  import dk.daoas.adressevedligehold.db.DatabaseLayerImplementation;  import dk.daoas.adressevedligehold.coveragefileupload.AddressSourceEntry.EntryType;
17    import dk.daoas.adressevedligehold.db.DatabaseCoverageUpdate;
18    import dk.daoas.adressevedligehold.tasks.TaskLogger;
19  import dk.daoas.adressevedligehold.util.DeduplicateHelper;  import dk.daoas.adressevedligehold.util.DeduplicateHelper;
20  import dk.daoas.adressevedligehold.util.MiscUtils;  import dk.daoas.adressevedligehold.util.MiscUtils;
21  import dk.daoas.adressevedligehold.util.TimingHelper;  import dk.daoas.adressevedligehold.util.TimingHelper;
22    
23  /*  /*
24   * TODO: håndtering af entry dupletter ! (+ rapportering af dem)   *  
   
   
   
25   */   */
26    
27  public class AddressManager {  public class AddressManager {
28                    
29            private TaskLogger logger = TaskLogger.getInstance();
30            
31            private int duplicateCount;
32                    
33          List<Address> addressList;          List<Address> addressList;
34                    
35          Map<Integer, TreeMap<Short, ArrayList<Address>> > searchStructure;          Map<Integer, TreeMap<Short, ArrayList<Address>> > searchStructure;
36                    
37          ArrayList<AddressSourceEntry> afvisteEntries = new ArrayList<AddressSourceEntry>();          ArrayList<AddressSourceEntry> rejectedEntries = new ArrayList<AddressSourceEntry>();
38                    
39          Map<Short,Short> dbkBaneMap = new TreeMap<Short,Short>();          Map<Integer,String> unknownStreets = new TreeMap<Integer, String>();
40            
41            Map<Short,String> dbkBaneMap = new TreeMap<Short,String>();
42                    
43          public AddressManager() throws SQLException {          public AddressManager() throws SQLException {
44                  DatabaseLayerImplementation db = new DatabaseLayerImplementation();                  DatabaseCoverageUpdate db = new DatabaseCoverageUpdate();
45                                    
46                  searchStructure = new TreeMap<Integer, TreeMap<Short, ArrayList<Address>> >();                  searchStructure = new TreeMap<Integer, TreeMap<Short, ArrayList<Address>> >();
47                                    
# Line 56  public class AddressManager { Line 59  public class AddressManager {
59                          Short husnr = shortHelper.getInstance( a.husnr );                          Short husnr = shortHelper.getInstance( a.husnr );
60                          TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( gadeid );                          TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( gadeid );
61                                                    
62                          if (a.dbkBane > 0 && a.postnr<=4999) {                          if (a.dbkBane != null && a.dbkBane.length() > 0 && a.postnr<=4999) {
63                                  Short bane = dbkBaneMap.get(a.postnr);                                  String bane = dbkBaneMap.get(a.postnr);
64                                  if (bane == null) {                                  if (bane == null) {
65                                          dbkBaneMap.put(a.postnr, a.dbkBane);                                          dbkBaneMap.put(a.postnr, a.dbkBane);
66                                  }                                  }
# Line 82  public class AddressManager { Line 85  public class AddressManager {
85                          list.trimToSize();                          list.trimToSize();
86                  }                  }
87                                    
88                  System.out.println("AddressManager ready, elapsed " + timer.getElapsed() + "ms");                  logger.info("AddressManager ready, elapsed " + timer.getElapsed() + "ms");
89                                    
90                                    
91          }          }
92            
93          public void closeUnvisitedAddresses(String distributor, EntryUgedage ugedage) {          @SuppressWarnings("PMD.CollapsibleIfStatements")        
94            public int closeUnvisitedAddresses(String distributor, EntryUgedage ugedage) {
95                    
96                    int totalClosed = 0;
97                    
98                  for (Address addr : addressList) {                  for (Address addr : addressList) {
99                          if (addr.distributor == null)                          if (addr.distributor == null)
100                                  continue;                                  continue;
# Line 162  public class AddressManager { Line 169  public class AddressManager {
169                          if (addr.state == AddressState.NOT_CHANGED && closedCount>0) {                          if (addr.state == AddressState.NOT_CHANGED && closedCount>0) {
170                                  addr.state = AddressState.CLOSED;                                  addr.state = AddressState.CLOSED;
171                          }                          }
172                            
173                            if (closedCount>0) {
174                                    totalClosed++;
175                            }
176                                    
177                  }                  }
178                    
179                    return totalClosed;
180          }          }
181            
182            
183          public void dumpChanged() {          public void dumpChanged() {
184                  int count = 0;                  int count = 0;
185                  for (Address addr : addressList) {                  for (Address addr : addressList) {
# Line 179  public class AddressManager { Line 194  public class AddressManager {
194                                  continue;                                  continue;
195                          }                          }
196                                                    
197                          System.out.println(addr.state + ": " + addr.toStringExtended() );                          logger.info(addr.state + ": " + addr.toStringExtended() );
198                          System.out.println(addr.getRuteString() );                          logger.info(addr.getRuteString() );
199                                                    
200                          if (count++ > 50)                          if (count++ > 50)
201                                  return;                                  return;
202                  }                  }
203          }          }
204                    
205          public void writeBackChanges() {          public int writeBackChanges() throws Exception{
206                  System.out.println("Writing back changes");                  logger.info("Writing back changes");
207                  TimingHelper timer = new TimingHelper();                  TimingHelper timer = new TimingHelper();
208                                    
209                  List<Address> updates = new ArrayList<Address>(1024*1024);                  List<Address> updates = new ArrayList<Address>(1024*1024);
# Line 203  public class AddressManager { Line 218  public class AddressManager {
218                          }                          }
219                  }                  }
220                                    
221                  DatabaseLayerImplementation db = new DatabaseLayerImplementation();                  DatabaseCoverageUpdate db = new DatabaseCoverageUpdate();
222                                    
223                  db.updateAddresses(updates);                  db.updateAddresses(updates);
224                    db.saveNewAddresses(inserts);
225    
226                                    
227                                    
228                  System.out.println("Writeback done: elapsed " + timer.getElapsed() + "ms.");                  logger.info("Writeback done: elapsed " + timer.getElapsed() + "ms.");
229                    
230                    return updates.size() + inserts.size();
231          }          }
232                    
233                    
# Line 224  public class AddressManager { Line 242  public class AddressManager {
242          private void visitSingle(AddressSourceEntry entry) {          private void visitSingle(AddressSourceEntry entry) {
243                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( entry.gadeid );                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( entry.gadeid );
244                  if (gade == null) {                  if (gade == null) {
245                            /* No need to register unknown streets, since we create all entries that we can
246                            if (! unknownStreets.containsKey(entry.gadeid)) {
247                                    unknownStreets.put(entry.gadeid, entry.vejnavn);                                
248                            }*/
249                            
250                          createFromEntry(entry); // if we get here there was no match - so we need to create it                          createFromEntry(entry); // if we get here there was no match - so we need to create it
251                          return;                          return;
252                  }                  }
# Line 233  public class AddressManager { Line 256  public class AddressManager {
256                          createFromEntry(entry); // if we get here there was no match - so we need to create it                          createFromEntry(entry); // if we get here there was no match - so we need to create it
257                          return;                          return;
258                  }                  }
259                                    boolean found = false;
260                  for (Address addr : litraList) {                  for (Address addr : litraList) {
261                          if (addr.husnrbogstav.equals(entry.litra) ) {                          if (addr.husnrbogstav.equals(entry.litra) ) {
262                                  updateAddress(addr, entry);                                  updateAddress(addr, entry);
263                                  return; //Done for now - no need to look at the rest of the list                                  found = true; // 1 visit should be enough but as long as there's duplicates on gadeid+husnr+litra we will visit them all
264                                    //when the issue with duplicates is resolved this should be reverted to a return or break
265                          }                          }
266                  }                  }
267                                    if (found == false) {
268                  createFromEntry(entry); // if we get here there was no match - so we need to create it                          createFromEntry(entry); // if we get here there was no match - so we need to create it
269                    }
270          }          }
271                    
272            @SuppressWarnings("PMD.CollapsibleIfStatements")        
273          private void visitRange(AddressSourceEntry entry) {          private void visitRange(AddressSourceEntry entry) {
274                                    
275                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( entry.gadeid );                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( entry.gadeid );
276                  if (gade == null) {                  if (gade == null) {
277                          System.out.println("[Range] Ukendt gadeID " + entry);                          if (! unknownStreets.containsKey(entry.gadeid)) {
278                                    unknownStreets.put(entry.gadeid, entry.vejnavn);                                
279                            }
280                            
281                            logger.info("[Range] Ukendt gadeID " + entry);
282                          return;                          return;
283                  }                  }
284                                    
# Line 287  public class AddressManager { Line 317  public class AddressManager {
317                    
318          private void updateAddress(Address addr, AddressSourceEntry entry) {          private void updateAddress(Address addr, AddressSourceEntry entry) {
319                  if ( addr.distributor != null && addr.distributor.equals(entry.distributor) == false) {                  if ( addr.distributor != null && addr.distributor.equals(entry.distributor) == false) {
320                          afvisteEntries.add(entry);                          rejectedEntries.add(entry);
321                          System.out.println("Afviser " + entry);                          logger.info("Afviser " + entry);
322                          return;                          return;
323                  }                  }
324                                    
# Line 310  public class AddressManager { Line 340  public class AddressManager {
340                                          }                                          }
341                                  }                                                                }                              
342                          } else {                          } else {
343                                  System.out.println( "Double visit monday " + addr);                                  duplicateCount++;
344                                    logger.info( "Double visit monday " + addr);
345                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
346                          }                          }
347    
348                  }                  }
# Line 332  public class AddressManager { Line 364  public class AddressManager {
364                                          }                                          }
365                                  }                                  }
366                          } else {                          } else {
367                                  System.out.println( "Double visit tuesday " + addr);                                  duplicateCount++;
368                                    logger.info( "Double visit tuesday " + addr);
369                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
370                          }                                                        }                              
371                  }                  }
372    
# Line 352  public class AddressManager { Line 386  public class AddressManager {
386                                          }                                          }
387                                  }                                  }
388                          } else {                          } else {
389                                  System.out.println( "Double visit wednesday " + addr);                                  duplicateCount++;
390                                    logger.info( "Double visit wednesday " + addr);
391                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
392                          }                                        }              
393                  }                  }
394    
# Line 374  public class AddressManager { Line 410  public class AddressManager {
410                                          }                                          }
411                                  }                                  }
412                          } else {                          } else {
413                                  System.out.println( "Double visit thursday " + addr);                                  duplicateCount++;
414                                    logger.info( "Double visit thursday " + addr);
415                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
416                          }                                                                }                                      
417                  }                  }
418    
# Line 395  public class AddressManager { Line 433  public class AddressManager {
433                                          }                                          }
434                                  }                                  }
435                          } else {                          } else {
436                                  System.out.println( "Double visit friday " + addr);                                  duplicateCount++;
437                                    logger.info( "Double visit friday " + addr);
438                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
439                          }                                }      
440                  }                  }
441    
# Line 417  public class AddressManager { Line 457  public class AddressManager {
457                                          }                                          }
458                                  }                                  }
459                          } else {                          } else {
460                                  System.out.println( "Double visit saturday " + addr);                                  duplicateCount++;
461                                    logger.info( "Double visit saturday " + addr);
462                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
463                          }                                                                }                                      
464                  }                  }
465    
# Line 438  public class AddressManager { Line 480  public class AddressManager {
480                                          }                                          }
481                                  }                                  }
482                          } else {                          } else {
483                                  System.out.println( "Double visit sunday " + addr);                                  duplicateCount++;
484                                    logger.info( "Double visit sunday " + addr);
485                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
486                          }                                                                }                                      
487                  }                  }
488                                    
# Line 466  public class AddressManager { Line 510  public class AddressManager {
510                    
511                    
512          private void createFromEntry(AddressSourceEntry entry) {          private void createFromEntry(AddressSourceEntry entry) {
513                  if (entry.husnr == 999) {                  if (entry.husnr >= 1000) { //husnumre i DK må kun være på 3 cifre
514                          return;                          return;
515                  }                  }
516                    
517                    if (entry.husnr == 999 || entry.husnr == 998) { //frasorter de to højest gyldige husnr - det er typisk special adresser
518                            return;
519                    }
520                    
521                    if (entry.litra.length() > 1) { //litra må kun være på 1 tegn
522                            return;
523                    }
524                    if (entry.litra.length() == 1) {
525                            char litra = entry.litra.charAt(0);
526                            if ( Character.isLetter(litra) == false ) {
527                                    return;
528                            }
529                            
530                    }
531                    
532                  if (entry.kommunekode == 0 || entry.vejkode == 0) {                  if (entry.kommunekode == 0 || entry.vejkode == 0) {
533                          return;                          return;
534                  }                  }
535                  if (entry.kommunekode < 100) {                  if (entry.kommunekode < 100) {
536                          return;                          return;
537                  }                  }
                 if (Short.parseShort(Integer.toString(entry.gadeid).substring(0, 4)) != entry.postnr) {  
                         return; //gadeid / postnr mismatch  
                 }  
538                                    
539                    if (entry.vejkode > 9999) {
540                            return;
541                    }
542                                    
543                    if (entry.gadeid == 0) {
544                            return;
545                    }
546                                    
547                    String gadeidStr = Integer.toString(entry.gadeid);
548                    if (gadeidStr.length() != 9) {
549                            return;
550                    }
551                    if (Short.parseShort(gadeidStr.substring(0, 4)) != entry.postnr) {
552                            return; //gadeid / postnr mismatch
553                    }
554                                    
                 System.out.println("Opretter adresse ud fra " + entry);  
555                                    
                 Address a = new Address();  
                 a.state = AddressState.CREATED;  
556                                    
557                  a.distributor = entry.distributor;                  logger.info("Opretter adresse ud fra " + entry);
                 a.gadeid = entry.gadeid;  
                 a.kommunekode = entry.kommunekode;  
                 a.vejkode = entry.vejkode;  
                 a.vejnavn = entry.vejnavn;  
                 a.husnr = entry.husnr;  
                 a.husnrbogstav = entry.litra;  
                 a.postnr = entry.postnr;  
                 //a.visited = true;  
558                                    
559                  if (entry.ugedage.mandag) {                  Address addr = new Address();
560                          a.ruteMandag = entry.rute;                  addr.state = AddressState.CREATED;
                         a.korelisteMandag = entry.koreliste;  
                 }  
                 if (entry.ugedage.tirsdag) {  
                         a.ruteTirsdag = entry.rute;  
                         a.korelisteTirsdag = entry.koreliste;  
                 }  
                 if (entry.ugedage.onsdag) {  
                         a.ruteOnsdag = entry.rute;  
                         a.korelisteOnsdag = entry.koreliste;  
                 }                
                 if (entry.ugedage.torsdag) {  
                         a.ruteTorsdag = entry.rute;  
                         a.korelisteTorsdag = entry.koreliste;  
                 }                
                 if (entry.ugedage.fredag) {  
                         a.ruteFredag = entry.rute;  
                         a.korelisteFredag = entry.koreliste;  
                 }                
                 if (entry.ugedage.lordag) {  
                         a.ruteLordag = entry.rute;  
                         a.korelisteLordag = entry.koreliste;  
                 }                
                 if (entry.ugedage.sondag) {  
                         a.ruteSondag = entry.rute;  
                         a.korelisteLordag = entry.koreliste;  
                 }                
561                                    
562                  updateDbkBane(a);                  addr.distributor = entry.distributor;
563                    addr.gadeid = entry.gadeid;
564                    addr.kommunekode = entry.kommunekode;
565                    addr.vejkode = entry.vejkode;
566                    addr.vejnavn = entry.vejnavn;
567                    addr.husnr = entry.husnr;
568                    addr.husnrbogstav = entry.litra;
569                    addr.postnr = entry.postnr;
570                                    
                 // Nu er det nye adresse object oprettet - nu skal det gemmes i søge strukturen og totallisten  
571                                    
572                    updateAddress(addr, entry);
573    
574                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( a.gadeid );                  
575                    // Nu er det nye adresse object oprettet - nu skal det gemmes i søge strukturen og totallisten        
576                    TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( addr.gadeid );
577                                    
578                  if (gade == null) {                  if (gade == null) {
579                          gade = new TreeMap<Short,ArrayList<Address>>();                          gade = new TreeMap<Short,ArrayList<Address>>();
580                          searchStructure.put(a.gadeid, gade);                          searchStructure.put(addr.gadeid, gade);
581                  }                  }
582                                    
583                  ArrayList<Address> litraList = gade.get(a.husnr);                  ArrayList<Address> litraList = gade.get(addr.husnr);
584                  if (litraList == null) {                  if (litraList == null) {
585                          litraList = new ArrayList<Address>();                          litraList = new ArrayList<Address>();
586                          gade.put(a.husnr, litraList);                          gade.put(addr.husnr, litraList);
587                  }                  }
588                                    
589                  litraList.add(a);                  litraList.add(addr);
590                  addressList.add(a);                  addressList.add(addr);
591                                                                    
592          }          }
593                    
# Line 568  public class AddressManager { Line 611  public class AddressManager {
611                    
612          private void updateDbkBane(Address a) {          private void updateDbkBane(Address a) {
613                  List<Short> daoBane205 = Arrays.asList( new Short[] {7,10,11,12,12,14,15,16,18,19,20} );                  List<Short> daoBane205 = Arrays.asList( new Short[] {7,10,11,12,12,14,15,16,18,19,20} );
614                    
615                    
616                  Short bane = null;                  String bane = null;
617                                    
618                  switch (a.distributor) {                  switch (a.distributor) {
619                  case "BK":                                        case "BK":                      
# Line 578  public class AddressManager { Line 621  public class AddressManager {
621                          break;                          break;
622                  case "DAO":                  case "DAO":
623                          String koreliste = MiscUtils.firstNonNull(a.korelisteMandag,a.korelisteLordag, a.korelisteSondag); //DAO har kun 3 dækningstyper                          String koreliste = MiscUtils.firstNonNull(a.korelisteMandag,a.korelisteLordag, a.korelisteSondag); //DAO har kun 3 dækningstyper
624                          short first2 = Short.parseShort( koreliste.substring(0,2) );                          try {
625                          if ( daoBane205.contains(first2) ) {                                  short first2 = Short.parseShort( koreliste.substring(0,2) );                            
626                                  bane = 205;                                  if ( daoBane205.contains(first2) ) { //Brabrand == 205 == W2
627                          } else if (first2 >= 24 && first2<=30) {                                          bane = "W2";
628                                  bane = 201;                                  } else if (first2 >= 24 && first2<=30) { // DAO-Øvrig = 201 = W4
629                          } else {                                          bane = "W4";
630                                  bane = 202;                                  } else { // DAO-Syd= 202
631                                            bane = "W3";
632                                    }
633                            } catch (NumberFormatException e) {
634                                    throw new RuntimeException("Error parsing koreliste '" + koreliste + "' for " + a);
635                          }                          }
636                                                                    
637                          break;                                            break;                  
638                  case "FD":                  case "FD": // FD == Bane 200 = W5
639                          bane = 200;                          bane = "W5";
640                          break;                          break;
641                  case "NS":                  case "NS": // NS == Bane 204 == W1
642                          bane = 204;                          bane = "204";
643                          break;                                            break;
644                    default:
645                            throw new RuntimeException("Ukendt distributor: " + a.distributor); //Silence findBugs
646                  }                  }
647                                    
648                  if (bane == null) {                  if (bane == null) {
649                          throw new RuntimeException("Ukendt bane for postnr" + a.postnr);                          throw new RuntimeException("Ukendt bane for postnr: " + a.postnr);
650                  }                  }
651                                    
652                  if (a.dbkBane != bane) {                  if ( StringUtils.equals(a.dbkBane, bane) == false ) {
653                          a.dbkBane = bane;                          a.dbkBane = bane;
654                          if (a.state ==AddressState.NOT_CHANGED) {                          if (a.state == AddressState.NOT_CHANGED) {
655                                  a.state = AddressState.MODIFIED;                                  a.state = AddressState.MODIFIED;
656                          }                          }
657                  }                                }              
# Line 612  public class AddressManager { Line 661  public class AddressManager {
661                  return Collections.unmodifiableList(addressList);                  return Collections.unmodifiableList(addressList);
662          }          }
663                    
664            public Map<Integer,String> getUnknownStreets() {
665                    return Collections.unmodifiableMap( unknownStreets );
666            }
667                    
668            public int getDuplicateCount() {
669                    return duplicateCount;
670            }
671                    
672          public int getAfvistAntal() {          public int getRejectedCount() {
673                  return afvisteEntries.size();                  return rejectedEntries.size();
674          }          }
675                    
676  }  }
Legend:
Removed from v.2862  
changed lines
  Added in v.3114
  ViewVC Help
Powered by ViewVC 1.1.20