/[projects]/dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/coveragefileupload/AddressManager.java
ViewVC logotype

Diff of /dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/coveragefileupload/AddressManager.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/AddressManager.java revision 2877 by torben, Thu Jan 28 22:20:23 2016 UTC dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/coveragefileupload/AddressManager.java revision 3024 by torben, Tue Apr 26 19:34:14 2016 UTC
# Line 1  Line 1 
1  package dk.daoas.adressevedligehold;  package dk.daoas.adressevedligehold.coveragefileupload;
2    
3  import java.sql.SQLException;  import java.sql.SQLException;
4  import java.util.ArrayList;  import java.util.ArrayList;
# Line 11  import java.util.TreeMap; Line 11  import java.util.TreeMap;
11    
12  import org.apache.commons.lang3.StringUtils;  import org.apache.commons.lang3.StringUtils;
13    
 import dk.daoas.adressevedligehold.AddressSourceEntry.EntryType;  
14  import dk.daoas.adressevedligehold.beans.Address;  import dk.daoas.adressevedligehold.beans.Address;
15  import dk.daoas.adressevedligehold.beans.Address.AddressState;  import dk.daoas.adressevedligehold.beans.Address.AddressState;
16  import dk.daoas.adressevedligehold.db.DatabaseLayerImplementation;  import dk.daoas.adressevedligehold.coveragefileupload.AddressSourceEntry.EntryType;
17    import dk.daoas.adressevedligehold.db.DatabaseCoverageUpdate;
18    import dk.daoas.adressevedligehold.tasks.TaskLogger;
19  import dk.daoas.adressevedligehold.util.DeduplicateHelper;  import dk.daoas.adressevedligehold.util.DeduplicateHelper;
20  import dk.daoas.adressevedligehold.util.MiscUtils;  import dk.daoas.adressevedligehold.util.MiscUtils;
21  import dk.daoas.adressevedligehold.util.TimingHelper;  import dk.daoas.adressevedligehold.util.TimingHelper;
22    
23  /*  /*
24   * TODO: håndtering af entry dupletter ! (+ rapportering af dem)   *  
   
   
   
25   */   */
26    
27  public class AddressManager {  public class AddressManager {
28                    
29            private TaskLogger logger = TaskLogger.getInstance();
30            
31            private int duplicateCount;
32                    
33          List<Address> addressList;          List<Address> addressList;
34                    
# Line 40  public class AddressManager { Line 41  public class AddressManager {
41          Map<Short,Short> dbkBaneMap = new TreeMap<Short,Short>();          Map<Short,Short> dbkBaneMap = new TreeMap<Short,Short>();
42                    
43          public AddressManager() throws SQLException {          public AddressManager() throws SQLException {
44                  DatabaseLayerImplementation db = new DatabaseLayerImplementation();                  DatabaseCoverageUpdate db = new DatabaseCoverageUpdate();
45                                    
46                  searchStructure = new TreeMap<Integer, TreeMap<Short, ArrayList<Address>> >();                  searchStructure = new TreeMap<Integer, TreeMap<Short, ArrayList<Address>> >();
47                                    
# Line 84  public class AddressManager { Line 85  public class AddressManager {
85                          list.trimToSize();                          list.trimToSize();
86                  }                  }
87                                    
88                  System.out.println("AddressManager ready, elapsed " + timer.getElapsed() + "ms");                  logger.info("AddressManager ready, elapsed " + timer.getElapsed() + "ms");
89                                    
90                                    
91          }          }
92            
93            @SuppressWarnings("PMD.CollapsibleIfStatements")        
94          public void closeUnvisitedAddresses(String distributor, EntryUgedage ugedage) {          public void closeUnvisitedAddresses(String distributor, EntryUgedage ugedage) {
95                  for (Address addr : addressList) {                  for (Address addr : addressList) {
96                          if (addr.distributor == null)                          if (addr.distributor == null)
# Line 181  public class AddressManager { Line 183  public class AddressManager {
183                                  continue;                                  continue;
184                          }                          }
185                                                    
186                          System.out.println(addr.state + ": " + addr.toStringExtended() );                          logger.info(addr.state + ": " + addr.toStringExtended() );
187                          System.out.println(addr.getRuteString() );                          logger.info(addr.getRuteString() );
188                                                    
189                          if (count++ > 50)                          if (count++ > 50)
190                                  return;                                  return;
191                  }                  }
192          }          }
193                    
194          public void writeBackChanges() {          public void writeBackChanges() throws Exception{
195                  System.out.println("Writing back changes");                  logger.info("Writing back changes");
196                  TimingHelper timer = new TimingHelper();                  TimingHelper timer = new TimingHelper();
197                                    
198                  List<Address> updates = new ArrayList<Address>(1024*1024);                  List<Address> updates = new ArrayList<Address>(1024*1024);
# Line 205  public class AddressManager { Line 207  public class AddressManager {
207                          }                          }
208                  }                  }
209                                    
210                  DatabaseLayerImplementation db = new DatabaseLayerImplementation();                  DatabaseCoverageUpdate db = new DatabaseCoverageUpdate();
211                                    
212                  db.updateAddresses(updates);                  db.updateAddresses(updates);
213                  db.saveNewAddresses(inserts);                  db.saveNewAddresses(inserts);
214    
215                                    
216                                    
217                  System.out.println("Writeback done: elapsed " + timer.getElapsed() + "ms.");                  logger.info("Writeback done: elapsed " + timer.getElapsed() + "ms.");
218          }          }
219                    
220                    
# Line 227  public class AddressManager { Line 229  public class AddressManager {
229          private void visitSingle(AddressSourceEntry entry) {          private void visitSingle(AddressSourceEntry entry) {
230                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( entry.gadeid );                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( entry.gadeid );
231                  if (gade == null) {                  if (gade == null) {
232                            /* No need to register unknown streets, since we create all entries that we can
233                          if (! unknownStreets.containsKey(entry.gadeid)) {                          if (! unknownStreets.containsKey(entry.gadeid)) {
234                                  unknownStreets.put(entry.gadeid, entry.vejnavn);                                                                  unknownStreets.put(entry.gadeid, entry.vejnavn);                                
235                          }                          }*/
236                                                    
237                          createFromEntry(entry); // if we get here there was no match - so we need to create it                          createFromEntry(entry); // if we get here there was no match - so we need to create it
238                          return;                          return;
# Line 253  public class AddressManager { Line 256  public class AddressManager {
256                  }                  }
257          }          }
258                    
259            @SuppressWarnings("PMD.CollapsibleIfStatements")        
260          private void visitRange(AddressSourceEntry entry) {          private void visitRange(AddressSourceEntry entry) {
261                                    
262                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( entry.gadeid );                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( entry.gadeid );
# Line 261  public class AddressManager { Line 265  public class AddressManager {
265                                  unknownStreets.put(entry.gadeid, entry.vejnavn);                                                                  unknownStreets.put(entry.gadeid, entry.vejnavn);                                
266                          }                          }
267                                                    
268                          System.out.println("[Range] Ukendt gadeID " + entry);                          logger.info("[Range] Ukendt gadeID " + entry);
269                          return;                          return;
270                  }                  }
271                                    
# Line 301  public class AddressManager { Line 305  public class AddressManager {
305          private void updateAddress(Address addr, AddressSourceEntry entry) {          private void updateAddress(Address addr, AddressSourceEntry entry) {
306                  if ( addr.distributor != null && addr.distributor.equals(entry.distributor) == false) {                  if ( addr.distributor != null && addr.distributor.equals(entry.distributor) == false) {
307                          rejectedEntries.add(entry);                          rejectedEntries.add(entry);
308                          System.out.println("Afviser " + entry);                          logger.info("Afviser " + entry);
309                          return;                          return;
310                  }                  }
311                                    
# Line 323  public class AddressManager { Line 327  public class AddressManager {
327                                          }                                          }
328                                  }                                                                }                              
329                          } else {                          } else {
330                                  System.out.println( "Double visit monday " + addr);                                  duplicateCount++;
331                                    logger.info( "Double visit monday " + addr);
332                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
333                          }                          }
334    
335                  }                  }
# Line 345  public class AddressManager { Line 351  public class AddressManager {
351                                          }                                          }
352                                  }                                  }
353                          } else {                          } else {
354                                  System.out.println( "Double visit tuesday " + addr);                                  duplicateCount++;
355                                    logger.info( "Double visit tuesday " + addr);
356                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
357                          }                                                        }                              
358                  }                  }
359    
# Line 365  public class AddressManager { Line 373  public class AddressManager {
373                                          }                                          }
374                                  }                                  }
375                          } else {                          } else {
376                                  System.out.println( "Double visit wednesday " + addr);                                  duplicateCount++;
377                                    logger.info( "Double visit wednesday " + addr);
378                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
379                          }                                        }              
380                  }                  }
381    
# Line 387  public class AddressManager { Line 397  public class AddressManager {
397                                          }                                          }
398                                  }                                  }
399                          } else {                          } else {
400                                  System.out.println( "Double visit thursday " + addr);                                  duplicateCount++;
401                                    logger.info( "Double visit thursday " + addr);
402                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
403                          }                                                                }                                      
404                  }                  }
405    
# Line 408  public class AddressManager { Line 420  public class AddressManager {
420                                          }                                          }
421                                  }                                  }
422                          } else {                          } else {
423                                  System.out.println( "Double visit friday " + addr);                                  duplicateCount++;
424                                    logger.info( "Double visit friday " + addr);
425                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
426                          }                                }      
427                  }                  }
428    
# Line 430  public class AddressManager { Line 444  public class AddressManager {
444                                          }                                          }
445                                  }                                  }
446                          } else {                          } else {
447                                  System.out.println( "Double visit saturday " + addr);                                  duplicateCount++;
448                                    logger.info( "Double visit saturday " + addr);
449                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
450                          }                                                                }                                      
451                  }                  }
452    
# Line 451  public class AddressManager { Line 467  public class AddressManager {
467                                          }                                          }
468                                  }                                  }
469                          } else {                          } else {
470                                  System.out.println( "Double visit sunday " + addr);                                  duplicateCount++;
471                                    logger.info( "Double visit sunday " + addr);
472                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
473                          }                                                                }                                      
474                  }                  }
475                                    
# Line 479  public class AddressManager { Line 497  public class AddressManager {
497                    
498                    
499          private void createFromEntry(AddressSourceEntry entry) {          private void createFromEntry(AddressSourceEntry entry) {
500                  if (entry.husnr == 999) {                  if (entry.husnr >= 1000) { //husnumre i DK må kun være på 3 cifre
501                            return;
502                    }
503                    
504                    if (entry.husnr == 999 || entry.husnr == 998) { //frasorter de to højest gyldige husnr - det er typisk special adresser
505                            return;
506                    }
507                    
508                    if (entry.litra.length() > 1) { //litra må kun være på 1 tegn
509                          return;                          return;
510                  }                  }
511                    if (entry.litra.length() == 1) {
512                            char litra = entry.litra.charAt(0);
513                            if ( Character.isLetter(litra) == false ) {
514                                    return;
515                            }
516                            
517                    }
518                    
519                  if (entry.kommunekode == 0 || entry.vejkode == 0) {                  if (entry.kommunekode == 0 || entry.vejkode == 0) {
520                          return;                          return;
521                  }                  }
# Line 489  public class AddressManager { Line 523  public class AddressManager {
523                          return;                          return;
524                  }                  }
525                                    
526                    if (entry.vejkode > 9999) {
527                            return;
528                    }
529                    
530                    if (entry.gadeid == 0) {
531                            return;
532                    }
533                                    
534                  String gadeidStr = Integer.toString(entry.gadeid);                  String gadeidStr = Integer.toString(entry.gadeid);
535                  if (gadeidStr.length() != 9) {                  if (gadeidStr.length() != 9) {
536                          return;                          return;
# Line 499  public class AddressManager { Line 541  public class AddressManager {
541                                    
542                                    
543                                    
544                  System.out.println("Opretter adresse ud fra " + entry);                  logger.info("Opretter adresse ud fra " + entry);
545                                    
546                  Address a = new Address();                  Address addr = new Address();
547                  a.state = AddressState.CREATED;                  addr.state = AddressState.CREATED;
548                                    
549                  a.distributor = entry.distributor;                  addr.distributor = entry.distributor;
550                  a.gadeid = entry.gadeid;                  addr.gadeid = entry.gadeid;
551                  a.kommunekode = entry.kommunekode;                  addr.kommunekode = entry.kommunekode;
552                  a.vejkode = entry.vejkode;                  addr.vejkode = entry.vejkode;
553                  a.vejnavn = entry.vejnavn;                  addr.vejnavn = entry.vejnavn;
554                  a.husnr = entry.husnr;                  addr.husnr = entry.husnr;
555                  a.husnrbogstav = entry.litra;                  addr.husnrbogstav = entry.litra;
556                  a.postnr = entry.postnr;                  addr.postnr = entry.postnr;
                 //a.visited = true;  
557                                    
                 if (entry.ugedage.mandag) {  
                         a.ruteMandag = entry.rute;  
                         a.korelisteMandag = entry.koreliste;  
                 }  
                 if (entry.ugedage.tirsdag) {  
                         a.ruteTirsdag = entry.rute;  
                         a.korelisteTirsdag = entry.koreliste;  
                 }  
                 if (entry.ugedage.onsdag) {  
                         a.ruteOnsdag = entry.rute;  
                         a.korelisteOnsdag = entry.koreliste;  
                 }                
                 if (entry.ugedage.torsdag) {  
                         a.ruteTorsdag = entry.rute;  
                         a.korelisteTorsdag = entry.koreliste;  
                 }                
                 if (entry.ugedage.fredag) {  
                         a.ruteFredag = entry.rute;  
                         a.korelisteFredag = entry.koreliste;  
                 }                
                 if (entry.ugedage.lordag) {  
                         a.ruteLordag = entry.rute;  
                         a.korelisteLordag = entry.koreliste;  
                 }                
                 if (entry.ugedage.sondag) {  
                         a.ruteSondag = entry.rute;  
                         a.korelisteLordag = entry.koreliste;  
                 }                
                   
                 updateDbkBane(a);  
                   
                 // Nu er det nye adresse object oprettet - nu skal det gemmes i søge strukturen og totallisten  
558                                    
559                    updateAddress(addr, entry);
560    
561                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( a.gadeid );                  
562                    // Nu er det nye adresse object oprettet - nu skal det gemmes i søge strukturen og totallisten        
563                    TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( addr.gadeid );
564                                    
565                  if (gade == null) {                  if (gade == null) {
566                          gade = new TreeMap<Short,ArrayList<Address>>();                          gade = new TreeMap<Short,ArrayList<Address>>();
567                          searchStructure.put(a.gadeid, gade);                          searchStructure.put(addr.gadeid, gade);
568                  }                  }
569                                    
570                  ArrayList<Address> litraList = gade.get(a.husnr);                  ArrayList<Address> litraList = gade.get(addr.husnr);
571                  if (litraList == null) {                  if (litraList == null) {
572                          litraList = new ArrayList<Address>();                          litraList = new ArrayList<Address>();
573                          gade.put(a.husnr, litraList);                          gade.put(addr.husnr, litraList);
574                  }                  }
575                                    
576                  litraList.add(a);                  litraList.add(addr);
577                  addressList.add(a);                  addressList.add(addr);
578                                                                    
579          }          }
580                    
# Line 613  public class AddressManager { Line 625  public class AddressManager {
625                          bane = 204;                          bane = 204;
626                          break;                          break;
627                  default:                  default:
628                          throw new RuntimeException("Ukendt distributor" + a.distributor); //Silence findBugs                          throw new RuntimeException("Ukendt distributor: " + a.distributor); //Silence findBugs
629                  }                  }
630                                    
631                  if (bane == null) {                  if (bane == null) {
632                          throw new RuntimeException("Ukendt bane for postnr" + a.postnr);                          throw new RuntimeException("Ukendt bane for postnr: " + a.postnr);
633                  }                  }
634                                    
635                  if (a.dbkBane != bane) {                  if (a.dbkBane != bane) {
# Line 636  public class AddressManager { Line 648  public class AddressManager {
648                  return Collections.unmodifiableMap( unknownStreets );                  return Collections.unmodifiableMap( unknownStreets );
649          }          }
650                    
651                    public int getDuplicateCount() {
652                    return duplicateCount;
653            }
654                    
655          public int getRejectedCount() {          public int getRejectedCount() {
656                  return rejectedEntries.size();                  return rejectedEntries.size();
Legend:
Removed from v.2877  
changed lines
  Added in v.3024
  ViewVC Help
Powered by ViewVC 1.1.20