/[projects]/dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/coveragefileupload/AddressManager.java
ViewVC logotype

Diff of /dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/coveragefileupload/AddressManager.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/AddressManager.java revision 2862 by torben, Thu Jan 28 11:07:07 2016 UTC dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/fileupload/AddressManager.java revision 2952 by torben, Tue Feb 16 11:28:27 2016 UTC
# Line 1  Line 1 
1  package dk.daoas.adressevedligehold;  package dk.daoas.adressevedligehold.fileupload;
2    
3  import java.sql.SQLException;  import java.sql.SQLException;
4  import java.util.ArrayList;  import java.util.ArrayList;
# Line 11  import java.util.TreeMap; Line 11  import java.util.TreeMap;
11    
12  import org.apache.commons.lang3.StringUtils;  import org.apache.commons.lang3.StringUtils;
13    
 import dk.daoas.adressevedligehold.AddressSourceEntry.EntryType;  
14  import dk.daoas.adressevedligehold.beans.Address;  import dk.daoas.adressevedligehold.beans.Address;
15  import dk.daoas.adressevedligehold.beans.Address.AddressState;  import dk.daoas.adressevedligehold.beans.Address.AddressState;
16  import dk.daoas.adressevedligehold.db.DatabaseLayerImplementation;  import dk.daoas.adressevedligehold.db.DatabaseCoverageUpdate;
17    import dk.daoas.adressevedligehold.fileupload.AddressSourceEntry.EntryType;
18    import dk.daoas.adressevedligehold.tasks.TaskLogger;
19  import dk.daoas.adressevedligehold.util.DeduplicateHelper;  import dk.daoas.adressevedligehold.util.DeduplicateHelper;
20  import dk.daoas.adressevedligehold.util.MiscUtils;  import dk.daoas.adressevedligehold.util.MiscUtils;
21  import dk.daoas.adressevedligehold.util.TimingHelper;  import dk.daoas.adressevedligehold.util.TimingHelper;
22    
23  /*  /*
24   * TODO: håndtering af entry dupletter ! (+ rapportering af dem)   *  
   
   
   
25   */   */
26    
27  public class AddressManager {  public class AddressManager {
28                    
29            private TaskLogger logger = TaskLogger.getInstance();
30            
31            private int duplicateCount;
32                    
33          List<Address> addressList;          List<Address> addressList;
34                    
35          Map<Integer, TreeMap<Short, ArrayList<Address>> > searchStructure;          Map<Integer, TreeMap<Short, ArrayList<Address>> > searchStructure;
36                    
37          ArrayList<AddressSourceEntry> afvisteEntries = new ArrayList<AddressSourceEntry>();          ArrayList<AddressSourceEntry> rejectedEntries = new ArrayList<AddressSourceEntry>();
38            
39            Map<Integer,String> unknownStreets = new TreeMap<Integer, String>();
40                    
41          Map<Short,Short> dbkBaneMap = new TreeMap<Short,Short>();          Map<Short,Short> dbkBaneMap = new TreeMap<Short,Short>();
42                    
43          public AddressManager() throws SQLException {          public AddressManager() throws SQLException {
44                  DatabaseLayerImplementation db = new DatabaseLayerImplementation();                  DatabaseCoverageUpdate db = new DatabaseCoverageUpdate();
45                                    
46                  searchStructure = new TreeMap<Integer, TreeMap<Short, ArrayList<Address>> >();                  searchStructure = new TreeMap<Integer, TreeMap<Short, ArrayList<Address>> >();
47                                    
# Line 82  public class AddressManager { Line 85  public class AddressManager {
85                          list.trimToSize();                          list.trimToSize();
86                  }                  }
87                                    
88                  System.out.println("AddressManager ready, elapsed " + timer.getElapsed() + "ms");                  logger.info("AddressManager ready, elapsed " + timer.getElapsed() + "ms");
89                                    
90                                    
91          }          }
92            
93            @SuppressWarnings("PMD.CollapsibleIfStatements")        
94          public void closeUnvisitedAddresses(String distributor, EntryUgedage ugedage) {          public void closeUnvisitedAddresses(String distributor, EntryUgedage ugedage) {
95                  for (Address addr : addressList) {                  for (Address addr : addressList) {
96                          if (addr.distributor == null)                          if (addr.distributor == null)
# Line 179  public class AddressManager { Line 183  public class AddressManager {
183                                  continue;                                  continue;
184                          }                          }
185                                                    
186                          System.out.println(addr.state + ": " + addr.toStringExtended() );                          logger.info(addr.state + ": " + addr.toStringExtended() );
187                          System.out.println(addr.getRuteString() );                          logger.info(addr.getRuteString() );
188                                                    
189                          if (count++ > 50)                          if (count++ > 50)
190                                  return;                                  return;
# Line 188  public class AddressManager { Line 192  public class AddressManager {
192          }          }
193                    
194          public void writeBackChanges() {          public void writeBackChanges() {
195                  System.out.println("Writing back changes");                  logger.info("Writing back changes");
196                  TimingHelper timer = new TimingHelper();                  TimingHelper timer = new TimingHelper();
197                                    
198                  List<Address> updates = new ArrayList<Address>(1024*1024);                  List<Address> updates = new ArrayList<Address>(1024*1024);
# Line 203  public class AddressManager { Line 207  public class AddressManager {
207                          }                          }
208                  }                  }
209                                    
210                  DatabaseLayerImplementation db = new DatabaseLayerImplementation();                  DatabaseCoverageUpdate db = new DatabaseCoverageUpdate();
211                                    
212                  db.updateAddresses(updates);                  db.updateAddresses(updates);
213                    db.saveNewAddresses(inserts);
214    
215                                    
216                                    
217                  System.out.println("Writeback done: elapsed " + timer.getElapsed() + "ms.");                  logger.info("Writeback done: elapsed " + timer.getElapsed() + "ms.");
218          }          }
219                    
220                    
# Line 224  public class AddressManager { Line 229  public class AddressManager {
229          private void visitSingle(AddressSourceEntry entry) {          private void visitSingle(AddressSourceEntry entry) {
230                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( entry.gadeid );                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( entry.gadeid );
231                  if (gade == null) {                  if (gade == null) {
232                            if (! unknownStreets.containsKey(entry.gadeid)) {
233                                    unknownStreets.put(entry.gadeid, entry.vejnavn);                                
234                            }
235                            
236                          createFromEntry(entry); // if we get here there was no match - so we need to create it                          createFromEntry(entry); // if we get here there was no match - so we need to create it
237                          return;                          return;
238                  }                  }
# Line 233  public class AddressManager { Line 242  public class AddressManager {
242                          createFromEntry(entry); // if we get here there was no match - so we need to create it                          createFromEntry(entry); // if we get here there was no match - so we need to create it
243                          return;                          return;
244                  }                  }
245                                    boolean found = false;
246                  for (Address addr : litraList) {                  for (Address addr : litraList) {
247                          if (addr.husnrbogstav.equals(entry.litra) ) {                          if (addr.husnrbogstav.equals(entry.litra) ) {
248                                  updateAddress(addr, entry);                                  updateAddress(addr, entry);
249                                  return; //Done for now - no need to look at the rest of the list                                  found = true; // 1 visit should be enough but as long as there's duplicates on gadeid+husnr+litra we will visit them all
250                                    //when the issue with duplicates is resolved this should be reverted to a return or break
251                          }                          }
252                  }                  }
253                                    if (found == false) {
254                  createFromEntry(entry); // if we get here there was no match - so we need to create it                          createFromEntry(entry); // if we get here there was no match - so we need to create it
255                    }
256          }          }
257                    
258            @SuppressWarnings("PMD.CollapsibleIfStatements")        
259          private void visitRange(AddressSourceEntry entry) {          private void visitRange(AddressSourceEntry entry) {
260                                    
261                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( entry.gadeid );                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( entry.gadeid );
262                  if (gade == null) {                  if (gade == null) {
263                          System.out.println("[Range] Ukendt gadeID " + entry);                          if (! unknownStreets.containsKey(entry.gadeid)) {
264                                    unknownStreets.put(entry.gadeid, entry.vejnavn);                                
265                            }
266                            
267                            logger.info("[Range] Ukendt gadeID " + entry);
268                          return;                          return;
269                  }                  }
270                                    
# Line 287  public class AddressManager { Line 303  public class AddressManager {
303                    
304          private void updateAddress(Address addr, AddressSourceEntry entry) {          private void updateAddress(Address addr, AddressSourceEntry entry) {
305                  if ( addr.distributor != null && addr.distributor.equals(entry.distributor) == false) {                  if ( addr.distributor != null && addr.distributor.equals(entry.distributor) == false) {
306                          afvisteEntries.add(entry);                          rejectedEntries.add(entry);
307                          System.out.println("Afviser " + entry);                          logger.info("Afviser " + entry);
308                          return;                          return;
309                  }                  }
310                                    
# Line 310  public class AddressManager { Line 326  public class AddressManager {
326                                          }                                          }
327                                  }                                                                }                              
328                          } else {                          } else {
329                                  System.out.println( "Double visit monday " + addr);                                  duplicateCount++;
330                                    logger.info( "Double visit monday " + addr);
331                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
332                          }                          }
333    
334                  }                  }
# Line 332  public class AddressManager { Line 350  public class AddressManager {
350                                          }                                          }
351                                  }                                  }
352                          } else {                          } else {
353                                  System.out.println( "Double visit tuesday " + addr);                                  duplicateCount++;
354                                    logger.info( "Double visit tuesday " + addr);
355                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
356                          }                                                        }                              
357                  }                  }
358    
# Line 352  public class AddressManager { Line 372  public class AddressManager {
372                                          }                                          }
373                                  }                                  }
374                          } else {                          } else {
375                                  System.out.println( "Double visit wednesday " + addr);                                  duplicateCount++;
376                                    logger.info( "Double visit wednesday " + addr);
377                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
378                          }                                        }              
379                  }                  }
380    
# Line 374  public class AddressManager { Line 396  public class AddressManager {
396                                          }                                          }
397                                  }                                  }
398                          } else {                          } else {
399                                  System.out.println( "Double visit thursday " + addr);                                  duplicateCount++;
400                                    logger.info( "Double visit thursday " + addr);
401                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
402                          }                                                                }                                      
403                  }                  }
404    
# Line 395  public class AddressManager { Line 419  public class AddressManager {
419                                          }                                          }
420                                  }                                  }
421                          } else {                          } else {
422                                  System.out.println( "Double visit friday " + addr);                                  duplicateCount++;
423                                    logger.info( "Double visit friday " + addr);
424                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
425                          }                                }      
426                  }                  }
427    
# Line 417  public class AddressManager { Line 443  public class AddressManager {
443                                          }                                          }
444                                  }                                  }
445                          } else {                          } else {
446                                  System.out.println( "Double visit saturday " + addr);                                  duplicateCount++;
447                                    logger.info( "Double visit saturday " + addr);
448                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
449                          }                                                                }                                      
450                  }                  }
451    
# Line 438  public class AddressManager { Line 466  public class AddressManager {
466                                          }                                          }
467                                  }                                  }
468                          } else {                          } else {
469                                  System.out.println( "Double visit sunday " + addr);                                  duplicateCount++;
470                                    logger.info( "Double visit sunday " + addr);
471                                    return; // if the entry is duplicate on one day that it covers - then it will be as well on all the othters
472                          }                                                                }                                      
473                  }                  }
474                                    
# Line 466  public class AddressManager { Line 496  public class AddressManager {
496                    
497                    
498          private void createFromEntry(AddressSourceEntry entry) {          private void createFromEntry(AddressSourceEntry entry) {
499                  if (entry.husnr == 999) {                  if (entry.husnr >= 1000) { //husnumre i DK må kun være på 3 cifre
500                          return;                          return;
501                  }                  }
502                    
503                    if (entry.husnr == 999 || entry.husnr == 998) { //frasorter de to højest gyldige husnr - det er typisk special adresser
504                            return;
505                    }
506                    
507                    if (entry.litra.length() > 1) { //litra må kun være på 1 tegn
508                            return;
509                    }
510                    if (entry.litra.length() == 1) {
511                            char litra = entry.litra.charAt(0);
512                            if ( Character.isLetter(litra) == false ) {
513                                    return;
514                            }
515                            
516                    }
517                    
518                  if (entry.kommunekode == 0 || entry.vejkode == 0) {                  if (entry.kommunekode == 0 || entry.vejkode == 0) {
519                          return;                          return;
520                  }                  }
521                  if (entry.kommunekode < 100) {                  if (entry.kommunekode < 100) {
522                          return;                          return;
523                  }                  }
                 if (Short.parseShort(Integer.toString(entry.gadeid).substring(0, 4)) != entry.postnr) {  
                         return; //gadeid / postnr mismatch  
                 }  
524                                    
525                    if (entry.vejkode > 9999) {
526                            return;
527                    }
528                                    
529                    if (entry.gadeid == 0) {
530                            return;
531                    }
532                                    
533                    String gadeidStr = Integer.toString(entry.gadeid);
534                    if (gadeidStr.length() != 9) {
535                            return;
536                    }
537                    if (Short.parseShort(gadeidStr.substring(0, 4)) != entry.postnr) {
538                            return; //gadeid / postnr mismatch
539                    }
540                                    
                 System.out.println("Opretter adresse ud fra " + entry);  
541                                    
                 Address a = new Address();  
                 a.state = AddressState.CREATED;  
542                                    
543                  a.distributor = entry.distributor;                  logger.info("Opretter adresse ud fra " + entry);
                 a.gadeid = entry.gadeid;  
                 a.kommunekode = entry.kommunekode;  
                 a.vejkode = entry.vejkode;  
                 a.vejnavn = entry.vejnavn;  
                 a.husnr = entry.husnr;  
                 a.husnrbogstav = entry.litra;  
                 a.postnr = entry.postnr;  
                 //a.visited = true;  
544                                    
545                  if (entry.ugedage.mandag) {                  Address addr = new Address();
546                          a.ruteMandag = entry.rute;                  addr.state = AddressState.CREATED;
                         a.korelisteMandag = entry.koreliste;  
                 }  
                 if (entry.ugedage.tirsdag) {  
                         a.ruteTirsdag = entry.rute;  
                         a.korelisteTirsdag = entry.koreliste;  
                 }  
                 if (entry.ugedage.onsdag) {  
                         a.ruteOnsdag = entry.rute;  
                         a.korelisteOnsdag = entry.koreliste;  
                 }                
                 if (entry.ugedage.torsdag) {  
                         a.ruteTorsdag = entry.rute;  
                         a.korelisteTorsdag = entry.koreliste;  
                 }                
                 if (entry.ugedage.fredag) {  
                         a.ruteFredag = entry.rute;  
                         a.korelisteFredag = entry.koreliste;  
                 }                
                 if (entry.ugedage.lordag) {  
                         a.ruteLordag = entry.rute;  
                         a.korelisteLordag = entry.koreliste;  
                 }                
                 if (entry.ugedage.sondag) {  
                         a.ruteSondag = entry.rute;  
                         a.korelisteLordag = entry.koreliste;  
                 }                
547                                    
548                  updateDbkBane(a);                  addr.distributor = entry.distributor;
549                    addr.gadeid = entry.gadeid;
550                    addr.kommunekode = entry.kommunekode;
551                    addr.vejkode = entry.vejkode;
552                    addr.vejnavn = entry.vejnavn;
553                    addr.husnr = entry.husnr;
554                    addr.husnrbogstav = entry.litra;
555                    addr.postnr = entry.postnr;
556                                    
                 // Nu er det nye adresse object oprettet - nu skal det gemmes i søge strukturen og totallisten  
557                                    
558                    updateAddress(addr, entry);
559    
560                  TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( a.gadeid );                  
561                    // Nu er det nye adresse object oprettet - nu skal det gemmes i søge strukturen og totallisten        
562                    TreeMap<Short, ArrayList<Address>> gade = searchStructure.get( addr.gadeid );
563                                    
564                  if (gade == null) {                  if (gade == null) {
565                          gade = new TreeMap<Short,ArrayList<Address>>();                          gade = new TreeMap<Short,ArrayList<Address>>();
566                          searchStructure.put(a.gadeid, gade);                          searchStructure.put(addr.gadeid, gade);
567                  }                  }
568                                    
569                  ArrayList<Address> litraList = gade.get(a.husnr);                  ArrayList<Address> litraList = gade.get(addr.husnr);
570                  if (litraList == null) {                  if (litraList == null) {
571                          litraList = new ArrayList<Address>();                          litraList = new ArrayList<Address>();
572                          gade.put(a.husnr, litraList);                          gade.put(addr.husnr, litraList);
573                  }                  }
574                                    
575                  litraList.add(a);                  litraList.add(addr);
576                  addressList.add(a);                  addressList.add(addr);
577                                                                    
578          }          }
579                    
# Line 593  public class AddressManager { Line 622  public class AddressManager {
622                          break;                          break;
623                  case "NS":                  case "NS":
624                          bane = 204;                          bane = 204;
625                          break;                                            break;
626                    default:
627                            throw new RuntimeException("Ukendt distributor: " + a.distributor); //Silence findBugs
628                  }                  }
629                                    
630                  if (bane == null) {                  if (bane == null) {
631                          throw new RuntimeException("Ukendt bane for postnr" + a.postnr);                          throw new RuntimeException("Ukendt bane for postnr: " + a.postnr);
632                  }                  }
633                                    
634                  if (a.dbkBane != bane) {                  if (a.dbkBane != bane) {
# Line 612  public class AddressManager { Line 643  public class AddressManager {
643                  return Collections.unmodifiableList(addressList);                  return Collections.unmodifiableList(addressList);
644          }          }
645                    
646            public Map<Integer,String> getUnknownStreets() {
647                    return Collections.unmodifiableMap( unknownStreets );
648            }
649                    
650            public int getDuplicateCount() {
651                    return duplicateCount;
652            }
653                    
654          public int getAfvistAntal() {          public int getRejectedCount() {
655                  return afvisteEntries.size();                  return rejectedEntries.size();
656          }          }
657                    
658  }  }
Legend:
Removed from v.2862  
changed lines
  Added in v.2952
  ViewVC Help
Powered by ViewVC 1.1.20