/[projects]/dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/db/DatabaseCoverageUpdate.java
ViewVC logotype

Diff of /dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/db/DatabaseCoverageUpdate.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/db/DatabaseLayerImplementation.java revision 2838 by torben, Sun Jan 24 21:48:55 2016 UTC dao/DaoAdresseVedligehold/src/main/java/dk/daoas/adressevedligehold/db/DatabaseCoverageUpdate.java revision 3035 by torben, Mon May 2 17:50:14 2016 UTC
# Line 1  Line 1 
1  package dk.daoas.adressevedligehold.db;  package dk.daoas.adressevedligehold.db;
2    
3    import java.io.InputStream;
4  import java.sql.Connection;  import java.sql.Connection;
5  import java.sql.PreparedStatement;  import java.sql.PreparedStatement;
6  import java.sql.ResultSet;  import java.sql.ResultSet;
# Line 7  import java.sql.SQLException; Line 8  import java.sql.SQLException;
8  import java.sql.Statement;  import java.sql.Statement;
9  import java.util.ArrayList;  import java.util.ArrayList;
10  import java.util.List;  import java.util.List;
11    import java.util.Properties;
12    
13  import dk.daoas.adressevedligehold.beans.Address;  import dk.daoas.adressevedligehold.beans.Address;
14    import dk.daoas.adressevedligehold.beans.Address.AddressState;
15    import dk.daoas.adressevedligehold.tasks.TaskLogger;
16  import dk.daoas.adressevedligehold.util.DeduplicateHelper;  import dk.daoas.adressevedligehold.util.DeduplicateHelper;
17  import dk.daoas.adressevedligehold.util.TimingHelper;  import dk.daoas.adressevedligehold.util.TimingHelper;
18    
19    /*
20     *  
21     */
22    
23    public class DatabaseCoverageUpdate  {
24  public class DatabaseLayerImplementation  {          
25            //static boolean DEBUG = false;
26                    
27          static boolean DEBUG = false;          private TaskLogger logger = TaskLogger.getInstance();
28            
29            Properties queries;
30            
31            public DatabaseCoverageUpdate() throws SQLException {
32    
33                    //On some platforms it may be necessary to load as "META-INF/queries.properties"
34                    ClassLoader classLoader = Thread.currentThread().getContextClassLoader();
35                    InputStream is = classLoader.getResourceAsStream("sql.xml");
36                            
37                    queries = new Properties();
38                    try {
39                            queries.loadFromXML(is);
40                    } catch (Exception e) {
41                            throw new SQLException("Error loading queries", e);
42                    }
43                            
44            }
45                    
46                    
47          public List<Address> getAllAdresses() throws SQLException {          public List<Address> getAllAdresses() throws SQLException {
48                  TimingHelper timing = new TimingHelper();                  TimingHelper timing = new TimingHelper();
49                                    
50                  String debugFilter = DatabaseLayerImplementation.DEBUG ? " WHERE postnr = 8700 " : "";                  //String debugFilter = DatabaseLayerImplementation.DEBUG ? " WHERE postnr >= 6000 " : "";
51                                    
52                  String sql =                  String sql =
53                                  "SELECT id,vejnavn,husnr,husnrbogstav,kommunekode,vejkode,postnr,gadeid,upper(distributor) AS distributor,dbkbane,latitude,longitude, "                                  "SELECT id,vejnavn,husnr,husnrbogstav,kommunekode,vejkode,postnr,gadeid,upper(distributor) AS distributor,dbkbane,latitude,longitude, "
54                                  + "rutema,korelistema,ruteti,korelisteti,ruteon,korelisteon,ruteto,korelisteto,rutefr,korelistefr,rutelo,korelistelo,ruteso,korelisteso "                                  + "rutema,korelistema,ruteti,korelisteti,ruteon,korelisteon,ruteto,korelisteto,rutefr,korelistefr,rutelo,korelistelo,ruteso,korelisteso "
55                                  + "FROM fulddaekning.adressetabel "                                  + "FROM fulddaekning.adressetabel "
56                                  + debugFilter                                  //+ debugFilter
57                                  ;                                  ;
58                                    
59                  try ( Connection conn = DBConnection.getConnection();                            try ( Connection conn = DBConnection.getConnection();          
60                                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);                                  Statement stmt = conn.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
61                                  ) {                                  ) {
62                          stmt.setFetchSize(Integer.MIN_VALUE);                          stmt.setFetchSize(Integer.MIN_VALUE);
63                          ResultSet res = stmt.executeQuery(sql);                          ResultSet res = stmt.executeQuery(sql);
# Line 88  public class DatabaseLayerImplementation Line 113  public class DatabaseLayerImplementation
113                          res.close();                          res.close();
114                                                    
115                                                    
116                          System.out.println("DB Loaded " + list.size() + " adresses in " + timing.getElapsed() + "ms");                          logger.info("DB Loaded " + list.size() + " adresses in " + timing.getElapsed() + "ms");
117                                                    
118                          return list;                          return list;
119                  }                  }
120          }          }
121                    
122          public void updateAddresses(List<Address> addresses) {          public void saveNewAddresses(List<Address> addresses) throws Exception {
123                    
124                    logger.info("DB::saveNewAddresses size:" + addresses.size() );
125                    
126                    final String SQL_INSERT_NEW_ADDRESS = queries.getProperty("SQL_INSERT_NEW_ADDRESS");
127                    
128                    
129                                    
                 String sql = "UPDATE fulddaekning.adressetabel " +  
                                         "SET " +  
                                         "RuteMa=?, KorelisteMa=?, " +  
                                         "RuteTi=?, KorelisteTi=?, " +  
                                         "RuteOn=?, KorelisteOn=?, " +  
                                         "RuteTo=?, KorelisteTo=?, " +  
                                         "RuteFr=?, KorelisteFr=?, " +  
                                         "RuteLo=?, KorelisteLo=?, " +  
                                         "RuteSo=?, KorelisteSo=?  " +  
                                         "WHERE id=?";  
                                           
                                           
130                                    
131                  try (Connection con = DBConnection.getConnection()) {                  try (Connection con = DBConnection.getConnection()) {
132                          con.setAutoCommit(false);  
133                                                    
134                          try (PreparedStatement stmt = con.prepareStatement(sql)) {                          try (PreparedStatement stmt = con.prepareStatement(SQL_INSERT_NEW_ADDRESS)) {
135                                  for (Address addr : addresses) {                                  for (Address addr : addresses) {
136                                          stmt.setString(1, addr.ruteMandag);                                          
137                                          stmt.setString(2, addr.korelisteMandag);                                          String david = String.format("%04d%03d%04d", addr.postnr, addr.kommunekode, addr.vejkode);
138                                          stmt.setString(3, addr.ruteTirsdag);                                          
139                                          stmt.setString(4, addr.korelisteTirsdag);                                          stmt.setString(1, addr.vejnavn);
140                                          stmt.setString(5, addr.ruteOnsdag);                                          stmt.setShort(2, addr.husnr);
141                                          stmt.setString(6, addr.korelisteOnsdag);                                          stmt.setString(3, addr.husnrbogstav);
142                                          stmt.setString(7, addr.ruteTorsdag);                                          stmt.setShort(4, addr.kommunekode);
143                                          stmt.setString(8, addr.korelisteTorsdag);                                          stmt.setShort(5, addr.vejkode);
144                                          stmt.setString(9, addr.ruteFredag);                                          stmt.setShort(6, addr.postnr);
145                                          stmt.setString(10, addr.korelisteFredag);                                          stmt.setInt(7, addr.gadeid);
146                                          stmt.setString(11, addr.ruteLordag);                                          stmt.setShort(8, addr.dbkBane);
147                                          stmt.setString(12, addr.korelisteLordag);                                          stmt.setString(9, david);
148                                          stmt.setString(13, addr.ruteSondag);                                          
149                                          stmt.setString(14, addr.korelisteSondag);                                          stmt.setString(10, addr.ruteMandag);
150                                            stmt.setString(11, addr.korelisteMandag);
151                                          stmt.setInt(15, addr.id);                                          stmt.setString(12, addr.ruteTirsdag);
152                                            stmt.setString(13, addr.korelisteTirsdag);
153                                            stmt.setString(14, addr.ruteOnsdag);
154                                            stmt.setString(15, addr.korelisteOnsdag);
155                                            stmt.setString(16, addr.ruteTorsdag);
156                                            stmt.setString(17, addr.korelisteTorsdag);
157                                            stmt.setString(18, addr.ruteFredag);
158                                            stmt.setString(19, addr.korelisteFredag);
159                                            stmt.setString(20, addr.ruteLordag);
160                                            stmt.setString(21, addr.korelisteLordag);
161                                            stmt.setString(22, addr.ruteSondag);
162                                            stmt.setString(23, addr.korelisteSondag);
163                                            
164                                            stmt.setString(24, addr.kommentar);
165                                            
166                                            if (addr.latitude != 0.0) {
167                                                    stmt.setDouble(25, addr.latitude);
168                                            } else {
169                                                    stmt.setNull(25, java.sql.Types.DOUBLE);
170                                            }                                      
171                                            if (addr.longitude != 0.0) {
172                                                    stmt.setDouble(26, addr.longitude);
173                                            } else {
174                                                    stmt.setNull(26, java.sql.Types.DOUBLE);
175                                            }
176    
177                                                                                    
178                                          stmt.execute();                                          stmt.execute();
179                                          if (stmt.getUpdateCount() != 1) {                                          if (stmt.getUpdateCount() != 1) {
180                                                  System.out.println("Error executing update");                                                  logger.info("Error executing insert: " + addr);
181                                                    addr.state = AddressState.CREATE_FAIL;
182                                          }                                          }
183                                                                                    
184                                  }                                  }
185                          }                          }
186                                                    
187                          con.commit();                          //con.commit();
188                  } catch (SQLException e) {                  } catch (SQLException e) {
189                          System.out.println("Error updating addresses" + e.getMessage() );                          logger.warning("Error inserting addresses", e  );
190                            throw e;
191                  }                  }
192          }          }
193                    
194          private static String nullify(String str) {          public void updateAddresses(List<Address> addresses) throws Exception{
195                  if (str == null)                  logger.info("DB::UpdateAddresses size:" + addresses.size() );
196                          return null;                  
                   
                 if (str.equals("")) {  
                         return null;  
                 } else {  
                         return str;  
                 }  
         }  
197    
198                    final String SQL_INSERT_ON_DUPLICATE_KEY_UPDATE_ADDRESS = queries.getProperty("SQL_INSERT_ON_DUPLICATE_KEY_UPDATE_ADDRESS");
199                                            
200                                            
201                                            
202                    
203                    try (Connection con = DBConnection.getConnection()) {
204                            //con.setAutoCommit(false);
205                            
206                            try (PreparedStatement stmt = con.prepareStatement(SQL_INSERT_ON_DUPLICATE_KEY_UPDATE_ADDRESS)) {
207                                    int count = 0;
208                                    
209                                    for (Address addr : addresses) {
210                                            stmt.setInt(1, addr.id);
211                                            stmt.setString(2, addr.ruteMandag);
212                                            stmt.setString(3, addr.korelisteMandag);
213                                            stmt.setString(4, addr.ruteTirsdag);
214                                            stmt.setString(5, addr.korelisteTirsdag);
215                                            stmt.setString(6, addr.ruteOnsdag);
216                                            stmt.setString(7, addr.korelisteOnsdag);
217                                            stmt.setString(8, addr.ruteTorsdag);
218                                            stmt.setString(9, addr.korelisteTorsdag);
219                                            stmt.setString(10, addr.ruteFredag);
220                                            stmt.setString(11, addr.korelisteFredag);
221                                            stmt.setString(12, addr.ruteLordag);
222                                            stmt.setString(13, addr.korelisteLordag);
223                                            stmt.setString(14, addr.ruteSondag);
224                                            stmt.setString(15, addr.korelisteSondag);
225    
226          /*                                          stmt.setString(16, addr.distributor);
227          private static int safeInt(String str) {                                          stmt.setInt(17, addr.dbkBane);
228                  try {                                          
229                          return Integer.parseInt( str );                                          
230                  } catch (NumberFormatException e) {                                          
231                          return 0;                                          stmt.addBatch();
232                                            count++;
233                                            if ( (count%200) == 0) {
234                                                    stmt.executeBatch();
235                                                    
236                                                    if ( (count%50000) == 0 ) {
237                                                            logger.info("Update count " + count);
238                                                    }
239                                            }                                      
240                                    }
241                                    
242                                    stmt.executeBatch(); //update remainding queries
243                                    
244                            }
245                            
246                            //con.commit();
247                    } catch (SQLException e) {
248                            logger.warning("Error updating addresses", e );
249                            throw e;
250                  }                  }
251          }          }
252                    
   
           
         private static String coalesce(String s1, String s2) {  
                 if (s1 != null)  
                         return s1;  
                   
                 return s2;  
         }  
   
         */  
253  }  }
Legend:
Removed from v.2838  
changed lines
  Added in v.3035
  ViewVC Help
Powered by ViewVC 1.1.20