/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/db/DatabaseLayer.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/db/DatabaseLayer.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2337 by torben, Mon Feb 23 12:30:41 2015 UTC revision 2420 by torben, Mon Mar 2 10:23:35 2015 UTC
# Line 2  package dk.daoas.daoadresseservice.db; Line 2  package dk.daoas.daoadresseservice.db;
2    
3    
4  import java.sql.Connection;  import java.sql.Connection;
5    import java.sql.PreparedStatement;
6  import java.sql.ResultSet;  import java.sql.ResultSet;
7  import java.sql.SQLException;  import java.sql.SQLException;
8  import java.sql.Statement;  import java.sql.Statement;
# Line 12  import java.util.Map; Line 13  import java.util.Map;
13    
14  import dk.daoas.daoadresseservice.DaekningsType;  import dk.daoas.daoadresseservice.DaekningsType;
15  import dk.daoas.daoadresseservice.beans.Address;  import dk.daoas.daoadresseservice.beans.Address;
16    import dk.daoas.daoadresseservice.beans.AliasBean;
17  import dk.daoas.daoadresseservice.beans.ExtendedBean;  import dk.daoas.daoadresseservice.beans.ExtendedBean;
18  import dk.daoas.daoadresseservice.beans.HundredePctBean;  import dk.daoas.daoadresseservice.beans.HundredePctBean;
19    import dk.daoas.daoadresseservice.beans.LoggedAddress;
20    import dk.daoas.daoadresseservice.beans.SearchResult;
21  import dk.daoas.daoadresseservice.util.DeduplicateHelper;  import dk.daoas.daoadresseservice.util.DeduplicateHelper;
22    
23  public class DatabaseLayer {  public class DatabaseLayer {
# Line 29  public class DatabaseLayer { Line 33  public class DatabaseLayer {
33                                  + debugFilter                                  + debugFilter
34                                  ;                                  ;
35                                    
36                  Connection conn = DBConnection.getConnection();                          try ( Connection conn = DBConnection.getConnection();          
37                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);                                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
38                  stmt.setFetchSize(Integer.MIN_VALUE);                                  ) {
39                  ResultSet res = stmt.executeQuery(sql);                          stmt.setFetchSize(Integer.MIN_VALUE);
40                                            ResultSet res = stmt.executeQuery(sql);
41                  List<Address> list = new ArrayList<Address>(2600000);//initial capacity 2.6 mio                          
42                                            List<Address> list = new ArrayList<Address>(2600000);//initial capacity 2.6 mio
43                  DeduplicateHelper<String> vejnavnCache = new DeduplicateHelper<String>();                          
44                  DeduplicateHelper<String> husnrbogstavCache = new DeduplicateHelper<String>();                          DeduplicateHelper<String> vejnavnCache = new DeduplicateHelper<String>();
45                  DeduplicateHelper<String> distributorCache = new DeduplicateHelper<String>();                          DeduplicateHelper<String> husnrbogstavCache = new DeduplicateHelper<String>();
46                  DeduplicateHelper<String> korelisteCache = new DeduplicateHelper<String>();                          DeduplicateHelper<String> distributorCache = new DeduplicateHelper<String>();
47                  DeduplicateHelper<String> ruteCache = new DeduplicateHelper<String>();                          DeduplicateHelper<String> korelisteCache = new DeduplicateHelper<String>();
48                            DeduplicateHelper<String> ruteCache = new DeduplicateHelper<String>();
49                            
50                  while (res.next()) {                          
51                                                    while (res.next()) {
52                          Address a = new Address();                                  
53                          a.id = res.getInt(1);                                  Address a = new Address();
54                          a.vejnavn = vejnavnCache.getInstance( res.getString(2) );                                  a.id = res.getInt(1);
55                          a.husnr = res.getInt(3);                                  a.vejnavn = vejnavnCache.getInstance( res.getString(2) );
56                          a.husnrbogstav = husnrbogstavCache.getInstance( res.getString(4) );                                  a.husnr = res.getInt(3);
57                          a.kommunekode = res.getInt(5);                                  a.husnrbogstav = husnrbogstavCache.getInstance( res.getString(4) );
58                          a.vejkode = res.getInt(6);                                  a.kommunekode = res.getInt(5);
59                          a.postnr = res.getInt(7);                                  a.vejkode = res.getInt(6);
60                          a.gadeid = res.getLong(8);                                  a.postnr = res.getInt(7);
61                          a.distributor = distributorCache.getInstance(res.getString(9));                                  a.gadeid = res.getLong(8);
62                          a.dbkBane = res.getInt(10);                                  a.distributor = distributorCache.getInstance(res.getString(9));
63                          a.koreliste = korelisteCache.getInstance( res.getString(11) );                                  a.dbkBane = res.getInt(10);
64                          a.rute = ruteCache.getInstance( res.getString(12) );                                  a.koreliste = korelisteCache.getInstance( res.getString(11) );
65                                                            a.rute = ruteCache.getInstance( res.getString(12) );
66                          //a.vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);                                  
67                                                            //a.vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
68                          if (a.rute != null && a.rute.length()> 0) {                                  
69                                  a.daekningsType = DaekningsType.DAEKNING_DIREKTE;                                  if (a.rute != null && a.rute.length()> 0) {
70                          } else {                                          a.daekningsType = DaekningsType.DAEKNING_DIREKTE;
71                                  a.daekningsType = DaekningsType.DAEKNING_IKKEDAEKKET;                                  } else {
72                          }                                                                a.daekningsType = DaekningsType.DAEKNING_IKKEDAEKKET;
73                                                            }                      
74                          list.add(a);                                  
75                  }                                  list.add(a);
76                  res.close();                          }
77                  stmt.close();                          res.close();
78                  conn.close();                          stmt.close();
79                            conn.close();
80                            
81                            System.out.println("Loaded " + list.size() + " adresses");
82                            
83                            return list;
84                    }
85            }
86            
87            public static List<AliasBean> getAliasList() throws SQLException {
88                                    
89                  System.out.println("Loaded " + list.size() + " adresses");  
90                    String sql = "SELECT postnr,vejnavn,aliasvejnavn " +
91                                            "FROM bogleveringer.vejtabelprod "
92                                            ;
93                                    
94                  return list;                  try ( Connection conn = DBConnection.getConnection();          
95                                    Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
96                                    ) {
97                                            
98                            stmt.setFetchSize(Integer.MIN_VALUE);
99                            
100                            ResultSet res = stmt.executeQuery(sql);
101                            
102                            DeduplicateHelper<String> vejCache = new DeduplicateHelper<String>();
103                            
104                            List<AliasBean> list = new ArrayList<AliasBean>( 5000);
105                            while (res.next()) {            
106                                    
107                                    AliasBean ab = new AliasBean();
108                                    ab.postnr = res.getInt(1);
109                                    ab.vejnavn = vejCache.getInstance( res.getString(2) );
110                                    ab.aliasVejnavn = vejCache.getInstance( res.getString(3) );
111                                                            
112                                    list.add(ab);
113                            }
114                    
115                            res.close();
116                            
117                            System.out.println("Loaded " + list.size() + " aliase beans");
118                            
119                            return list;
120                    }
121    
122          }          }
123                    
124          public static List<ExtendedBean> getExtendedAdresslist() throws SQLException {          public static List<ExtendedBean> getExtendedAdresslist() throws SQLException {
# Line 98  public class DatabaseLayer { Line 141  public class DatabaseLayer {
141                                          debugFilter2                                          debugFilter2
142                                          ;                                          ;
143                                    
144                  Connection conn = DBConnection.getConnection();                          try ( Connection conn = DBConnection.getConnection();          
145                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);                                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
146                  stmt.setFetchSize(Integer.MIN_VALUE);                                  ) {
147                                            
                 ResultSet res = stmt.executeQuery(sql);  
                   
                 DeduplicateHelper<String> transportCache = new DeduplicateHelper<String>();  
148                                    
149                  List<ExtendedBean> list = new ArrayList<ExtendedBean>( 350000); //Initial capacity 350K                          stmt.setFetchSize(Integer.MIN_VALUE);
150                  while (res.next()) {                                      
151                            ResultSet res = stmt.executeQuery(sql);
152                            
153                            DeduplicateHelper<String> transportCache = new DeduplicateHelper<String>();
154                            
155                            List<ExtendedBean> list = new ArrayList<ExtendedBean>( 350000); //Initial capacity 350K
156                            while (res.next()) {            
157                                    
158                                    ExtendedBean eb = new ExtendedBean();
159                                    eb.orgId = res.getInt(1);
160                                    eb.targetId = res.getInt(2);
161                                    eb.afstand = res.getDouble(3);
162                                    eb.transport = transportCache.getInstance(res.getString(4));
163                                                            
164                                    list.add(eb);
165                            }
166                            
167                            res.close();
168                                                    
169                          ExtendedBean eb = new ExtendedBean();                          System.out.println("Loaded " + list.size() + " extendedbeans");
170                          eb.orgId = res.getInt(1);                          
171                          eb.targetId = res.getInt(2);                          return list;
                         eb.afstand = res.getDouble(3);  
                         eb.transport = transportCache.getInstance(res.getString(4));  
                                                   
                         list.add(eb);  
172                  }                  }
                   
                 res.close();  
                 stmt.close();  
                 conn.close();  
                   
                 System.out.println("Loaded " + list.size() + " extendedbeans");  
                   
                 return list;  
173          }          }
174                    
175          public static Map<Integer,HundredePctBean> get100PctList() throws SQLException {          public static Map<Integer,HundredePctBean> get100PctList() throws SQLException {
176                  String sql = "SELECT postnr,UPPER(distributor) as distributor,rute,koreliste,dbkbane " +                  String sql = "SELECT postnr,UPPER(distributor) as distributor,rute,koreliste,dbkbane " +
177                                           "FROM bogleveringer.adresser_udenfor_daekning";                                           "FROM bogleveringer.adresser_udenfor_daekning";
178                                    
179                  Connection conn = DBConnection.getConnection();                          try ( Connection conn = DBConnection.getConnection();          
180                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);                                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
181                  ResultSet res = stmt.executeQuery(sql);                                  ) {
182                            ResultSet res = stmt.executeQuery(sql);
183                  Map<Integer,HundredePctBean> map = new HashMap<Integer,HundredePctBean>();          
184                                            Map<Integer,HundredePctBean> map = new HashMap<Integer,HundredePctBean>();
185                  DeduplicateHelper<String> distributorCache = new DeduplicateHelper<String>();                          
186                                            DeduplicateHelper<String> distributorCache = new DeduplicateHelper<String>();
                 while (res.next()) {  
187                                                    
188                            while (res.next()) {
189                                    
190                                    
191                                    HundredePctBean bean = new HundredePctBean();
192                                    bean.postnr = res.getInt(1);
193                                    bean.distributor = distributorCache.getInstance(res.getString(2));
194                                    bean.rute = res.getString(3);
195                                    bean.koreliste = res.getString(4);
196                                    bean.dbkBane = res.getInt(5);                  
197                                                            
198                                    map.put(bean.postnr, bean);
199                            }
200                                                    
201                          HundredePctBean bean = new HundredePctBean();                          res.close();
202                          bean.postnr = res.getInt(1);                          
203                          bean.distributor = distributorCache.getInstance(res.getString(2));                          System.out.println("Loaded " + map.size() + " 100pct beans");
204                          bean.rute = res.getString(3);                          
205                          bean.koreliste = res.getString(4);                          return map;
                         bean.dbkBane = res.getInt(5);                    
                                                   
                         map.put(bean.postnr, bean);  
206                  }                  }
207                                    
208                  res.close();          }
209                  stmt.close();          
210                  conn.close();          public static void saveRequestLog(String brugerid, String postnr, String adresse, SearchResult result) throws SQLException {
211                    String sql = "INSERT INTO logs.hentruteinformation (postnr,adresse,vejnavn,googlevejnavn,husnr,husnr_bogstav,etage,lejlighed,rest,brugerid,status, indlast) " +
212                                            "VALUES ( ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?,  NOW() )";
213                                    
214                  System.out.println("Loaded " + map.size() + " 100pct beans");  
215                                    
216                  return map;                  try ( Connection conn = DBConnection.getConnection();          
217                                    PreparedStatement stmt = conn.prepareStatement(sql);
218                            ) {
219                            
220                            stmt.setInt( 1, safeInt(postnr) );
221                            stmt.setString( 2, adresse);
222                            stmt.setString( 3, result.splitResult.vej);
223                            stmt.setString( 4, coalesce(result.googleVej,result.osmVej) );
224                            stmt.setString( 5, nullify(result.splitResult.husnr) );
225                            stmt.setString( 6, result.splitResult.litra);
226                            stmt.setString( 7, result.splitResult.etage);
227                            stmt.setString( 8, result.splitResult.lejlighed);
228                            stmt.setString( 9, result.splitResult.resten);
229                            stmt.setString(10, brugerid);
230                            stmt.setInt(11, getStatusInt(result.status) );
231                            
232                            stmt.executeUpdate();
233                            
234                    }              
235            }
236            
237            /*
238             * Bruges til at sammenligne gammel og ny adresse service - kan fjernes engang efter at vi er skiftet til ny service
239             */
240            public static List<LoggedAddress> getLoggedAdresses(int antaldage) throws SQLException {
241                    String sql = "select postnr,adresse,status from logs.hentruteinformation where indlast>=date_sub(curdate(), interval " + antaldage + " day) " +
242                                    "and status IN (10,11,12) " +
243                                    "group by postnr,adresse "
244                                    ;
245    
246                    try ( Connection conn = DBConnection.getConnection();          
247                                    Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
248                                    ) {
249    
250    
251                            stmt.setFetchSize(Integer.MIN_VALUE);
252    
253                            ResultSet res = stmt.executeQuery(sql);
254    
255                            List<LoggedAddress> result = new ArrayList<LoggedAddress>();
256    
257                            while (res.next()) {
258                                    LoggedAddress a = new LoggedAddress();                          
259                                    a.postnr = res.getInt(1);                              
260                                    a.adresse = res.getString(2);
261                                    a.status = res.getInt(3);
262    
263                                    result.add(a);
264                            }
265    
266                            res.close();
267    
268                            return result;
269                    }
270            }
271            
272            private static int getStatusInt(SearchResult.Status status) {
273    
274                    switch (status) {
275                    case ERROR_UNKNOWN_POSTAL:
276                            return 20;
277                    case ERROR_MISSING_HOUSENUMBER:
278                            return 21;
279                    case ERROR_POSTBOX:
280                            return 22;                      
281                    case ERROR_UNKNOWN_STREETNAME:
282                            return 23;
283                    case ERROR_UNKNOWN_ADDRESSPOINT:
284                            return 24;
285                    case STATUS_NOT_COVERED:                        
286                            return 25;
287                    case ERROR_INTERNAL: //                
288                            return 26;                      
289                            
290                    case STATUS_OK:
291                            return 29;
292                            
293                    default:
294                            return 30;
295                    }
296            }
297            
298            private static int safeInt(String str) {
299                    try {
300                            return Integer.parseInt( str );
301                    } catch (NumberFormatException e) {
302                            return 0;
303                    }
304            }
305            
306            private static String nullify(String str) {
307                    if (str == null)
308                            return null;
309                    
310                    if (str.equals("")) {
311                            return null;
312                    } else {
313                            return str;
314                    }
315            }
316            
317            private static String coalesce(String s1, String s2) {
318                    if (s1 != null)
319                            return s1;
320                                    
321                    return s2;
322          }          }
323    
324                    
325  }  }
Legend:
Removed from v.2337  
changed lines
  Added in v.2420
  ViewVC Help
Powered by ViewVC 1.1.20