/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/db/DatabaseLayer.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/db/DatabaseLayer.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2337 by torben, Mon Feb 23 12:30:41 2015 UTC revision 2384 by torben, Thu Feb 26 13:11:45 2015 UTC
# Line 2  package dk.daoas.daoadresseservice.db; Line 2  package dk.daoas.daoadresseservice.db;
2    
3    
4  import java.sql.Connection;  import java.sql.Connection;
5    import java.sql.PreparedStatement;
6  import java.sql.ResultSet;  import java.sql.ResultSet;
7  import java.sql.SQLException;  import java.sql.SQLException;
8  import java.sql.Statement;  import java.sql.Statement;
# Line 14  import dk.daoas.daoadresseservice.Daekni Line 15  import dk.daoas.daoadresseservice.Daekni
15  import dk.daoas.daoadresseservice.beans.Address;  import dk.daoas.daoadresseservice.beans.Address;
16  import dk.daoas.daoadresseservice.beans.ExtendedBean;  import dk.daoas.daoadresseservice.beans.ExtendedBean;
17  import dk.daoas.daoadresseservice.beans.HundredePctBean;  import dk.daoas.daoadresseservice.beans.HundredePctBean;
18    import dk.daoas.daoadresseservice.beans.LoggedAddress;
19    import dk.daoas.daoadresseservice.beans.SearchResult;
20  import dk.daoas.daoadresseservice.util.DeduplicateHelper;  import dk.daoas.daoadresseservice.util.DeduplicateHelper;
21    
22  public class DatabaseLayer {  public class DatabaseLayer {
# Line 29  public class DatabaseLayer { Line 32  public class DatabaseLayer {
32                                  + debugFilter                                  + debugFilter
33                                  ;                                  ;
34                                    
35                  Connection conn = DBConnection.getConnection();                          try ( Connection conn = DBConnection.getConnection();          
36                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);                                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
37                  stmt.setFetchSize(Integer.MIN_VALUE);                                  ) {
38                  ResultSet res = stmt.executeQuery(sql);                          stmt.setFetchSize(Integer.MIN_VALUE);
39                                            ResultSet res = stmt.executeQuery(sql);
40                  List<Address> list = new ArrayList<Address>(2600000);//initial capacity 2.6 mio                          
41                                            List<Address> list = new ArrayList<Address>(2600000);//initial capacity 2.6 mio
42                  DeduplicateHelper<String> vejnavnCache = new DeduplicateHelper<String>();                          
43                  DeduplicateHelper<String> husnrbogstavCache = new DeduplicateHelper<String>();                          DeduplicateHelper<String> vejnavnCache = new DeduplicateHelper<String>();
44                  DeduplicateHelper<String> distributorCache = new DeduplicateHelper<String>();                          DeduplicateHelper<String> husnrbogstavCache = new DeduplicateHelper<String>();
45                  DeduplicateHelper<String> korelisteCache = new DeduplicateHelper<String>();                          DeduplicateHelper<String> distributorCache = new DeduplicateHelper<String>();
46                  DeduplicateHelper<String> ruteCache = new DeduplicateHelper<String>();                          DeduplicateHelper<String> korelisteCache = new DeduplicateHelper<String>();
47                            DeduplicateHelper<String> ruteCache = new DeduplicateHelper<String>();
48                            
49                  while (res.next()) {                          
50                                                    while (res.next()) {
51                          Address a = new Address();                                  
52                          a.id = res.getInt(1);                                  Address a = new Address();
53                          a.vejnavn = vejnavnCache.getInstance( res.getString(2) );                                  a.id = res.getInt(1);
54                          a.husnr = res.getInt(3);                                  a.vejnavn = vejnavnCache.getInstance( res.getString(2) );
55                          a.husnrbogstav = husnrbogstavCache.getInstance( res.getString(4) );                                  a.husnr = res.getInt(3);
56                          a.kommunekode = res.getInt(5);                                  a.husnrbogstav = husnrbogstavCache.getInstance( res.getString(4) );
57                          a.vejkode = res.getInt(6);                                  a.kommunekode = res.getInt(5);
58                          a.postnr = res.getInt(7);                                  a.vejkode = res.getInt(6);
59                          a.gadeid = res.getLong(8);                                  a.postnr = res.getInt(7);
60                          a.distributor = distributorCache.getInstance(res.getString(9));                                  a.gadeid = res.getLong(8);
61                          a.dbkBane = res.getInt(10);                                  a.distributor = distributorCache.getInstance(res.getString(9));
62                          a.koreliste = korelisteCache.getInstance( res.getString(11) );                                  a.dbkBane = res.getInt(10);
63                          a.rute = ruteCache.getInstance( res.getString(12) );                                  a.koreliste = korelisteCache.getInstance( res.getString(11) );
64                                                            a.rute = ruteCache.getInstance( res.getString(12) );
65                          //a.vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);                                  
66                                                            //a.vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
67                          if (a.rute != null && a.rute.length()> 0) {                                  
68                                  a.daekningsType = DaekningsType.DAEKNING_DIREKTE;                                  if (a.rute != null && a.rute.length()> 0) {
69                          } else {                                          a.daekningsType = DaekningsType.DAEKNING_DIREKTE;
70                                  a.daekningsType = DaekningsType.DAEKNING_IKKEDAEKKET;                                  } else {
71                          }                                                                a.daekningsType = DaekningsType.DAEKNING_IKKEDAEKKET;
72                                                            }                      
73                          list.add(a);                                  
74                  }                                  list.add(a);
75                  res.close();                          }
76                  stmt.close();                          res.close();
77                  conn.close();                          stmt.close();
78                                            conn.close();
79                  System.out.println("Loaded " + list.size() + " adresses");                          
80                                            System.out.println("Loaded " + list.size() + " adresses");
81                  return list;                          
82                            return list;
83                    }
84          }          }
85                    
86          public static List<ExtendedBean> getExtendedAdresslist() throws SQLException {          public static List<ExtendedBean> getExtendedAdresslist() throws SQLException {
# Line 98  public class DatabaseLayer { Line 103  public class DatabaseLayer {
103                                          debugFilter2                                          debugFilter2
104                                          ;                                          ;
105                                    
106                  Connection conn = DBConnection.getConnection();                          try ( Connection conn = DBConnection.getConnection();          
107                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);                                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
108                  stmt.setFetchSize(Integer.MIN_VALUE);                                  ) {
109                                            
                 ResultSet res = stmt.executeQuery(sql);  
                   
                 DeduplicateHelper<String> transportCache = new DeduplicateHelper<String>();  
110                                    
111                  List<ExtendedBean> list = new ArrayList<ExtendedBean>( 350000); //Initial capacity 350K                          stmt.setFetchSize(Integer.MIN_VALUE);
112                  while (res.next()) {                                      
113                            ResultSet res = stmt.executeQuery(sql);
114                            
115                            DeduplicateHelper<String> transportCache = new DeduplicateHelper<String>();
116                            
117                            List<ExtendedBean> list = new ArrayList<ExtendedBean>( 350000); //Initial capacity 350K
118                            while (res.next()) {            
119                                    
120                                    ExtendedBean eb = new ExtendedBean();
121                                    eb.orgId = res.getInt(1);
122                                    eb.targetId = res.getInt(2);
123                                    eb.afstand = res.getDouble(3);
124                                    eb.transport = transportCache.getInstance(res.getString(4));
125                                                            
126                                    list.add(eb);
127                            }
128                                                    
129                          ExtendedBean eb = new ExtendedBean();                          res.close();
130                          eb.orgId = res.getInt(1);                          
131                          eb.targetId = res.getInt(2);                          System.out.println("Loaded " + list.size() + " extendedbeans");
132                          eb.afstand = res.getDouble(3);                          
133                          eb.transport = transportCache.getInstance(res.getString(4));                          return list;
                                                   
                         list.add(eb);  
134                  }                  }
                   
                 res.close();  
                 stmt.close();  
                 conn.close();  
                   
                 System.out.println("Loaded " + list.size() + " extendedbeans");  
                   
                 return list;  
135          }          }
136                    
137          public static Map<Integer,HundredePctBean> get100PctList() throws SQLException {          public static Map<Integer,HundredePctBean> get100PctList() throws SQLException {
138                  String sql = "SELECT postnr,UPPER(distributor) as distributor,rute,koreliste,dbkbane " +                  String sql = "SELECT postnr,UPPER(distributor) as distributor,rute,koreliste,dbkbane " +
139                                           "FROM bogleveringer.adresser_udenfor_daekning";                                           "FROM bogleveringer.adresser_udenfor_daekning";
140                                    
141                  Connection conn = DBConnection.getConnection();                          try ( Connection conn = DBConnection.getConnection();          
142                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);                                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
143                  ResultSet res = stmt.executeQuery(sql);                                  ) {
144                            ResultSet res = stmt.executeQuery(sql);
145                  Map<Integer,HundredePctBean> map = new HashMap<Integer,HundredePctBean>();          
146                                            Map<Integer,HundredePctBean> map = new HashMap<Integer,HundredePctBean>();
147                  DeduplicateHelper<String> distributorCache = new DeduplicateHelper<String>();                          
148                                            DeduplicateHelper<String> distributorCache = new DeduplicateHelper<String>();
149                  while (res.next()) {                          
150                            while (res.next()) {
151                                    
152                                    
153                                    HundredePctBean bean = new HundredePctBean();
154                                    bean.postnr = res.getInt(1);
155                                    bean.distributor = distributorCache.getInstance(res.getString(2));
156                                    bean.rute = res.getString(3);
157                                    bean.koreliste = res.getString(4);
158                                    bean.dbkBane = res.getInt(5);                  
159                                                            
160                                    map.put(bean.postnr, bean);
161                            }
162                            
163                            res.close();
164                                                    
165                            System.out.println("Loaded " + map.size() + " 100pct beans");
166                                                    
167                          HundredePctBean bean = new HundredePctBean();                          return map;
                         bean.postnr = res.getInt(1);  
                         bean.distributor = distributorCache.getInstance(res.getString(2));  
                         bean.rute = res.getString(3);  
                         bean.koreliste = res.getString(4);  
                         bean.dbkBane = res.getInt(5);                    
                                                   
                         map.put(bean.postnr, bean);  
168                  }                  }
169                                    
170                  res.close();          }
171                  stmt.close();          
172                  conn.close();          public static void saveRequestLog(String brugerid, String postnr, String adresse, SearchResult result) throws SQLException {
173                    String sql = "INSERT INTO logs.hentruteinformation (postnr,adresse,vejnavn,googlevejnavn,husnr,husnr_bogstav,etage,lejlighed,rest,brugerid,status, indlast) " +
174                                            "VALUES ( ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?,  NOW() )";
175                                    
176                  System.out.println("Loaded " + map.size() + " 100pct beans");  
177                                    
178                  return map;                  try ( Connection conn = DBConnection.getConnection();          
179                                    PreparedStatement stmt = conn.prepareStatement(sql);
180                            ) {
181                            
182                            stmt.setInt( 1, safeInt(postnr) );
183                            stmt.setString( 2, adresse);
184                            stmt.setString( 3, result.splitResult.vej);
185                            stmt.setString( 4, coalesce(result.googleVej,result.osmVej) );
186                            stmt.setString( 5, nullify(result.splitResult.husnr) );
187                            stmt.setString( 6, result.splitResult.litra);
188                            stmt.setString( 7, result.splitResult.etage);
189                            stmt.setString( 8, result.splitResult.lejlighed);
190                            stmt.setString( 9, result.splitResult.resten);
191                            stmt.setString(10, brugerid);
192                            stmt.setInt(11, getStatusInt(result.status) );
193                            
194                            stmt.executeUpdate();
195                            
196                    }              
197            }
198            
199            /*
200             * Bruges til at sammenligne gammel og ny adresse service - kan fjernes engang efter at vi er skiftet til ny service
201             */
202            public static List<LoggedAddress> getLoggedAdresses(int antaldage) throws SQLException {
203                    String sql = "select postnr,adresse,status from logs.hentruteinformation where indlast>=date_sub(curdate(), interval " + antaldage + " day) " +
204                                    "and status IN (10,11,12) " +
205                                    "group by postnr,adresse "
206                                    ;
207    
208                    try ( Connection conn = DBConnection.getConnection();          
209                                    Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
210                                    ) {
211    
212    
213                            stmt.setFetchSize(Integer.MIN_VALUE);
214    
215                            ResultSet res = stmt.executeQuery(sql);
216    
217                            List<LoggedAddress> result = new ArrayList<LoggedAddress>();
218    
219                            while (res.next()) {
220                                    LoggedAddress a = new LoggedAddress();                          
221                                    a.postnr = res.getInt(1);                              
222                                    a.adresse = res.getString(2);
223                                    a.status = res.getInt(3);
224    
225                                    result.add(a);
226                            }
227    
228                            res.close();
229    
230                            return result;
231                    }
232            }
233            
234            private static int getStatusInt(SearchResult.Status status) {
235    
236                    switch (status) {
237                    case ERROR_UNKNOWN_POSTAL:
238                            return 20;
239                    case ERROR_MISSING_HOUSENUMBER:
240                            return 21;
241                    case ERROR_UNKNOWN_STREETNAME:
242                            return 22;
243                    case ERROR_UNKNOWN_ADDRESSPOINT:
244                            return 23;
245                    case STATUS_NOT_COVERED:
246                            return 24;
247                    case STATUS_OK:
248                            return 25;
249                            
250                    default:
251                            return 29;
252                    }
253            }
254            
255            private static int safeInt(String str) {
256                    try {
257                            return Integer.parseInt( str );
258                    } catch (NumberFormatException e) {
259                            return 0;
260                    }
261            }
262            
263            private static String nullify(String str) {
264                    if (str == null)
265                            return null;
266                    
267                    if (str.equals("")) {
268                            return null;
269                    } else {
270                            return str;
271                    }
272            }
273            
274            private static String coalesce(String s1, String s2) {
275                    if (s1 != null)
276                            return s1;
277                                    
278                    return s2;
279          }          }
280    
281                    
282  }  }
Legend:
Removed from v.2337  
changed lines
  Added in v.2384
  ViewVC Help
Powered by ViewVC 1.1.20