/[projects]/dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/db/DatabaseLayer.java
ViewVC logotype

Diff of /dao/DaoAdresseService/src/main/java/dk/daoas/daoadresseservice/db/DatabaseLayer.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2319 by torben, Tue Feb 17 08:37:30 2015 UTC revision 2372 by torben, Tue Feb 24 20:38:56 2015 UTC
# Line 2  package dk.daoas.daoadresseservice.db; Line 2  package dk.daoas.daoadresseservice.db;
2    
3    
4  import java.sql.Connection;  import java.sql.Connection;
5    import java.sql.PreparedStatement;
6  import java.sql.ResultSet;  import java.sql.ResultSet;
7  import java.sql.SQLException;  import java.sql.SQLException;
8  import java.sql.Statement;  import java.sql.Statement;
# Line 14  import dk.daoas.daoadresseservice.Daekni Line 15  import dk.daoas.daoadresseservice.Daekni
15  import dk.daoas.daoadresseservice.beans.Address;  import dk.daoas.daoadresseservice.beans.Address;
16  import dk.daoas.daoadresseservice.beans.ExtendedBean;  import dk.daoas.daoadresseservice.beans.ExtendedBean;
17  import dk.daoas.daoadresseservice.beans.HundredePctBean;  import dk.daoas.daoadresseservice.beans.HundredePctBean;
18    import dk.daoas.daoadresseservice.beans.SearchResult;
19  import dk.daoas.daoadresseservice.util.DeduplicateHelper;  import dk.daoas.daoadresseservice.util.DeduplicateHelper;
20    
21  public class DatabaseLayer {  public class DatabaseLayer {
22                    
23            static boolean DEBUG = false;
24            
25          public static List<Address> getAllAdresses() throws SQLException {          public static List<Address> getAllAdresses() throws SQLException {
26                    String debugFilter = DatabaseLayer.DEBUG ? " AND postnr = 8700 " : "";
27                                    
28                  String sql = "SELECT id,vejnavn,husnr,husnrbogstav,kommunekode,vejkode,postnr,gadeid,upper(distributor) AS distributor,dbkbane,koreliste,rute "                  String sql = "SELECT id,vejnavn,husnr,husnrbogstav,kommunekode,vejkode,postnr,gadeid,upper(distributor) AS distributor,dbkbane,koreliste,rute "
29                                  + "FROM fulddaekning.adressetabel "                                  + "FROM fulddaekning.adressetabel "
30                                  + "WHERE gadeid IS NOT NULL "                                  + "WHERE gadeid IS NOT NULL "
31                                  //+ "AND postnr = 8700" //DEBUG only                                  + debugFilter
32                                  ;                                  ;
33                                    
34                  Connection conn = DBConnection.getConnection();                          try ( Connection conn = DBConnection.getConnection();          
35                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);                                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
36                  stmt.setFetchSize(Integer.MIN_VALUE);                                  ) {
37                  ResultSet res = stmt.executeQuery(sql);                          stmt.setFetchSize(Integer.MIN_VALUE);
38                                            ResultSet res = stmt.executeQuery(sql);
39                  List<Address> list = new ArrayList<Address>(2600000);//initial capacity 2.6 mio                          
40                                            List<Address> list = new ArrayList<Address>(2600000);//initial capacity 2.6 mio
41                  DeduplicateHelper<String> vejnavnCache = new DeduplicateHelper<String>();                          
42                  DeduplicateHelper<String> distributorCache = new DeduplicateHelper<String>();                          DeduplicateHelper<String> vejnavnCache = new DeduplicateHelper<String>();
43                  DeduplicateHelper<String> korelisteCache = new DeduplicateHelper<String>();                          DeduplicateHelper<String> husnrbogstavCache = new DeduplicateHelper<String>();
44                  DeduplicateHelper<String> ruteCache = new DeduplicateHelper<String>();                          DeduplicateHelper<String> distributorCache = new DeduplicateHelper<String>();
45                            DeduplicateHelper<String> korelisteCache = new DeduplicateHelper<String>();
46                                            DeduplicateHelper<String> ruteCache = new DeduplicateHelper<String>();
47                  while (res.next()) {          
                           
   
                           
                         Address a = new Address();  
                         a.id = res.getInt(1);  
                         a.vejnavn = vejnavnCache.getInstance( res.getString(2) );  
                         a.husnr = res.getInt(3);  
                         a.husnrbogstav = res.getString(4);  
                         a.kommunekode = res.getInt(5);  
                         a.vejkode = res.getInt(6);  
                         a.postnr = res.getInt(7);  
                         a.gadeid = res.getLong(8);  
                         a.distributor = distributorCache.getInstance(res.getString(9));;  
                         a.dbkBane = res.getInt(10);  
                         a.koreliste = korelisteCache.getInstance( res.getString(11) );  
                         a.rute = ruteCache.getInstance( res.getString(12) );  
48                                                    
49                          //a.vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);                          while (res.next()) {
50                                    
51                                    Address a = new Address();
52                                    a.id = res.getInt(1);
53                                    a.vejnavn = vejnavnCache.getInstance( res.getString(2) );
54                                    a.husnr = res.getInt(3);
55                                    a.husnrbogstav = husnrbogstavCache.getInstance( res.getString(4) );
56                                    a.kommunekode = res.getInt(5);
57                                    a.vejkode = res.getInt(6);
58                                    a.postnr = res.getInt(7);
59                                    a.gadeid = res.getLong(8);
60                                    a.distributor = distributorCache.getInstance(res.getString(9));
61                                    a.dbkBane = res.getInt(10);
62                                    a.koreliste = korelisteCache.getInstance( res.getString(11) );
63                                    a.rute = ruteCache.getInstance( res.getString(12) );
64                                    
65                                    //a.vasketVejnavn = AddressUtils.vaskVejnavn(a.vejnavn);
66                                    
67                                    if (a.rute != null && a.rute.length()> 0) {
68                                            a.daekningsType = DaekningsType.DAEKNING_DIREKTE;
69                                    } else {
70                                            a.daekningsType = DaekningsType.DAEKNING_IKKEDAEKKET;
71                                    }                      
72                                    
73                                    list.add(a);
74                            }
75                            res.close();
76                            stmt.close();
77                            conn.close();
78                                                    
79                          if (a.rute != null && a.rute.length()> 0) {                          System.out.println("Loaded " + list.size() + " adresses");
                                 a.daekningsType = DaekningsType.DAEKNING_DIREKTE;  
                         } else {  
                                 a.daekningsType = DaekningsType.DAEKNING_IKKEDAEKKET;  
                         }                        
80                                                    
81                          list.add(a);                          return list;
82                  }                  }
                 res.close();  
                 stmt.close();  
                 conn.close();  
                   
                 System.out.println("Loaded " + list.size() + " adresses");  
                   
                 return list;  
83          }          }
84                    
85          public static List<ExtendedBean> getExtendedAdresslist() throws SQLException {          public static List<ExtendedBean> getExtendedAdresslist() throws SQLException {
86                    String debugFilter1 = DatabaseLayer.DEBUG ? " WHERE orgPostnr = 8700 " : "";
87                    String debugFilter2 = DatabaseLayer.DEBUG ? " AND orgPostnr = 8700 " : "";
88                    
89                                    
90                  String sql = "select orgid, a.id as targetid, afstand, LOWER(type) as type from fulddaekning.afstand_anden_rute a " +                  String sql = "select orgid, a.id as targetid, afstand, LOWER(type) as type from fulddaekning.afstand_anden_rute a " +
91                                          "join odbc.transporttype t " +                                          "join odbc.transporttype t " +
92                                          "on t.Art = 'Transpost' " +                                          "on t.Art = 'Transpost' " +
93                                          "and ( (t.Type = 'Cykel' and a.Afstand < 1.001) or (t.Type = 'Scooter' and a.Afstand < 1.201) or (t.Type = 'Bil' and a.Afstand < 2.601) ) " +                                          "and ( (t.Type = 'Cykel' and a.Afstand < 1.001) or (t.Type = 'Scooter' and a.Afstand < 1.201) or (t.Type = 'Bil' and a.Afstand < 2.601) ) " +
94                                          "and t.Rute = a.Rute " +                                          "and t.Rute = a.Rute " +
95                                            debugFilter1 +
96                                                                                    
97                                          "UNION ALL " +                                          "UNION ALL " +
98                                                                                    
99                                          "SELECT orgid, a.id as targetid, afstand,'' as type FROM  fulddaekning.afstand_anden_rute_bk a " +                                          "SELECT orgid, a.id as targetid, afstand,'' as type FROM  fulddaekning.afstand_anden_rute_bk a " +
100                                          "left join bogleveringer.postnummerdistributor d on d.PostNr = a.orgPostnr " +                                          "left join bogleveringer.postnummerdistributor d on d.PostNr = a.orgPostnr " +
101                                          "WHERE d.Distributor <> 10057"                                          "WHERE d.Distributor <> 10057 " +
102                                            debugFilter2
103                                          ;                                          ;
104                                    
105                  Connection conn = DBConnection.getConnection();                          try ( Connection conn = DBConnection.getConnection();          
106                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);                                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
107                  stmt.setFetchSize(Integer.MIN_VALUE);                                  ) {
108                                            
                 ResultSet res = stmt.executeQuery(sql);  
                   
                 DeduplicateHelper<String> transportTyper = new DeduplicateHelper<String>();  
109                                    
110                  List<ExtendedBean> list = new ArrayList<ExtendedBean>( 350000); //Initial capacity 350K                          stmt.setFetchSize(Integer.MIN_VALUE);
111                  while (res.next()) {                          
112                            ResultSet res = stmt.executeQuery(sql);
113                            
114                            DeduplicateHelper<String> transportCache = new DeduplicateHelper<String>();
115                            
116                            List<ExtendedBean> list = new ArrayList<ExtendedBean>( 350000); //Initial capacity 350K
117                            while (res.next()) {            
118                                    
119                                    ExtendedBean eb = new ExtendedBean();
120                                    eb.orgId = res.getInt(1);
121                                    eb.targetId = res.getInt(2);
122                                    eb.afstand = res.getDouble(3);
123                                    eb.transport = transportCache.getInstance(res.getString(4));
124                                                            
125                                    list.add(eb);
126                            }
127                                                    
128                          String dbTransport = res.getString(4);                                            res.close();
                         String transport = transportTyper.getInstance(dbTransport);  
129                                                    
130                          ExtendedBean eb = new ExtendedBean();                          System.out.println("Loaded " + list.size() + " extendedbeans");
131                          eb.orgId = res.getInt(1);                          
132                          eb.targetId = res.getInt(2);                          return list;
                         eb.afstand = res.getDouble(3);  
                         eb.transport = transport;  
                                                   
                         list.add(eb);  
133                  }                  }
                   
                 res.close();  
                 stmt.close();  
                 conn.close();  
                   
                 System.out.println("Loaded " + list.size() + " extendedbeans");  
                   
                 return list;  
134          }          }
135                    
136          public static Map<Integer,HundredePctBean> get100PctList() throws SQLException {          public static Map<Integer,HundredePctBean> get100PctList() throws SQLException {
137                  String sql = "SELECT postnr,UPPER(distributor) as distributor,rute,koreliste,dbkbane " +                  String sql = "SELECT postnr,UPPER(distributor) as distributor,rute,koreliste,dbkbane " +
138                                           "FROM bogleveringer.adresser_udenfor_daekning";                                           "FROM bogleveringer.adresser_udenfor_daekning";
139                                    
140                  Connection conn = DBConnection.getConnection();                          try ( Connection conn = DBConnection.getConnection();          
141                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);                                  Statement stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
142                  ResultSet res = stmt.executeQuery(sql);                                  ) {
143                            ResultSet res = stmt.executeQuery(sql);
144                  Map<Integer,HundredePctBean> map = new HashMap<Integer,HundredePctBean>();          
145                                            Map<Integer,HundredePctBean> map = new HashMap<Integer,HundredePctBean>();
146                  DeduplicateHelper<String> distributorer = new DeduplicateHelper<String>();                          
147                                            DeduplicateHelper<String> distributorCache = new DeduplicateHelper<String>();
                 while (res.next()) {  
148                                                    
149                          String dbDistributor = res.getString(2);                                                  while (res.next()) {
150                          String distributor = distributorer.getInstance(dbDistributor);                                  
151                                    
152                                    HundredePctBean bean = new HundredePctBean();
153                                    bean.postnr = res.getInt(1);
154                                    bean.distributor = distributorCache.getInstance(res.getString(2));
155                                    bean.rute = res.getString(3);
156                                    bean.koreliste = res.getString(4);
157                                    bean.dbkBane = res.getInt(5);                  
158                                                            
159                                    map.put(bean.postnr, bean);
160                            }
161                                                    
162                          HundredePctBean bean = new HundredePctBean();                          res.close();
163                          bean.postnr = res.getInt(1);                          
164                          bean.distributor = distributor;                          System.out.println("Loaded " + map.size() + " 100pct beans");
165                          bean.rute = res.getString(3);                          
166                          bean.koreliste = res.getString(4);                          return map;
                         bean.dbkBane = res.getInt(5);                    
                                                   
                         map.put(bean.postnr, bean);  
167                  }                  }
168                                    
169                  res.close();          }
170                  stmt.close();          
171                  conn.close();          public static void saveRequestLog(String brugerid, String postnr, String adresse, SearchResult result) throws SQLException {
172                    String sql = "INSERT INTO logs.hentruteinformation (postnr,adresse,vejnavn,googlevejnavn,husnr,husnr_bogstav,etage,lejlighed,rest,brugerid,status, indlast) " +
173                                            "VALUES ( ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?,  NOW() )";
174                                    
175                  System.out.println("Loaded " + map.size() + " 100pct beans");  
176                                    
177                  return map;                  try ( Connection conn = DBConnection.getConnection();          
178                                    PreparedStatement stmt = conn.prepareStatement(sql);
179                            ) {
180                            
181                            stmt.setInt( 1, safeInt(postnr) );
182                            stmt.setString( 2, adresse);
183                            stmt.setString( 3, result.splitResult.vej);
184                            stmt.setString( 4, coalesce(result.googleVej,result.osmVej) );
185                            stmt.setString( 5, nullify(result.splitResult.husnr) );
186                            stmt.setString( 6, result.splitResult.litra);
187                            stmt.setString( 7, result.splitResult.etage);
188                            stmt.setString( 8, result.splitResult.lejlighed);
189                            stmt.setString( 9, result.splitResult.resten);
190                            stmt.setString(10, brugerid);
191                            stmt.setInt(11, getStatusInt(result.status) );
192                            
193                            stmt.executeUpdate();
194                            
195                    }              
196            }
197            
198            private static int getStatusInt(SearchResult.Status status) {
199    
200                    switch (status) {
201                    case ERROR_UNKNOWN_POSTAL:
202                            return 20;
203                    case ERROR_MISSING_HOUSENUMBER:
204                            return 21;
205                    case ERROR_UNKNOWN_STREETNAME:
206                            return 22;
207                    case ERROR_UNKNOWN_ADDRESSPOINT:
208                            return 23;
209                    case STATUS_NOT_COVERED:
210                            return 24;
211                    case STATUS_OK:
212                            return 25;
213                            
214                    default:
215                            return 29;
216                    }
217            }
218            
219            private static int safeInt(String str) {
220                    try {
221                            return Integer.parseInt( str );
222                    } catch (NumberFormatException e) {
223                            return 0;
224                    }
225            }
226            
227            private static String nullify(String str) {
228                    if (str == null)
229                            return null;
230                    
231                    if (str.equals("")) {
232                            return null;
233                    } else {
234                            return str;
235                    }
236            }
237            
238            private static String coalesce(String s1, String s2) {
239                    if (s1 != null)
240                            return s1;
241                                    
242                    return s2;
243          }          }
244    
245                    
246  }  }
Legend:
Removed from v.2319  
changed lines
  Added in v.2372
  ViewVC Help
Powered by ViewVC 1.1.20