/[projects]/android/TrainInfoServiceGoogle/src/dk/thoerup/traininfoservice/banedk/TimetableFetcher.java
ViewVC logotype

Diff of /android/TrainInfoServiceGoogle/src/dk/thoerup/traininfoservice/banedk/TimetableFetcher.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

android/TrainInfoService/src/dk/thoerup/traininfoservice/banedk/TimetableFetcher.java revision 975 by torben, Sat Jul 10 08:35:16 2010 UTC android/TrainInfoServiceGoogle/src/dk/thoerup/traininfoservice/banedk/TimetableFetcher.java revision 1093 by torben, Tue Sep 21 20:10:46 2010 UTC
# Line 1  Line 1 
1  package dk.thoerup.traininfoservice.banedk;  package dk.thoerup.traininfoservice.banedk;
2    
3    
4  import java.io.IOException;  
5  import java.net.URL;  import java.net.URL;
6  import java.sql.SQLException;  import java.sql.SQLException;
7  import java.util.ArrayList;  import java.util.HashMap;
 import java.util.List;  
8  import java.util.Map;  import java.util.Map;
9  import java.util.logging.Level;  import java.util.logging.Level;
10  import java.util.logging.Logger;  import java.util.logging.Logger;
11    
12  import com.gargoylesoftware.htmlunit.BrowserVersion;  import net.sf.jsr107cache.Cache;
13  import com.gargoylesoftware.htmlunit.Page;  import net.sf.jsr107cache.CacheException;
14  import com.gargoylesoftware.htmlunit.RefreshHandler;  import net.sf.jsr107cache.CacheManager;
15  import com.gargoylesoftware.htmlunit.WebClient;  
16  import com.gargoylesoftware.htmlunit.html.DomNodeList;  import org.jsoup.nodes.Document;
17  import com.gargoylesoftware.htmlunit.html.HtmlElement;  import org.jsoup.nodes.Element;
18  import com.gargoylesoftware.htmlunit.html.HtmlPage;  import org.jsoup.select.Elements;
19    
20    import com.google.appengine.api.memcache.jsr107cache.GCacheFactory;
21    
22    import dk.thoerup.android.traininfo.common.TimetableBean;
23    import dk.thoerup.android.traininfo.common.TimetableEntry;
24  import dk.thoerup.circuitbreaker.CircuitBreaker;  import dk.thoerup.circuitbreaker.CircuitBreaker;
25  import dk.thoerup.circuitbreaker.CircuitBreakerManager;  import dk.thoerup.circuitbreaker.CircuitBreakerManager;
26  import dk.thoerup.traininfoservice.StationDAO;  import dk.thoerup.traininfoservice.StationDAO;
27  import dk.thoerup.traininfoservice.Statistics;  import dk.thoerup.traininfoservice.Statistics;
28    
29  public class TimetableFetcher {  public class TimetableFetcher {
30            
         class NullRefreshHandler implements RefreshHandler {  
                 public void handleRefresh(Page arg0, URL arg1, int arg2) throws IOException {                    
                 }  
                   
         }  
31                                    
32          Map<String, List<TimetableBean>> cache;          Cache cache;
33          Map<String, Integer> stationCache;          Cache stationCache;
34    
35          StationDAO stationDao = new StationDAO();          StationDAO stationDao = new StationDAO();
36                    
37                    
38          Logger logger = Logger.getLogger(TimetableFetcher.class.getName());          Logger logger = Logger.getLogger(TimetableFetcher.class.getName());
39                    
40          private boolean useTempSite;          private boolean useAzureSite;
41            private int replyTimeout;
42                    
43          public TimetableFetcher(boolean tmpSite, int cacheTimeout) {          @SuppressWarnings("unchecked")
44                  useTempSite = tmpSite;          public TimetableFetcher(boolean azureSite, int cacheTimeout, int replyTimeout) {
45                    useAzureSite = azureSite;
46                    this.replyTimeout = replyTimeout;              
47                                    
48                  cache = new TimeoutMap<String,List<TimetableBean>>(cacheTimeout);          Map props = new HashMap();
49                  stationCache = new TimeoutMap<String,Integer>( 3*60*60*1000 );          props.put(GCacheFactory.EXPIRATION_DELTA_MILLIS, cacheTimeout);        
50                    
51                    try {
52                cache = CacheManager.getInstance().getCacheFactory().createCache(props);            
53            } catch (CacheException e) {
54                    logger.log(Level.WARNING, "error creating cache", e);
55            }
56            
57            props = new HashMap();
58            props.put(GCacheFactory.EXPIRATION_DELTA_MILLIS, 3*60*60*1000);        
59                    
60                    try {
61                            stationCache = CacheManager.getInstance().getCacheFactory().createCache(props);            
62            } catch (CacheException e) {
63                    logger.log(Level.WARNING, "error creating cache", e);
64            }              
65          }          }
66                    
67                    
68          List<TimetableBean> cachedLookupTimetable(String trainID, String type) throws Exception {          TimetableBean cachedLookupTimetable(String trainID, String type) throws Exception {
69                  String key = trainID+type;                  String key = trainID+type;
70                  List<TimetableBean> list = cache.get(key);                  TimetableBean list = cache.get(key);
71                                    
72                  if (list == null) {                  if (list == null) {
73                          list = lookupTimetable(trainID,type);                          list = lookupTimetable(trainID,type);
# Line 63  public class TimetableFetcher { Line 79  public class TimetableFetcher {
79                  return list;                  return list;
80          }          }
81                    
82          List<TimetableBean> lookupTimetable(String trainID, String type) throws Exception {          TimetableBean lookupTimetable(String trainID, String type) throws Exception {
83                  if (useTempSite == false ){                  if (useAzureSite == true ){
84                          return lookupTimetableRealSite(trainID, type);                          return lookupTimetableAzureSite(trainID, type);
85                            
86                  } else {                  } else {
87                          return new ArrayList<TimetableBean>(); // no timetable data on temp site                          return lookupTimetableWwwSite(trainID, type);
88                  }                  }
89          }          }
90                    
# Line 87  public class TimetableFetcher { Line 104  public class TimetableFetcher {
104                  return id;                  return id;
105          }          }
106    
107          List<TimetableBean> lookupTimetableRealSite(String trainID, String type) throws Exception {                      TimetableBean lookupTimetableAzureSite(String trainID, String type) throws Exception {          
108                  List<TimetableBean> timetableList = new ArrayList<TimetableBean>();                  TimetableBean timetableBean = new TimetableBean();
109                                    
                 //String url = "http://www.bane.dk/visRute.asp?W=" + type + "&TogNr=" + trainID + "&artikelId=4276";  
                 String url = "http://trafikinfo.bane.dk/TrafikInformation/Ruteplan/" + trainID;                  
110    
111              final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_3);                  String url = "http://trafikinfo.bane.dk/TrafikInformation/Ruteplan/" + trainID;                
112              webClient.setTimeout(2500);                  logger.fine("URL:" + url);
             webClient.setJavaScriptEnabled(false);          
             webClient.setRefreshHandler( new NullRefreshHandler() );  
             webClient.setCssEnabled(false);  
               
113                            
114              HtmlunitInvocation wrapper = new HtmlunitInvocation(webClient, url);              JsoupInvocation wrapper = new JsoupInvocation( new URL(url) , replyTimeout);
115              CircuitBreaker breaker = CircuitBreakerManager.getManager().getCircuitBreaker("banedk");              CircuitBreaker breaker = CircuitBreakerManager.getManager().getCircuitBreaker("banedk");
116                            
117              HtmlPage page = (HtmlPage) breaker.invoke(wrapper);              Document doc = (Document) breaker.invoke(wrapper);
118                                            
119                            
120              boolean currentStation = false;              boolean currentStation = false;
121              boolean currentStationSaved = false;              boolean currentStationSaved = false;
122                            
123              List<HtmlElement> tables = page.getDocumentElement().getElementsByAttribute("table", "class", "Rute");              Elements tables = doc.getElementsByClass("Rute");
124                
125              if (tables.size() == 1) {              if (tables.size() == 1) {
126                  HtmlElement timetable = tables.get(0);                  Element timetable = tables.get(0);
127                  DomNodeList<HtmlElement> rows = timetable.getElementsByTagName("tr");                  Elements rows = timetable.getElementsByTag("tr");
128                                    
129                  for (int i=0; i<rows.size(); i++) {                  for (int i=0; i<rows.size(); i++) {
130                          if (i==0) //First row is column headers                          if (i==0) //First row is column headers
131                                  continue;                                  continue;
132                                                    
133                                                    
134                          HtmlElement row = rows.get(i);                          Element row = rows.get(i);
135                          DomNodeList<HtmlElement> fields = row.getElementsByTagName("td");                          Elements fields = row.getElementsByTag("td");
136    
137                                                    
138                          if (currentStationSaved == false && fields.get(0).getAttribute("class").equalsIgnoreCase("Tidsstreg")) {                          if (currentStationSaved == false && fields.get(0).attr("class").equalsIgnoreCase("Tidsstreg")) {
139                                  currentStation = true;                                  currentStation = true;
140                                  continue;                                  continue;
141                          }                          }
142                                                    
143                          TimetableBean bean = new TimetableBean();                          TimetableEntry entry = new TimetableEntry();
144                                                    
145                          String station = fields.get(0).asText() ;                          String station = fields.get(0).text() ;
146                          if (station.equals("København"))                          if (station.equals("København"))
147                                  station = "København H"; //correct inconsistency in naming                                  station = "København H"; //correct inconsistency in naming
148                                                    
149                          bean.setStation( station );                          entry.setStation( station );
150                          bean.setArrival( fields.get(1).asText() );                          entry.setArrival( fields.get(1).text() );
151                          bean.setDeparture( fields.get(2).asText() );                          entry.setDeparture( fields.get(2).text() );
152                                                    
153                          boolean cancelled = fields.get(3).asText().equalsIgnoreCase("aflyst");                          boolean cancelled = fields.get(3).text().equalsIgnoreCase("aflyst");
154                          bean.setCancelled(cancelled);                          entry.setCancelled(cancelled);
155                                                    
156                          if (currentStation == true && currentStationSaved == false ) {                          if (currentStation == true && currentStationSaved == false ) {
157                                  bean.setCurrent(currentStation);                                  entry.setCurrent(currentStation);
158                                  currentStationSaved = true;                                  currentStationSaved = true;
159                          }                          }
160                                                    
161                          bean.setStationId( getStationId( station ));                          entry.setStationId( getStationId( station ));
162                                                    
163                          timetableList.add(bean);                          timetableBean.entries.add(entry);
164                  }                  }
165                                    
166                    //TODO: There is an off-by-one error in this cancelled parser thingie
167                  final String cancelledString = "Aflyst";                  final String cancelledString = "Aflyst";
168                  for (int i=0;i<timetableList.size(); i++) { //handle cancelled labels                  for (int i=0;i<timetableBean.entries.size(); i++) { //handle cancelled labels
169                          final int lastIdx = (timetableList.size() - 1);                          final int lastIdx = (timetableBean.entries.size() - 1);
170                                                    
171                          TimetableBean current = timetableList.get(i);                          TimetableEntry current = timetableBean.entries.get(i);
172                          if (current.isCancelled() && i == 0) {                          if (current.isCancelled()) {
173                                  current.setDeparture(cancelledString);                                  if (i == 0) {
174                          } else if (current.isCancelled() && i == lastIdx) {                                          current.setDeparture(cancelledString);
175                                  current.setArrival(cancelledString);                                  } else if (i == lastIdx) {
176                          } else if (current.isCancelled() && i>0 && i<lastIdx) {                                          current.setArrival(cancelledString);
177                                  TimetableBean next = timetableList.get(i+1);                                  } else if (i>0 && i<lastIdx) {
178                                  TimetableBean prev = timetableList.get(i-1);                                          TimetableEntry next = timetableBean.entries.get(i+1);
179                                                                            TimetableEntry prev = timetableBean.entries.get(i-1);
180                                  if (next.isCancelled())                                          
181                                          current.setDeparture(cancelledString);                                          if (next.isCancelled())
182                                  if (prev.isCancelled())                                                  current.setDeparture(cancelledString);
183                                          current.setArrival(cancelledString);                                          if (prev.isCancelled())
184                                                    current.setArrival(cancelledString);
185                                    }
186                          }                          }
187                  }                  }
188                                    
189              } else {              } else {
190                  logger.warning("No time table found, trainID=" + trainID + " type=" + type);                  logger.warning("No time table found, trainID=" + trainID + " type=" + type);
191              }              }
192              webClient.closeAllWindows();              
193                                    
194                  return timetableList;                  return timetableBean;
195          }          }
196    
197            TimetableBean lookupTimetableWwwSite(String trainID, String type) throws Exception {            
198                    TimetableBean timetableBean = new TimetableBean();
199                    
200                    String url = "http://www.bane.dk/visRute.asp?W=" + type + "&TogNr=" + trainID + "&artikelId=4276";
201                    logger.fine("URL:" + url);
202    
203                
204                JsoupInvocation wrapper = new JsoupInvocation( new URL(url) , replyTimeout);
205                CircuitBreaker breaker = CircuitBreakerManager.getManager().getCircuitBreaker("banedk");
206                
207                Document doc = (Document) breaker.invoke(wrapper);
208                        
209                
210                boolean currentStation = false;
211                boolean currentStationSaved = false;
212                
213                Elements tables = doc.getElementsByClass("Rute");
214                
215                if (tables.size() == 1) {
216                    Element timetable = tables.get(0);
217                    Elements rows = timetable.getElementsByTag("tr");
218                    
219                    for (int i=0; i<rows.size(); i++) {
220                            if (i==0) //First row is column headers
221                                    continue;
222                            
223                            
224                            Element row = rows.get(i);
225                            Elements fields = row.getElementsByTag("td");
226    
227                            
228                            if (currentStationSaved == false && fields.get(0).attr("class").equalsIgnoreCase("Tidsstreg")) {
229                                    currentStation = true;
230                                    continue;
231                            }
232                            
233                            TimetableEntry entry = new TimetableEntry();
234                            
235                            String station = DepartureFetcher.cleanText( fields.get(0).text() ) ;
236                            if (station.equals("København"))
237                                    station = "København H"; //correct inconsistency in naming
238                            
239                            String arrival = DepartureFetcher.cleanText( fields.get(1).text() );
240                            String departure = DepartureFetcher.cleanText( fields.get(2).text() );
241                            
242                            entry.setStation( station );
243                            entry.setArrival( arrival );
244                            entry.setDeparture( departure );
245                    
246                            
247                            if (currentStation == true && currentStationSaved == false ) {
248                                    entry.setCurrent(currentStation);
249                                    currentStationSaved = true;
250                            }
251                            
252                            entry.setStationId( getStationId( station ));
253                            
254                            timetableBean.entries.add(entry);
255                    }              
256                    
257                } else {
258                    logger.warning("No time table found, trainID=" + trainID + " type=" + type);
259                }
260                
261                    
262                    return timetableBean;
263            }      
264                    
265  }  }
Legend:
Removed from v.975  
changed lines
  Added in v.1093
  ViewVC Help
Powered by ViewVC 1.1.20