/[projects]/android/TrainInfoServiceGoogle/src/dk/thoerup/traininfoservice/banedk/TimetableFetcher.java
ViewVC logotype

Diff of /android/TrainInfoServiceGoogle/src/dk/thoerup/traininfoservice/banedk/TimetableFetcher.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 975 by torben, Sat Jul 10 08:35:16 2010 UTC revision 1036 by torben, Wed Sep 8 12:49:22 2010 UTC
# Line 1  Line 1 
1  package dk.thoerup.traininfoservice.banedk;  package dk.thoerup.traininfoservice.banedk;
2    
3    
4  import java.io.IOException;  
5  import java.net.URL;  import java.net.URL;
6  import java.sql.SQLException;  import java.sql.SQLException;
7  import java.util.ArrayList;  import java.util.ArrayList;
# Line 10  import java.util.Map; Line 10  import java.util.Map;
10  import java.util.logging.Level;  import java.util.logging.Level;
11  import java.util.logging.Logger;  import java.util.logging.Logger;
12    
13  import com.gargoylesoftware.htmlunit.BrowserVersion;  import org.jsoup.nodes.Document;
14  import com.gargoylesoftware.htmlunit.Page;  import org.jsoup.nodes.Element;
15  import com.gargoylesoftware.htmlunit.RefreshHandler;  import org.jsoup.select.Elements;
 import com.gargoylesoftware.htmlunit.WebClient;  
 import com.gargoylesoftware.htmlunit.html.DomNodeList;  
 import com.gargoylesoftware.htmlunit.html.HtmlElement;  
 import com.gargoylesoftware.htmlunit.html.HtmlPage;  
16    
17  import dk.thoerup.circuitbreaker.CircuitBreaker;  import dk.thoerup.circuitbreaker.CircuitBreaker;
18  import dk.thoerup.circuitbreaker.CircuitBreakerManager;  import dk.thoerup.circuitbreaker.CircuitBreakerManager;
# Line 24  import dk.thoerup.traininfoservice.Stati Line 20  import dk.thoerup.traininfoservice.Stati
20  import dk.thoerup.traininfoservice.Statistics;  import dk.thoerup.traininfoservice.Statistics;
21    
22  public class TimetableFetcher {  public class TimetableFetcher {
23            
         class NullRefreshHandler implements RefreshHandler {  
                 public void handleRefresh(Page arg0, URL arg1, int arg2) throws IOException {                    
                 }  
                   
         }  
24                                    
25          Map<String, List<TimetableBean>> cache;          Map<String, List<TimetableBean>> cache;
26          Map<String, Integer> stationCache;          Map<String, Integer> stationCache;
# Line 39  public class TimetableFetcher { Line 30  public class TimetableFetcher {
30                    
31          Logger logger = Logger.getLogger(TimetableFetcher.class.getName());          Logger logger = Logger.getLogger(TimetableFetcher.class.getName());
32                    
33          private boolean useTempSite;          private boolean useAzureSite;
34            private int replyTimeout;
35                    
36          public TimetableFetcher(boolean tmpSite, int cacheTimeout) {          public TimetableFetcher(boolean azureSite, int cacheTimeout, int replyTimeout) {
37                  useTempSite = tmpSite;                  useAzureSite = azureSite;
38                    this.replyTimeout = replyTimeout;
39                                    
40                  cache = new TimeoutMap<String,List<TimetableBean>>(cacheTimeout);                  cache = new TimeoutMap<String,List<TimetableBean>>(cacheTimeout);
41                  stationCache = new TimeoutMap<String,Integer>( 3*60*60*1000 );                  stationCache = new TimeoutMap<String,Integer>( 3*60*60*1000 );
# Line 64  public class TimetableFetcher { Line 57  public class TimetableFetcher {
57          }          }
58                    
59          List<TimetableBean> lookupTimetable(String trainID, String type) throws Exception {          List<TimetableBean> lookupTimetable(String trainID, String type) throws Exception {
60                  if (useTempSite == false ){                  if (useAzureSite == true ){
61                          return lookupTimetableRealSite(trainID, type);                          return lookupTimetableAzureSite(trainID, type);
62                            
63                  } else {                  } else {
64                          return new ArrayList<TimetableBean>(); // no timetable data on temp site                          return lookupTimetableWwwSite(trainID, type);
65                  }                  }
66          }          }
67                    
# Line 87  public class TimetableFetcher { Line 81  public class TimetableFetcher {
81                  return id;                  return id;
82          }          }
83    
84          List<TimetableBean> lookupTimetableRealSite(String trainID, String type) throws Exception {                      List<TimetableBean> lookupTimetableAzureSite(String trainID, String type) throws Exception {            
85                  List<TimetableBean> timetableList = new ArrayList<TimetableBean>();                  List<TimetableBean> timetableList = new ArrayList<TimetableBean>();
86                                    
87                  //String url = "http://www.bane.dk/visRute.asp?W=" + type + "&TogNr=" + trainID + "&artikelId=4276";                  //String url = "http://www.bane.dk/visRute.asp?W=" + type + "&TogNr=" + trainID + "&artikelId=4276";
88                  String url = "http://trafikinfo.bane.dk/TrafikInformation/Ruteplan/" + trainID;                                  String url = "http://trafikinfo.bane.dk/TrafikInformation/Ruteplan/" + trainID;                
89    
             final WebClient webClient = new WebClient(BrowserVersion.FIREFOX_3);  
             webClient.setTimeout(2500);  
             webClient.setJavaScriptEnabled(false);          
             webClient.setRefreshHandler( new NullRefreshHandler() );  
             webClient.setCssEnabled(false);  
90                            
91                            JsoupInvocation wrapper = new JsoupInvocation( new URL(url) , replyTimeout);
             HtmlunitInvocation wrapper = new HtmlunitInvocation(webClient, url);  
92              CircuitBreaker breaker = CircuitBreakerManager.getManager().getCircuitBreaker("banedk");              CircuitBreaker breaker = CircuitBreakerManager.getManager().getCircuitBreaker("banedk");
93                            
94              HtmlPage page = (HtmlPage) breaker.invoke(wrapper);              Document doc = (Document) breaker.invoke(wrapper);
95                                            
96                            
97              boolean currentStation = false;              boolean currentStation = false;
98              boolean currentStationSaved = false;              boolean currentStationSaved = false;
99                            
100              List<HtmlElement> tables = page.getDocumentElement().getElementsByAttribute("table", "class", "Rute");              Elements tables = doc.getElementsByClass("Rute");
101                
102              if (tables.size() == 1) {              if (tables.size() == 1) {
103                  HtmlElement timetable = tables.get(0);                  Element timetable = tables.get(0);
104                  DomNodeList<HtmlElement> rows = timetable.getElementsByTagName("tr");                  Elements rows = timetable.getElementsByTag("tr");
105                                    
106                  for (int i=0; i<rows.size(); i++) {                  for (int i=0; i<rows.size(); i++) {
107                          if (i==0) //First row is column headers                          if (i==0) //First row is column headers
108                                  continue;                                  continue;
109                                                    
110                                                    
111                          HtmlElement row = rows.get(i);                          Element row = rows.get(i);
112                          DomNodeList<HtmlElement> fields = row.getElementsByTagName("td");                          Elements fields = row.getElementsByTag("td");
113    
114                                                    
115                          if (currentStationSaved == false && fields.get(0).getAttribute("class").equalsIgnoreCase("Tidsstreg")) {                          if (currentStationSaved == false && fields.get(0).attr("class").equalsIgnoreCase("Tidsstreg")) {
116                                  currentStation = true;                                  currentStation = true;
117                                  continue;                                  continue;
118                          }                          }
119                                                    
120                          TimetableBean bean = new TimetableBean();                          TimetableBean bean = new TimetableBean();
121                                                    
122                          String station = fields.get(0).asText() ;                          String station = fields.get(0).text() ;
123                          if (station.equals("København"))                          if (station.equals("København"))
124                                  station = "København H"; //correct inconsistency in naming                                  station = "København H"; //correct inconsistency in naming
125                                                    
126                          bean.setStation( station );                          bean.setStation( station );
127                          bean.setArrival( fields.get(1).asText() );                          bean.setArrival( fields.get(1).text() );
128                          bean.setDeparture( fields.get(2).asText() );                          bean.setDeparture( fields.get(2).text() );
129                                                    
130                          boolean cancelled = fields.get(3).asText().equalsIgnoreCase("aflyst");                          boolean cancelled = fields.get(3).text().equalsIgnoreCase("aflyst");
131                          bean.setCancelled(cancelled);                          bean.setCancelled(cancelled);
132                                                    
133                          if (currentStation == true && currentStationSaved == false ) {                          if (currentStation == true && currentStationSaved == false ) {
# Line 150  public class TimetableFetcher { Line 140  public class TimetableFetcher {
140                          timetableList.add(bean);                          timetableList.add(bean);
141                  }                  }
142                                    
143                    //TODO: There is an off-by-one error in this cancelled parser thingie
144                  final String cancelledString = "Aflyst";                  final String cancelledString = "Aflyst";
145                  for (int i=0;i<timetableList.size(); i++) { //handle cancelled labels                  for (int i=0;i<timetableList.size(); i++) { //handle cancelled labels
146                          final int lastIdx = (timetableList.size() - 1);                          final int lastIdx = (timetableList.size() - 1);
147                                                    
148                          TimetableBean current = timetableList.get(i);                          TimetableBean current = timetableList.get(i);
149                          if (current.isCancelled() && i == 0) {                          if (current.isCancelled()) {
150                                  current.setDeparture(cancelledString);                                  if (i == 0) {
151                          } else if (current.isCancelled() && i == lastIdx) {                                          current.setDeparture(cancelledString);
152                                  current.setArrival(cancelledString);                                  } else if (i == lastIdx) {
153                          } else if (current.isCancelled() && i>0 && i<lastIdx) {                                          current.setArrival(cancelledString);
154                                  TimetableBean next = timetableList.get(i+1);                                  } else if (i>0 && i<lastIdx) {
155                                  TimetableBean prev = timetableList.get(i-1);                                          TimetableBean next = timetableList.get(i+1);
156                                                                            TimetableBean prev = timetableList.get(i-1);
157                                  if (next.isCancelled())                                          
158                                          current.setDeparture(cancelledString);                                          if (next.isCancelled())
159                                  if (prev.isCancelled())                                                  current.setDeparture(cancelledString);
160                                          current.setArrival(cancelledString);                                          if (prev.isCancelled())
161                                                    current.setArrival(cancelledString);
162                                    }
163                          }                          }
164                  }                  }
165                                    
166              } else {              } else {
167                  logger.warning("No time table found, trainID=" + trainID + " type=" + type);                  logger.warning("No time table found, trainID=" + trainID + " type=" + type);
168              }              }
169              webClient.closeAllWindows();              
170                                    
171                  return timetableList;                  return timetableList;
172          }          }
173    
174            List<TimetableBean> lookupTimetableWwwSite(String trainID, String type) throws Exception {              
175                    List<TimetableBean> timetableList = new ArrayList<TimetableBean>();
176                    
177                    String url = "http://www.bane.dk/visRute.asp?W=" + type + "&TogNr=" + trainID + "&artikelId=4276";
178    
179    
180                
181                JsoupInvocation wrapper = new JsoupInvocation( new URL(url) , replyTimeout);
182                CircuitBreaker breaker = CircuitBreakerManager.getManager().getCircuitBreaker("banedk");
183                
184                Document doc = (Document) breaker.invoke(wrapper);
185                        
186                
187                boolean currentStation = false;
188                boolean currentStationSaved = false;
189                
190                Elements tables = doc.getElementsByClass("Rute");
191                
192                if (tables.size() == 1) {
193                    Element timetable = tables.get(0);
194                    Elements rows = timetable.getElementsByTag("tr");
195                    
196                    for (int i=0; i<rows.size(); i++) {
197                            if (i==0) //First row is column headers
198                                    continue;
199                            
200                            
201                            Element row = rows.get(i);
202                            Elements fields = row.getElementsByTag("td");
203    
204                            
205                            if (currentStationSaved == false && fields.get(0).attr("class").equalsIgnoreCase("Tidsstreg")) {
206                                    currentStation = true;
207                                    continue;
208                            }
209                            
210                            TimetableBean bean = new TimetableBean();
211                            
212                            String station = fields.get(0).text() ;
213                            if (station.equals("København"))
214                                    station = "København H"; //correct inconsistency in naming
215                            
216                            bean.setStation( station );
217                            bean.setArrival( fields.get(1).text() );
218                            bean.setDeparture( fields.get(2).text() );
219                    
220                            
221                            if (currentStation == true && currentStationSaved == false ) {
222                                    bean.setCurrent(currentStation);
223                                    currentStationSaved = true;
224                            }
225                            
226                            bean.setStationId( getStationId( station ));
227                            
228                            timetableList.add(bean);
229                    }              
230                    
231                } else {
232                    logger.warning("No time table found, trainID=" + trainID + " type=" + type);
233                }
234                
235                    
236                    return timetableList;
237            }      
238                    
239  }  }
Legend:
Removed from v.975  
changed lines
  Added in v.1036
  ViewVC Help
Powered by ViewVC 1.1.20