/[projects]/miscJava/SpejdernetScraper/src/dk/thoerup/spejdernetscraper/ScraperWorker.java
ViewVC logotype

Diff of /miscJava/SpejdernetScraper/src/dk/thoerup/spejdernetscraper/ScraperWorker.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 2251 by torben, Sun Dec 28 18:58:25 2014 UTC revision 2252 by torben, Sun Dec 28 20:36:40 2014 UTC
# Line 44  public class ScraperWorker implements Ru Line 44  public class ScraperWorker implements Ru
44                          //This will get you cookies                          //This will get you cookies
45                          cookies.putAll( res.cookies() );                          cookies.putAll( res.cookies() );
46                          //printMap(cookies);                              //printMap(cookies);    
47                            
48                            // /////////////////////////////////
49                            // Data.csv
50                    
51                          String dataCsvUrl = "http://medlemssystem.spejdernet.dk/csvx.ashx?q=JQBOZXRtZXN0ZXIuS0ZVTS5NZW1iZXIsIE5ldG1lc3Rlci5LRlVNPgB4LlVuaXQuR3JvdXAuSWQgPT0gImd1aWQ6NWMwY2Y2MzgtZGM4Ny00MTNmLTkxYjYtOWM3MzAwYzcwMTM3Ig==&type=Member&view=csv";                          String dataCsvUrl = "http://medlemssystem.spejdernet.dk/csvx.ashx?q=JQBOZXRtZXN0ZXIuS0ZVTS5NZW1iZXIsIE5ldG1lc3Rlci5LRlVNPgB4LlVuaXQuR3JvdXAuSWQgPT0gImd1aWQ6NWMwY2Y2MzgtZGM4Ny00MTNmLTkxYjYtOWM3MzAwYzcwMTM3Ig==&type=Member&view=csv";
52                          //And this is the easieste way I've found to remain in session                          //And this is the easieste way I've found to remain in session
# Line 56  public class ScraperWorker implements Ru Line 59  public class ScraperWorker implements Ru
59                          String dataCsv = data.body();                          String dataCsv = data.body();
60                          rb.addString("Got data.csv");                          rb.addString("Got data.csv");
61                                                    
62                            // /////////////////////////////////
63                            // Roller.csv
64                            /*
65                          String rollerCsvUrl = "http://medlemssystem.spejdernet.dk/DataExport.aspx?Id=5c0cf638-dc87-413f-91b6-9c7300c70137&listid=e8c5ae9d-5ea7-4a00-bea4-a0ce00ea891e&execute=true";                          String rollerCsvUrl = "http://medlemssystem.spejdernet.dk/DataExport.aspx?Id=5c0cf638-dc87-413f-91b6-9c7300c70137&listid=e8c5ae9d-5ea7-4a00-bea4-a0ce00ea891e&execute=true";
66                          Response roller = Jsoup.connect(rollerCsvUrl).cookies(cookies).timeout(10000).execute();                          Response roller = Jsoup.connect(rollerCsvUrl).cookies(cookies).timeout(10000).execute();
67                          if ( ! roller.contentType().equalsIgnoreCase("text/x-csv; charset=iso-8859-1") ) {                          if ( ! roller.contentType().equalsIgnoreCase("text/x-csv; charset=iso-8859-1") ) {
# Line 63  public class ScraperWorker implements Ru Line 69  public class ScraperWorker implements Ru
69                                  return;                                  return;
70                          }                          }
71                          String rollerCsv = roller.body();                          String rollerCsv = roller.body();
72                          rb.addString("Got roller.csv");                          rb.addString("Got roller.csv");*/
73                            String rollerCsv = ""; //Temporary fix for PrematureEof exception thingie
74                                                    
75                          Map<String,String> postData = new TreeMap<String,String>();                          Map<String,String> postData = new TreeMap<String,String>();
76                          postData.put("roller", rollerCsv);                          postData.put("roller", rollerCsv);
Legend:
Removed from v.2251  
changed lines
  Added in v.2252
  ViewVC Help
Powered by ViewVC 1.1.20