/[projects]/android/TrainInfoService/src/dk/thoerup/traininfoservice/RequestPlotter.java
ViewVC logotype

Diff of /android/TrainInfoService/src/dk/thoerup/traininfoservice/RequestPlotter.java

Parent Directory Parent Directory | Revision Log Revision Log | View Patch Patch

revision 817 by torben, Thu Jun 10 08:02:04 2010 UTC revision 1355 by torben, Wed Apr 20 19:01:33 2011 UTC
# Line 4  import java.io.BufferedReader; Line 4  import java.io.BufferedReader;
4  import java.io.ByteArrayOutputStream;  import java.io.ByteArrayOutputStream;
5  import java.io.File;  import java.io.File;
6  import java.io.FileInputStream;  import java.io.FileInputStream;
7    import java.io.FilenameFilter;
8  import java.io.IOException;  import java.io.IOException;
9  import java.io.InputStream;  import java.io.InputStream;
10  import java.io.InputStreamReader;  import java.io.InputStreamReader;
11  import java.text.ParseException;  import java.text.ParseException;
12  import java.text.SimpleDateFormat;  import java.text.SimpleDateFormat;
13  import java.util.ArrayList;  import java.util.ArrayList;
14    import java.util.Arrays;
15  import java.util.Date;  import java.util.Date;
16  import java.util.List;  import java.util.List;
17  import java.util.Map;  import java.util.Map;
18  import java.util.logging.Level;  import java.util.logging.Level;
19  import java.util.logging.Logger;  import java.util.logging.Logger;
 import java.util.zip.GZIPInputStream;  
20  import java.util.zip.ZipEntry;  import java.util.zip.ZipEntry;
21  import java.util.zip.ZipOutputStream;  import java.util.zip.ZipOutputStream;
22    
23  import javax.servlet.ServletException;  import javax.servlet.ServletException;
24    import javax.servlet.annotation.WebServlet;
25  import javax.servlet.http.HttpServlet;  import javax.servlet.http.HttpServlet;
26  import javax.servlet.http.HttpServletRequest;  import javax.servlet.http.HttpServletRequest;
27  import javax.servlet.http.HttpServletResponse;  import javax.servlet.http.HttpServletResponse;
28    
29  import dk.thoerup.traininfoservice.banedk.TimeoutMap;  import dk.thoerup.genericjavautils.TimeoutMap;
30    
31    @WebServlet(urlPatterns={"/RequestPlotter"})
32  public class RequestPlotter extends HttpServlet {  public class RequestPlotter extends HttpServlet {
33          private static final long serialVersionUID = 1L;          private static final long serialVersionUID = 1L;
34    
# Line 34  public class RequestPlotter extends Http Line 37  public class RequestPlotter extends Http
37          static final String KML = "application/vnd.google-earth.kml";          static final String KML = "application/vnd.google-earth.kml";
38          static final String KMZ = "application/vnd.google-earth.kmz";          static final String KMZ = "application/vnd.google-earth.kmz";
39                    
40          Map<String,String> cache = new TimeoutMap<String,String>(2*60*1000);          Map<String,String> cache = new TimeoutMap<String,String>(30*60*1000);
41    
42          class RequestPosition {          class RequestPosition {
43                  public String ip;                  public String ip;
# Line 42  public class RequestPlotter extends Http Line 45  public class RequestPlotter extends Http
45                  public String lat;                  public String lat;
46                  public String lng;                  public String lng;
47          }          }
48            
49            class PositionContainer {
50                    List<RequestPosition> blue = new ArrayList<RequestPosition>();
51                    List<RequestPosition> green = new ArrayList<RequestPosition>();
52                    List<RequestPosition> yellow = new ArrayList<RequestPosition>();
53                    List<RequestPosition> red = new ArrayList<RequestPosition>();
54            }
55    
56    
57          boolean isGz(String fileStr) {          boolean isGz(String fileStr) {
58                  return fileStr.substring(fileStr.length() - 3).equals(".gz");                  return fileStr.substring(fileStr.length() - 3).equals(".gz");
59          }          }
60            
61            protected File[] getFiles(int count) {
62                    File accessLogDir = new File("/home/app/domain1/logs/access/");
63                    //File accessLogDir = new File("/home/torben/inst/glassfishv3/glassfish/domains/domain1/logs/access/");
64                    
65                    File logFiles[] = accessLogDir.listFiles( new FilenameFilter() {
66                            @Override
67                            public boolean accept(File dir, String name) {
68                                    //log.info("name:" + name);
69                                    return name.startsWith("server_access_log");
70                            }                      
71                    });
72                    
73                    Arrays.sort(logFiles);
74                    
75                    if (logFiles == null) {                
76                            File[] empty = {};
77                            log.info("file array was empty");
78                            return empty;
79                    }
80                    
81                    int from = (count>logFiles.length) ? 0 : logFiles.length - (count);
82                    int to = logFiles.length;
83                                    
84                    return Arrays.copyOfRange(logFiles, from, to);  
85            }
86            
87            protected PositionContainer getRequestsFromFileWorker(int  count) throws IOException{
88                    PositionContainer positions = new PositionContainer();
89    
90                    try {                  
91                            
92                            File files[] = getFiles(count);
93    
94                            SimpleDateFormat df = new SimpleDateFormat("dd/MMM/yyyy:HH:mm:ss");
95                    
96                            Date now = new Date();
97                            for (File f : files ) {
98                                    log.info("Parsing file: "  + f.getName() );
99                                    
100                                    if ( !f.exists() ) {
101                                            continue;
102                                    }
103                                    
104                                    
105                                    InputStream input  = new FileInputStream(f);
106    
107                                    
108                                    BufferedReader in = new BufferedReader( new InputStreamReader(input) );
109    
110            
111                                    String line;
112                                    while ( (line=in.readLine()) != null) {
113                                            if (line.indexOf("LocateStation") == -1 ){
114                                                    continue;
115                                            }
116            
117                                            if (line.indexOf("latitude=") == -1 ) {
118                                                    continue;
119                                            }
120                                            
121                                            if (line.indexOf("longitude=") == -1) {
122                                                    continue;
123                                            }
124                                            
125                                            RequestPosition pos = new RequestPosition();
126            
127                                            String toks[] = line.split(" ");
128                                            pos.ip = toks[0].replaceAll("\"", "");
129            
130                                            pos.time = df.parse( toks[2].replace("\"", "") );
131            
132                                            String argpart = toks[5].split("\\?")[1];
133            
134                                            String args[] = argpart.split("&");
135            
136                                            pos.lat = args[0].split("=")[1];
137                                            pos.lng = args[1].split("=")[1];
138                                            
139                                            
140                                            long timediff = now.getTime() - pos.time.getTime();                                    
141                                            if ( timediff < (3*60*60*1000) ) {
142                                                    positions.red.add(pos); //RED
143                                            } else if ( timediff < (24*60*60*1000)) {
144                                                    positions.yellow.add(pos); //YELLOW
145                                            } else if ( timediff < (7*24*60*60*1000)) {
146                                                    positions.green.add(pos); //GREEN
147                                            } else {
148                                                    positions.blue.add(pos); //BLUE
149                                            }
150            
151                                    }
152                                    in.close();
153                                    input.close();
154                                    
155                            }
156                    } catch (ParseException pe) {
157                            log.log(Level.SEVERE, "parseException", pe);
158                            throw new IOException(pe);
159                    } catch (IOException e) {
160                            log.log(Level.SEVERE, "getKml()", e);
161                            throw e;
162                    }
163    
164                    return positions;
165            }
166    
167          protected List<RequestPosition> getRequestsFromFileWorker(boolean multiple) throws IOException{          
168                  List<RequestPosition> positions = new ArrayList<RequestPosition>();          /* old apache code
169            protected PositionContainer getRequestsFromFileWorker(boolean multiple) throws IOException{
170                    PositionContainer positions = new PositionContainer();
171    
172                  try {                  try {
173                          String files_single[] = {"/var/log/apache2/app_access.log"};                          String files_single[] = {"/var/log/apache2/app_access.log"};
# Line 64  public class RequestPlotter extends Http Line 182  public class RequestPlotter extends Http
182                          }                          }
183    
184                          SimpleDateFormat df = new SimpleDateFormat("dd/MMM/yyyy:HH:mm:ss");                          SimpleDateFormat df = new SimpleDateFormat("dd/MMM/yyyy:HH:mm:ss");
185                                            
186                            Date now = new Date();
187                          for (String fileStr : files ) {                          for (String fileStr : files ) {
188                                  File f = new File(fileStr);                                  File f = new File(fileStr);
189                                  if ( !f.exists() ) {                                  if ( !f.exists() ) {
# Line 89  public class RequestPlotter extends Http Line 208  public class RequestPlotter extends Http
208                                                  continue;                                                  continue;
209                                          }                                          }
210                    
211                                          if (line.indexOf("latitude") == -1 ) {                                          if (line.indexOf("latitude=") == -1 ) {
212                                                    continue;
213                                            }
214                                            
215                                            if (line.indexOf("longitude=") == -1) {
216                                                  continue;                                                  continue;
217                                          }                                          }
218                                            
219                                          RequestPosition pos = new RequestPosition();                                          RequestPosition pos = new RequestPosition();
220                    
221                                          String toks[] = line.split(" ");                                          String toks[] = line.split(" ");
# Line 105  public class RequestPlotter extends Http Line 229  public class RequestPlotter extends Http
229                    
230                                          pos.lat = args[0].split("=")[1];                                          pos.lat = args[0].split("=")[1];
231                                          pos.lng = args[1].split("=")[1];                                          pos.lng = args[1].split("=")[1];
232                                            
233                                            
234                                            long timediff = now.getTime() - pos.time.getTime();                                    
235                                            if ( timediff < (3*60*60*1000) ) {
236                                                    positions.red.add(pos); //RED
237                                            } else if ( timediff < (24*60*60*1000)) {
238                                                    positions.yellow.add(pos); //YELLOW
239                                            } else if ( timediff < (7*24*60*60*1000)) {
240                                                    positions.green.add(pos); //GREEN
241                                            } else {
242                                                    positions.blue.add(pos); //BLUE
243                                            }
244                    
                                         positions.add(pos);  
245                                  }                                  }
246                                  in.close();                                  in.close();
247                                  input.close();                                  input.close();
# Line 121  public class RequestPlotter extends Http Line 256  public class RequestPlotter extends Http
256                  }                  }
257    
258                  return positions;                  return positions;
259            }*/
260            
261            protected void formatPositions(StringBuilder sb, String color, List<RequestPosition> list) {
262                    sb.append( "<Folder>\n");
263                    sb.append( " <name>" ).append(color).append("</name>\n");
264                    sb.append( " <open>0</open>\n" );
265                    
266                    int count=0;
267                    for(RequestPosition current : list) {
268                            String id = color + count++;
269                            sb.append( " <Placemark id=\"" + id + "\">\n" );
270                            sb.append( "  <styleUrl>#").append(color).append("</styleUrl>\n" );
271                            sb.append( "  <description><![CDATA[IP=").append(current.ip).append("<br/>Time=").append(current.time).append("]]></description>\n" );
272                            sb.append( "  <Point><coordinates>").append(current.lng).append(",").append(current.lat).append(",0</coordinates></Point>\n" );
273                            sb.append( " </Placemark>\n" );                
274                    }              
275                    
276                    sb.append("</Folder>\n");
277          }          }
278    
279          protected String formatXml(List<RequestPosition> list) {          protected String formatXml(PositionContainer positions) {
280                  StringBuilder sb = new StringBuilder();                  StringBuilder sb = new StringBuilder(1024*1024);
281    
282                  sb.append( "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n" );                  sb.append( "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n" );
283                  sb.append( "<kml xmlns=\"http://www.opengis.net/kml/2.2\">\n" );                  sb.append( "<kml xmlns=\"http://www.opengis.net/kml/2.2\">\n" );
284                  sb.append( "<Document>\n" );                              sb.append( "<Document>\n" );            
285                    sb.append( " <description><![CDATA[");
286                    sb.append( "  Red:").append(positions.red.size()).append(" (whithin 3 hours)<br/>\n");
287                    sb.append( "  Yellow:").append(positions.yellow.size()).append(" (within 24 hours)<br/>\n");
288                    sb.append( "  Green:").append(positions.green.size()).append(" (within one week)<br/>\n");
289                    sb.append( "  Blue:").append(positions.blue.size()).append(" (older)<br/>\n");          
290                    sb.append( " ]]></description>");
291                                    
292                                    
293                  sb.append( " <Style id=\"red\">\n" );                  sb.append( " <Style id=\"red\">\n" );
# Line 143  public class RequestPlotter extends Http Line 302  public class RequestPlotter extends Http
302                  sb.append( "  <IconStyle><Icon><href>http://maps.google.com/mapfiles/kml/paddle/grn-circle.png</href></Icon></IconStyle>\n" );                  sb.append( "  <IconStyle><Icon><href>http://maps.google.com/mapfiles/kml/paddle/grn-circle.png</href></Icon></IconStyle>\n" );
303                  sb.append( " </Style>\n\n" );                  sb.append( " </Style>\n\n" );
304                                    
305                    sb.append( " <Style id=\"blue\">\n" );
306                    sb.append( "  <IconStyle><Icon><href>http://maps.google.com/mapfiles/kml/paddle/blu-circle.png</href></Icon></IconStyle>\n" );
307                    sb.append( " </Style>\n\n" );          
308  /*  /*
309                  String overlay =                  String overlay =
310                " <ScreenOverlay>" +                " <ScreenOverlay>" +
# Line 162  public class RequestPlotter extends Http Line 324  public class RequestPlotter extends Http
324          */                */      
325                                    
326    
327                  final String STYLE_GREEN = "green";                  formatPositions(sb, "blue", positions.blue);
328                  final String STYLE_YELLOW = "yellow";                  formatPositions(sb, "green", positions.green);
329                  final String STYLE_RED = "red";                  formatPositions(sb, "yellow", positions.yellow);
330                    formatPositions(sb, "red", positions.red);
331                    
332    
                 String oldstyle = null;  
                 Date now = new Date();  
                 for(RequestPosition current : list) {  
                           
                         String style;  
                         long timediff = now.getTime() - current.time.getTime();  
                           
                         if ( timediff < (3*60*60*1000) ) {  
                                 style = STYLE_RED;  
                         } else if ( timediff < (24*60*60*1000)) {  
                                 style = STYLE_YELLOW;  
                         } else {  
                                 style = STYLE_GREEN;  
                         }  
                           
                         if (  !style.equals(oldstyle) ) {  
                                 if (oldstyle != null)                            
                                         sb.append( "</Folder>\n");  
                                 sb.append( "<Folder>\n");  
                                 sb.append( " <name>" ).append(style).append("</name>\n");  
                                 sb.append( " <open>0</open>\n" );  
                                   
                                 oldstyle = style;  
                         }  
                           
                         sb.append( " <Placemark>\n" );  
                         sb.append( "  <styleUrl>#" + style + "</styleUrl>\n" );  
                         sb.append( "  <description>IP=" + current.ip + "  Time=" + current.time + "</description>\n" );  
                         sb.append( "  <Point><coordinates>" + current.lng + "," + current.lat + ",0</coordinates></Point>\n" );  
                         sb.append( " </Placemark>\n" );                  
                 }  
                 sb.append( "</Folder>\n" );  
333                  sb.append( "</Document>\n" );                  sb.append( "</Document>\n" );
334                  sb.append( "</kml>\n" );                  sb.append( "</kml>\n" );
335    
336                  return sb.toString();                  return sb.toString();
337          }          }
338                    
339          protected String getRequestsFromFile(boolean multiple) throws IOException {                      protected String getRequestsFromFile(int count) throws IOException {            
340                  String kmlData = null;                  String kmlData = null;
341                  String key;                  String key;
342                                    
343                  if (multiple == false)  {                  key = "kmldata-" + count;
                         key = "kmldata";  
                 } else {  
                         key = "kmldata-multi";  
                 }  
344                                                                                    
345                  kmlData = cache.get(key);                  kmlData = cache.get(key);
346                                                    
347                  if (kmlData == null) {                  if (kmlData == null) {
348                          kmlData = formatXml( getRequestsFromFileWorker(multiple) );                          kmlData = formatXml( getRequestsFromFileWorker(count) );
349                          cache.put(key, kmlData);                          cache.put(key, kmlData);
350                          kmlData += "<!-- from source -->";                                                kmlData += "<!-- from source -->";                      
351                  } else {                  } else {
# Line 240  public class RequestPlotter extends Http Line 368  public class RequestPlotter extends Http
368                  return (p != 0);                  return (p != 0);
369          }          }
370    
371            int getCount(String param) {
372                    if (param == null || param.equals("")) {
373                            return 1;
374                    }
375                                    
376                    return Integer.parseInt(param);
377            }
378    
379            
380          @Override          @Override
381          protected void doGet(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {          protected void doGet(HttpServletRequest req, HttpServletResponse resp) throws ServletException, IOException {
382                                    
                 boolean multiple = enabled( req.getParameter("multi") );  
383                                    
384                  String kmlData = getRequestsFromFile(multiple);                  int count = getCount( req.getParameter("count") );
385                    
386                    if (count > 30) //limit to 30 days
387                            count = 30;
388                    
389                    String kmlData = getRequestsFromFile(count);
390                                    
391                  if ( enabled(req.getParameter("zip")) ) {                  if ( enabled(req.getParameter("zip")) ) {
392    
Legend:
Removed from v.817  
changed lines
  Added in v.1355
  ViewVC Help
Powered by ViewVC 1.1.20