Java发送Http请求，解析html返回

今天是2008年7月7日星期一，下午一直在学校做个人开始页面。因为离不开google的翻译，所以想把google的翻译整合到我的开始页面中来，于是乎就遇到了一个问题，怎样使用java程序发送http请求然后截获远程服务器返回的数据进行适当处理之后再输出？另外，google的翻译页面是使用post的方法提交数据的，无法直接通过网址进行处理，于是乎，这又涉及到了一个怎样使用java去post数据的问题。
经过拜读百度知道的提问（花了我20分），找到了一个htmlparser的jar包组件，据说是可以很高效率的进行html的解析。于是乎，立马下载了一个过来。（文后附件中有）试了一下果然不错。同时，在这个过程中也学会了怎样利用java来和其它网站交互，这可是一个非常不错的功能，配合htmlparser，可以随心所欲的截取别人网站的信息了！
废话不多说了，下面是具体的使用步骤。

首先，向一个Web站点发送POST请求只需要简单的几步:
注意，这里不需要导入任何第三方包

Java代码

1. package com.test;   
2.   
3. import java.io.BufferedReader;   
4. import java.io.IOException;   
5. import java.io.InputStream;   
6. import java.io.InputStreamReader;   
7. import java.io.OutputStreamWriter;   
8. import java.net.URL;   
9. import java.net.URLConnection;   
10.   
11. public class TestPost {   
12.   
13.     public static void testPost() throws IOException {   
14.   
15.         /**  
16.          * 首先要和URL下的URLConnection对话。 URLConnection可以很容易的从URL得到。比如： // Using  
17.          *  java.net.URL and //java.net.URLConnection  
18.          */  
19.         URL url = new URL("http://www.faircanton.com/message/check.asp");   
20.         URLConnection connection = url.openConnection();   
21.         /**  
22.          * 然后把连接设为输出模式。URLConnection通常作为输入来使用，比如下载一个Web页。  
23.          * 通过把URLConnection设为输出，你可以把数据向你个Web页传送。下面是如何做：  
24.          */  
25.         connection.setDoOutput(true);   
26.         /**  
27.          * 最后，为了得到OutputStream，简单起见，把它约束在Writer并且放入POST信息中，例如： ...  
28.          */  
29.         OutputStreamWriter out = new OutputStreamWriter(connection   
30.                 .getOutputStream(), "8859_1");   
31.         out.write("username=kevin&password=*********"); //post的关键所在！   
32.         // remember to clean up   
33.         out.flush();   
34.         out.close();   
35.         /**  
36.          * 这样就可以发送一个看起来象这样的POST：   
37.          * POST /jobsearch/jobsearch.cgi HTTP 1.0 ACCEPT:  
38.          * text/plain Content-type: application/x-www-form-urlencoded  
39.          * Content-length: 99 username=bob password=someword  
40.          */  
41.         // 一旦发送成功，用以下方法就可以得到服务器的回应：   
42.         String sCurrentLine;   
43.         String sTotalString;   
44.         sCurrentLine = "";   
45.         sTotalString = "";   
46.         InputStream l_urlStream;   
47.         l_urlStream = connection.getInputStream();   
48.         // 传说中的三层包装阿！   
49.         BufferedReader l_reader = new BufferedReader(new InputStreamReader(   
50.                 l_urlStream));   
51.         while ((sCurrentLine = l_reader.readLine()) != null) {   
52.             sTotalString += sCurrentLine + "\r\n";   
53.   
54.         }   
55.         System.out.println(sTotalString);   
56.     }   
57.   
58.     public static void main(String[] args) throws IOException {   
59.   
60.         testPost();   
61.   
62.     }   
63.   
64. }  

package com.test;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.net.URL;
import java.net.URLConnection;
public class TestPost {
public static void testPost() throws IOException {
/**
* 首先要和URL下的URLConnection对话。 URLConnection可以很容易的从URL得到。比如： // Using
*  java.net.URL and //java.net.URLConnection
*/
URL url = new URL("http://www.faircanton.com/message/check.asp");
URLConnection connection = url.openConnection();
/**
* 然后把连接设为输出模式。URLConnection通常作为输入来使用，比如下载一个Web页。
* 通过把URLConnection设为输出，你可以把数据向你个Web页传送。下面是如何做：
*/
connection.setDoOutput(true);
/**
* 最后，为了得到OutputStream，简单起见，把它约束在Writer并且放入POST信息中，例如： ...
*/
OutputStreamWriter out = new OutputStreamWriter(connection
.getOutputStream(), "8859_1");
out.write("username=kevin&password=*********"); //post的关键所在！
// remember to clean up
out.flush();
out.close();
/**
* 这样就可以发送一个看起来象这样的POST：
* POST /jobsearch/jobsearch.cgi HTTP 1.0 ACCEPT:
* text/plain Content-type: application/x-www-form-urlencoded
* Content-length: 99 username=bob password=someword
*/
// 一旦发送成功，用以下方法就可以得到服务器的回应：
String sCurrentLine;
String sTotalString;
sCurrentLine = "";
sTotalString = "";
InputStream l_urlStream;
l_urlStream = connection.getInputStream();
// 传说中的三层包装阿！
BufferedReader l_reader = new BufferedReader(new InputStreamReader(
l_urlStream));
while ((sCurrentLine = l_reader.readLine()) != null) {
sTotalString += sCurrentLine + "\r\n";
}
System.out.println(sTotalString);
}
public static void main(String[] args) throws IOException {
testPost();
}
}

执行的结果：（果真是返回了验证后的html阿！神奇！）

Html代码

1. <html>  
2. <head>  
3. <meta http-equiv="Content-Type" content="text/html; charset=gb2312" />  
4. <title>账户已经冻结</title>  
5. <style type="text/css">  
6. <!--   
7. .temp {   
8.     font-family: Arial, Helvetica, sans-serif;   
9.     font-size: 14px;   
10.     font-weight: bold;   
11.     color: #666666;   
12.     margin: 10px;   
13.     padding: 10px;   
14.     border: 1px solid #999999;   
15. }   
16. .STYLE1 {color: #FF0000}   
17. -->  
18. </style>  
19. </head>  
20.   
21. <body>  
22. <p> </p>  
23. <p> </p>  
24. <p> </p>  
25. <table width="700" border="0" align="center" cellpadding="0" cellspacing="0" class="temp">  
26.   <tr>  
27.     <td width="135" height="192"><div align="center"><img src="images/err.jpg" width="54" height="58"></div></td>  
28.     <td width="563"><p><span class="STYLE1">登录失败</span><br>  
29.         <br>  
30.     您的帐户活跃指数低于系统限制，您的帐户已经被暂时冻结。<br>  
31.     请您联系网络主管或者人事主管重新激活您的帐户。</p>  
32.     </td>  
33.   </tr>  
34. </table>  
35. <p> </p>  
36. </body>  
37. </html>  

<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312" />
<title>账户已经冻结</title>
<style type="text/css">
<!--
.temp {
font-family: Arial, Helvetica, sans-serif;
font-size: 14px;
font-weight: bold;
color: #666666;
margin: 10px;
padding: 10px;
border: 1px solid #999999;
}
.STYLE1 {color: #FF0000}
-->
</style>
</head>
<body>
<p> </p>
<p> </p>
<p> </p>
<table width="700" border="0" align="center" cellpadding="0" cellspacing="0" class="temp">
<tr>
<td width="135" height="192"><div align="center"><img src="images/err.jpg" width="54" height="58"></div></td>
<td width="563"><p><span class="STYLE1">登录失败</span><br>
<br>
您的帐户活跃指数低于系统限制，您的帐户已经被暂时冻结。<br>
请您联系网络主管或者人事主管重新激活您的帐户。</p>
</td>
</tr>
</table>
<p> </p>
</body>
</html>

一些Web站点用POST形式而不是GET，这是因为POST能够携带更多的数据，而且不用URL，这使得它看起来不那么庞大。使用上面列出的大致的代码，Java代码可以和这些站点轻松的实现对话。


得到html以后，分析内容就显得相对轻松了。现在就可以使用htmlparser了，下面是一个简单的示例程序，过多的解释我就不说了，相信代码能够说明一切的！

Java代码

1. package com.test;   
2.   
3. import org.htmlparser.Node;   
4. import org.htmlparser.NodeFilter;   
5. import org.htmlparser.Parser;   
6. import org.htmlparser.filters.TagNameFilter;   
7. import org.htmlparser.tags.TableTag;   
8. import org.htmlparser.util.NodeList;   
9.   
10. /**  
11. * 标题:利用htmlparser提取网页纯文本的例子  
12. */  
13. public class TestHTMLParser {   
14.   public static void testHtml() {   
15.     try {   
16.         String sCurrentLine;   
17.         String sTotalString;   
18.         sCurrentLine = "";   
19.         sTotalString = "";   
20.         java.io.InputStream l_urlStream;   
21.         java.net.URL l_url = new java.net.URL("http://www.ideagrace.com/html/doc/2006/07/04/00929.html");   
22.         java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();   
23.         l_connection.connect();   
24.         l_urlStream = l_connection.getInputStream();   
25.         java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));   
26.         while ((sCurrentLine = l_reader.readLine()) != null) {   
27.           sTotalString += sCurrentLine+"\r\n";   
28.         //  System.out.println(sTotalString);   
29.         }   
30.         String testText = extractText(sTotalString);   
31.         System.out.println( testText );   
32.   
33.     } catch (Exception e) {   
34.         e.printStackTrace();   
35.     }   
36.   
37.   }   
38.     
39.   public static String extractText(String inputHtml) throws Exception {   
40.     StringBuffer text = new StringBuffer();   
41.     Parser parser = Parser.createParser(new String(inputHtml.getBytes(),"GBK"), "GBK");   
42.     // 遍历所有的节点   
43.     NodeList nodes = parser.extractAllNodesThatMatch(new NodeFilter() {   
44.         public boolean accept(Node node) {   
45.           return true;   
46.         }   
47.     });   
48.   
49.     System.out.println(nodes.size()); //打印节点的数量   
50.     for (int i=0;i<nodes.size();i++){   
51.          Node nodet = nodes.elementAt(i);   
52.          //System.out.println(nodet.getText());    
53.         text.append(new String(nodet.toPlainTextString().getBytes("GBK"))+"\r\n");             
54.     }   
55.     return text.toString();   
56.   }   
57.     
58.   public static void test5(String resource) throws Exception {   
59.     Parser myParser = new Parser(resource);   
60.     myParser.setEncoding("GBK");   
61.     String filterStr = "table";   
62.     NodeFilter filter = new TagNameFilter(filterStr);   
63.     NodeList nodeList = myParser.extractAllNodesThatMatch(filter);   
64.     TableTag tabletag = (TableTag) nodeList.elementAt(11);   
65.         
66.   }   
67.   
68.   public static void main(String[] args) throws Exception {   
69.     // test5("http://www.ggdig.com");   
70.     testHtml();   
71.   }   
72. }