Jsoup拥有十分方便的api来处理html文档，比如参考了DOM工具的文档遍历方法，参考了CSS选择器的用法等等，因此我们可以利用Jsoup快速地节制爬取页面数据的技巧。
2.快速开始1）编写HTML页面
<html>
<head>
<meta http-equiv=\"大众Content-Type\"大众 content=\"大众text/html; charset=utf-8\"大众>
<title>Insert title here</title>
</head>
<body>
<table>
<thead>
<tr>
<td>商品名字</td>
<td>商品图片</td>
</tr>
</thead>
<tbody>
<tr>
<td class=\"大众pname\"大众>product1</td>
<td class=\"大众pimg\公众><img src=\"大众img/1.bmp\"大众/></td>
</tr>
<tr>
<td class=\"大众pname\公众>product2</td>
<td class=\"大众pimg\"大众><img src=\"大众img/2.bmp\公众/></td>
</tr>
</tbody>
</table>
</body>
</html>
页面中表格的商品信息是我们要爬取的数据。个中属性pname类的商品名称，以及属于pimg类的商品图片。
2）利用HttpClient读取HTML页面
HttpClient是一个处理Http协议数据的工具，利用它可以将HTML页面作为输入流读进java程序中。可以从http://hc.apache.org/下载HttpClient的jar包。
//得到HttpClient工具
HttpClient httpClient = new DefaultHttpClient();
//定义要爬取数据的目标页面url
String url = \"大众http://localhost:8080/MyShop/shop.jsp\"大众;
//利用HttpGet工具绑定url
HttpGet httpGet = new HttpGet(url);
//访问url得到相应封装在HttpResponse工具中
HttpResponse httpResponse = httpClient.execute(httpGet);
//entity中是相应的实体
HttpEntity entity = httpResponse.getEntity();
//利用EntityUtils的toString得到url指定页面的字符串内容，即html本身
String html = EntityUtils.toString(entity);
System.out.println(html);
3）利用Jsoup解析html字符串
通过引入Jsoup工具，直接调用parse方法来解析一个描述html页面内容的字符串来得到一个Document工具。该Document工具以操作DOM树的办法来得到html页面上指定的内容。干系API可以参考Jsoup官方文档：https://jsoup.org/cookbook/
下面我们利用Jsoup来获取上述html中指定的商品名称和价格的信息。
//JSOUP解析页面数据，得到Document工具
Document doc = Jsoup.parse(html);
//在Document工具的select方法中利用选择器来得到指定的元素，该选择器与CSS及Jquery的选择器相同。
Elements eles = doc.select(\公众table tbody tr .pname\"大众);
Element ele = eles.get(0);
//得到指定元素的文本内容
System.out.println(ele.text());
Elements ele_imgs = doc.select(\公众table tbody img\"大众);
//得到指定元素的src属性的值
String img_src = ele_imgs.get(0).attr(\"大众src\"大众);
System.out.println(img_src);
至此，我们已经实现利用HttpClient+Jsoup爬取HTML页面数据的功能。接下来，我们让效果更直不雅观一些，比如将爬取的数据存到数据库中，将图片存到做事器上。
3.保存爬取的页面数据1）保存普通数据到数据库中
将爬取的数据封装进实体Bean中，并存到数据库内。
//将数据封装到Javabean中
Product p = new Product();
p.setPid(UUID.randomUUID().toString());
p.setPname(ele.text());
p.setPimg(img_src);
//将存入数据库中
ProductDao dao = new ProductDao();
try {
dao.addProduct(p);
} catch (SQLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
//dao的操作
public void addProduct(Product p) throws SQLException {
QueryRunner qr = new QueryRunner(JDBCUtil.getDataSource());
String sql = \"大众insert into product values(?,?,?)\"大众;
qr.update(sql,p.getPid(),p.getPname(),p.getPimg());
}
2）保存图片到做事器上
直接通过下载图片的办法将图片保存到做事器本地。
private void downloadImg(HttpServletRequest request,Product p) throws ClientProtocolException, IOException {
//得到图片的原url
String url = \公众http://localhost:8080\公众+p.getPimg();
//利用HttpClient得到图片资源
HttpClient httpClient = new DefaultHttpClient();
HttpGet httpGet = new HttpGet(url);
HttpResponse httpResponse = httpClient.execute(httpGet);
//得到要求的图片资源的输入流
InputStream is = httpResponse.getEntity().getContent();
//在做事器本地创建文件，用于吸收图片
String img_name = p.getPimg().substring(p.getPimg().lastIndexOf(\公众/\"大众)+1);
String realPath = request.getRealPath(\公众/Download/\"大众+img_name);
File dir = new File(request.getRealPath(\"大众/Download\公众));
if(!dir.exists()){
//如果文件夹不存在，则创建
dir.mkdirs();
}
//读写数据，保存图片
File file = new File(realPath);
FileOutputStream fos = new FileOutputStream(file);
int b = 0;
while((b = is.read())!=-1){
fos.write(b);
}
fos.close();
}
4.总结本案大略实现了利用HttpClient+Jsoup爬取网络数据，对付爬虫技能本身，还有很多值得深挖的地方，往后再为大家讲解。
