网络爬虫java源码
① 【教你写爬虫】用java爬虫爬取百度搜索结果！可爬10w+条！
【教你写爬虫】用Java爬取网络搜索结果的实战指南
在本文中，我们将学习如何利用Java编写爬虫，实现对网络搜索结果的抓取，最高可达10万条数据。首先，目标是获取搜索结果中的五个关键信息：标题、原文链接、链接来源、简介和发布时间。
实现这一目标的关键技术栈包括Puppeteer（网页自动化工具）、Jsoup（浏览器元素解析器）以及Mybatis-Plus（数据存储库）。在爬取过程中，我们首先分析网络搜索结果的网页结构，通过控制台查看，发现包含所需信息的元素位于class为"result c-container xpath-log new-pmd"的div标签中。
爬虫的核心步骤包括：1）初始化浏览器并打开网络搜索页面；2）模拟用户输入搜索关键词并点击搜索；3）使用代码解析页面，获取每个搜索结果的详细信息；4）重复此过程，处理多个关键词和额外的逻辑，如随机等待、数据保存等。通过这样的通用方法，我们实现了高效的数据抓取。
总结来说，爬虫的核心就是模仿人类操作，获取网络上的数据。Puppeteer通过模拟人工点击获取信息，而我们的目标是更有效地获取并处理数据。如果你对完整源码感兴趣，可以在公众号获取包含爬虫代码、数据库脚本和网页结构分析的案例资料。
② java爬虫读取某一张指定图片的url，求解答
package pers.jiaming.download.main;import java.io.*; //io包import java.util.regex.*; //正则包import java.net.*; //网络包/** 下载图片类* */public final class DownloadPictures implements Runnable{
private URL url = null; //URL private URLConnection urlConn = null; //url连接 private BufferedReader bufIn = null; //缓冲读取器，读取网页信息
private static final String IMG_REG = "<img.*src\\s*=\\s*(.*?)[^>]*?>"; //img标签正则 private static final String IMG_SRC_REG = "src\\s*=\\s*\"?(.*?)(\"|>|\\s+)"; //img src属性正则
private String downloadPath = null; //保存路径
//构造，参数：想要下载图片的网址、下载到的图片存放的文件路径 public DownloadPictures(String urlStr, String downloadPath)
{
createFolder(downloadPath); //创建文件夹
try {
url = new URL(urlStr);
urlConn = url.openConnection();
//设置请求属性，有部分网站不加这句话会抛出IOException: Server returned HTTP response code: 403 for URL异常 //如：b站 urlConn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
bufIn = new BufferedReader(new InputStreamReader(urlConn.getInputStream()));
}
catch (Exception e) {
e.printStackTrace();
}
this.downloadPath = downloadPath;
}
//检测路径是否存在，不存在则创建 private void createFolder(String path)
{
File myPath = new File(path);
if (!myPath.exists()) //不存在则创建文件夹 myPath.mkdirs();
}
//下载函数 public void Download()
{
final int N = 20; //每一次处理的文本行数，这个数越小越容易遗漏图片链接，越大效率越低 (理论上)
String line = "";
String text = "";
while (line != null) //网页内容被读完时结束循环 {
for(int i = 0; i < N; i++) //读取N行网页信息存入到text当中，因为src内容可能分为多行，所以使用这种方法 try {
line = bufIn.readLine(); //从网页信息中获取一行文本
if(line != null) //判断防止把null也累加到text中 text += line;
}
catch (IOException e) {
e.printStackTrace();
}
//将img标签正则封装对象再调用matcher方法获取一个Matcher对象 final Matcher imgM = Pattern.compile(IMG_REG).matcher(text);
if(!imgM.find()) //如果在当前text中没有找到img标签则结束本次循环 continue;
//将img src正则封装对象再调用matcher方法获取一个Matcher对象 //用于匹配的文本为找到的整个img标签 final Matcher imgSrcM = Pattern.compile(IMG_SRC_REG).matcher(imgM.group());
while (imgSrcM.find()) //从img标签中查找src内容 {
String imageLink = imgSrcM.group(1); //从正则中的第一个组中得到图片链接
print(imageLink); //打印一遍链接
//如果得到的src内容没有写协议，则添加上// if(!imageLink.matches("https://[\\s\\S]*")) //这里有问题// imageLink = "https://" + imageLink;
print(imageLink); //打印一遍链接
try
{
//缓冲输入流对象，用于读取图片链接的图片数据 //在链接的图片不存在时会抛出未找到文件异常 final BufferedInputStream in = new BufferedInputStream(new URL(imageLink).openStream());
//文件输出流对象用于将从url中读取到的图片数据写入到本地 //保存的路径为downloadPath，保存的图片名为时间戳+".png" final FileOutputStream file = new FileOutputStream(new File(downloadPath + System.currentTimeMillis() + ".png"));
int temp; //用于保存in从图片连接中获取到的数据 while ((temp = in.read()) != -1)
file.write(temp); //将数据写入到本地路径中
//关闭流 file.close();
in.close();
//下载完一张图片后休息一会 try {
Thread.sleep(800);
}
catch (InterruptedException e) {
e.printStackTrace();
}
}
catch (Exception e)
{
e.printStackTrace();
}
}
//将text中的文本清空 text = "";
}
}
//run @Override
public void run()
{
Download(); //下载函数 }
//打印语句 public void print(Object obj)
{
System.out.println(obj);
}}
③ 如何用JAVA写一个知乎爬虫
下面说明知乎爬虫的源码和涉及主要技术点：
（1）程序package组织
（2）模拟登录（爬虫主要技术点1）
要爬去需要登录的网站数据，模拟登录是必要可少的一步，而且往往是难点。知乎爬虫的模拟登录可以做一个很好的案例。要实现一个网站的模拟登录，需要两大步骤是：（1）对登录的请求过程进行分析，找到登录的关键请求和步骤，分析工具可以有IE自带(快捷键F12)、Fiddler、HttpWatcher；（2）编写代码模拟登录的过程。
（3）网页下载（爬虫主要技术点2）
模拟登录后，便可下载目标网页html了。知乎爬虫基于HttpClient写了一个网络连接线程池，并且封装了常用的get和post两种网页下载的方法。
（4）自动获取网页编码（爬虫主要技术点3）
自动获取网页编码是确保下载网页html不出现乱码的前提。知乎爬虫中提供方法可以解决绝大部分乱码下载网页乱码问题。
（5）网页解析和提取（爬虫主要技术点4）
使用Java写爬虫，常见的网页解析和提取方法有两种：利用开源Jar包Jsoup和正则。一般来说，Jsoup就可以解决问题，极少出现Jsoup不能解析和提取的情况。Jsoup强大功能，使得解析和提取异常简单。知乎爬虫采用的就是Jsoup。
（6）正则匹配与提取（爬虫主要技术点5）
虽然知乎爬虫采用Jsoup来进行网页解析，但是仍然封装了正则匹配与提取数据的方法，因为正则还可以做其他的事情，如在知乎爬虫中使用正则来进行url地址的过滤和判断。
（7）数据去重（爬虫主要技术点6）
对于爬虫，根据场景不同，可以有不同的去重方案。（1）少量数据，比如几万或者十几万条的情况，使用Map或Set便可；（2）中量数据，比如几百万或者上千万，使用BloomFilter（着名的布隆过滤器）可以解决；（3）大量数据，上亿或者几十亿，Redis可以解决。知乎爬虫给出了BloomFilter的实现，但是采用的Redis进行去重。
（8）设计模式等Java高级编程实践
除了以上爬虫主要的技术点之外，知乎爬虫的实现还涉及多种设计模式，主要有链模式、单例模式、组合模式等，同时还使用了Java反射。除了学习爬虫技术，这对学习设计模式和Java反射机制也是一个不错的案例。
4. 一些抓取结果展示