编程题爬虫

‘壹’ listindexoutofrange爬虫时遇到怎么解决这个问题

爬虫过程中，数据抓取与处理是关键步骤。常见问题“list out of range”意味着列表越界，通常出现在数据处理阶段。

问题根源可能在于原始数据。检查方式简单，打印响应信息即可。解决之道，如果是操作问题，调整User-Agent、随机代理IP可助一臂之力。但面对js混淆或加密导致数据无法正常抓取，就需具备JavaScript语法、加密算法（如base64、md5、aes）的基础知识，了解Web协议和服务器/客户端架构。

数据处理环节，正则匹配常见失误。确保数据已抓取，再检查正则表达式语法。若使用lxml库涉及xpath语法，同样需确保抓取数据后反复检查语法，积累经验。记录常用难处理字符串及解决方法，有助于提升效率。

面对报错，冷静检查，逐步排查。编程挑战不在于掌握语法，而在于面对问题时的耐心与方法。常见问题如“奥透润肌”、“坎特烦的艾利门特”等，网络搜索往往难以找到确切解决方案，这要求自我学习与实践。爬虫初期尝试虽好，但若期望长远发展，需不断学习与精进。

‘贰’ 如何用JAVA写一个知乎爬虫

下面说明知乎爬虫的源码和涉及主要技术点：
（1）程序package组织

（2）模拟登录（爬虫主要技术点1）
要爬去需要登录的网站数据，模拟登录是必要可少的一步，而且往往是难点。知乎爬虫的模拟登录可以做一个很好的案例。要实现一个网站的模拟登录，需要两大步骤是：（1）对登录的请求过程进行分析，找到登录的关键请求和步骤，分析工具可以有IE自带(快捷键F12)、Fiddler、HttpWatcher；（2）编写代码模拟登录的过程。

（3）网页下载（爬虫主要技术点2）
模拟登录后，便可下载目标网页html了。知乎爬虫基于HttpClient写了一个网络连接线程池，并且封装了常用的get和post两种网页下载的方法。

（4）自动获取网页编码（爬虫主要技术点3）
自动获取网页编码是确保下载网页html不出现乱码的前提。知乎爬虫中提供方法可以解决绝大部分乱码下载网页乱码问题。

（5）网页解析和提取（爬虫主要技术点4）
使用Java写爬虫，常见的网页解析和提取方法有两种：利用开源Jar包Jsoup和正则。一般来说，Jsoup就可以解决问题，极少出现Jsoup不能解析和提取的情况。Jsoup强大功能，使得解析和提取异常简单。知乎爬虫采用的就是Jsoup。

（6）正则匹配与提取（爬虫主要技术点5）
虽然知乎爬虫采用Jsoup来进行网页解析，但是仍然封装了正则匹配与提取数据的方法，因为正则还可以做其他的事情，如在知乎爬虫中使用正则来进行url地址的过滤和判断。

（7）数据去重（爬虫主要技术点6）
对于爬虫，根据场景不同，可以有不同的去重方案。（1）少量数据，比如几万或者十几万条的情况，使用Map或Set便可；（2）中量数据，比如几百万或者上千万，使用BloomFilter（着名的布隆过滤器）可以解决；（3）大量数据，上亿或者几十亿，Redis可以解决。知乎爬虫给出了BloomFilter的实现，但是采用的Redis进行去重。

（8）设计模式等Java高级编程实践
除了以上爬虫主要的技术点之外，知乎爬虫的实现还涉及多种设计模式，主要有链模式、单例模式、组合模式等，同时还使用了Java反射。除了学习爬虫技术，这对学习设计模式和Java反射机制也是一个不错的案例。
4. 一些抓取结果展示

‘叁’ php实现网络爬虫

只要包含网络和字符串处理功能的编程语言理论上都可以写爬虫，所以PHP当然完全没问题。如何用PHP写爬虫的前提是你要先调研清楚爬什么内容。这需要你针对要爬取目标做好充分的测试和准备工作，否则会浪费很多时间。

比如一个简单的“传统型”网站，那真的只需要用file_get_contents函数加正则就能搞定。觉的正则匹配数据太麻烦可以上xpath。如果站点有了频率和IP限制，这时就要额外准备好代理IP池了。当发现抓取内容是JS渲染的，可能要考虑引入headlessbrowser这种技术的PHP扩展了。对爬取效率有了要求后，多线程，抓取和解析分离，分布式也是要考虑的了。。。

回到问题本身如何写的问题，我个人觉得爬虫是个定制化比较高的业务需求，需要根据具体的场景来规划。如果是要写一个能解决所有爬虫场景的，那就不用自己写了，成熟的开源软件拿来直接用就行了。非要写的话可以直接参考这些成熟的软件，自己可以少踩很多坑。

‘肆’ 如何入门 python 爬虫

个人觉得：
新手学习python爬取网页先用下面4个库就够了：（第4个是实在搞不定用的，当然某些特殊情况它也可能搞不定）

1. 打开网页，下载文件：urllib
2. 解析网页：BeautifulSoup，熟悉JQuery的可以用Pyquery
3. 使用Requests来提交各种类型的请求，支持重定向，cookies等。
4. 使用Selenium，模拟浏览器提交类似用户的操作，处理js动态产生的网页

这几个库有它们各自的功能。配合起来就可以完成爬取各种网页并分析的功能。具体的用法可以查他们的官网手册(上面有链接)。

做事情是要有驱动的，如果你没什么特别想抓取的，新手学习可以从这个闯关网站开始
，目前更新到第五关，闯过前四关，你应该就掌握了这些库的基本操作。

实在闯不过去，再到这里看题解吧，第四关会用到并行编程。（串行编程完成第四关会很费时间哦），第四，五关只出了题，还没发布题解。。。

学完这些基础，再去学习scrapy这个强大的爬虫框架会更顺些。这里有它的中文介绍。

这是我在知乎的回答，直接转过来有些链接没有生效，可以到这里看原版，http://www.hu.com/question/20899988/answer/59131676