python爬虫假死

㈠ 为什么都说爬虫PYTHON好

选择Python作为实现爬虫的语言，其主要考虑因素在于：
(1) 抓取网页本身的接口
相比其他动态脚本语言(如Perl、Shell)，Python的urllib2包提供了较为完整的访问网页文档的API;相比与其他静态编程语言(如Java、C#、C++)，Python抓取网页文档的接口更简洁。
此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这时我们需要模拟User Agent的行为构造合适的请求，譬如模拟用户登录、模拟Session/Cookie的存储和设置。在Python里都有非常优秀的第三方包帮你搞定，如Requests或Mechanize。
(2) 网页抓取后的处理
抓取的网页通常需要处理，比如过滤Html标签，提取文本等。Python的Beautiful Soup提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
其实以上功能很多语言和工具都能做，但是用Python能够干得最快、最干净，正如这句“Life is short，you need Python”。
(3) 开发效率高
因为爬虫的具体代码根据网站不同而修改的，而Python这种灵活的脚本语言特别适合这种任务。
(4) 上手快
网络上Python的教学资源很多，便于大家学习，出现问题也很容易找到相关资料。另外，Python还有强大的成熟爬虫框架的支持，比如Scrapy。