python分页爬取

1. 如何入门 python 爬虫

入门的话，我的经历：
1.先用python写一个爬取网页源代码的爬虫（最散冲先是爬取个人博客，会遇到乱码问题当时困扰了很久）

2.后来写了爬取网络图片的程序，自动下载小说（我爱看小说-_-）（接触正则表达式）
3.然后网络图片他那种分页模式，一般一页只有20张左右的图片，分析源代码，完善爬取程拍中序，不受到限制，一次可以下几千张（图片有的是原图，有的是缩略图）
4.后来发现程序卡顿，就添加了多冲贺歼线程。
5.然后模拟登陆一些不用验证码的网页（我学校的oj），cookie登陆B站（本来想写一个抢楼的脚本的，后来发现抢楼的被封号了-_-，就放弃了）

对于使用的库，python2 与 python3 有点不同，我学的是python3
先用的是urllib.request，后来用requests（第三方库），在后来接触Scrapy(也是第三方库)
现在因为事情多了，就把python放下了，准备寒假写一些脚本，毕竟python不会有期末考试...

我的个人经历，希望可以帮到你。

2. Python爬虫笔记（二）requests模块get，post，代理

  import requests

  base_url = 'https://www..com'

  response = requests.get(base_url)

        url=请求url，

        headers =请求头字典，

        params = 请求参数字典。

        timeout = 超时时长，

    )---->response对象

  服务器响应包含：状态行（协议，状态码）、响应头，空行，响应正文

    字符串格式：response.text

    bytes类型：response.content

        response.headers['cookie']

    response.text获取到的字符串类型的响应正文，

    其实是通过下面的步骤获取的：

        response.text = response.content.decode(response.encoding)

    产生的原因：编码和解码的编码格式不一致造成的。

        str.encode('编码')---将字符串按指定编码解码成bytes类型

        bytes.decode('编码')---将bytes类型按指定编码编码成字符串。

    a、response.content.decode('页面正确的编码格式')

        <meta http-equiv="content-type" content="text/html;charset=utf-8">

    b、找到正确的编码，设置到response.encoding中

        response.encoding = 正确的编码

        response.text--->正确的页面内容。

  a、没有请求参数的情况下，只需要确定url和headers字典。

  b、get请求是有请求参数。

    在chrome浏览器中，下面找query_string_params,

    将里面的参数封装到params字典中。

  c、分页主要是查看每页中，请求参数页码字段的变化，

  找到变化规律，用for循环就可以做到分页。

  requests.post(

    url=请求url，

    headers = 请求头字典，

    data=请求数据字典

    timeout=超时时长

  )---response对象

  post请求一般返回数据都是json数据。

（1）response.json()--->json字符串所对应的python的list或者dict

（2）用 json 模块。

    json.loads(json_str)---->json_data(python的list或者dict)

    json.mps(json_data)--->json_str

  post请求能否成功，关键看**请求参数**。

  如何查找是哪个请求参数在影响数据获取？

  --->通过对比，找到变化的参数。

  变化参数如何找到参数的生成方式，就是解决这个ajax请求数据获取的途径。

**寻找的办法**有以下几种：

    （1）写死在页面。

    （2）写在js中。

    （3）请求参数是在之前的一条ajax请求的数据里面提前获取好的。

  代理形象的说，他是网络信息中转站。

  实际上就是在本机和服务器之间架了一座桥。

  a、突破自身ip访问现实，可以访问一些平时访问不到网站。

  b、访问一些单位或者团体的资源。

  c、提高访问速度。代理的服务器主要作用就是中转，

  所以一般代理服务里面都是用内存来进行数据存储的。

  d、隐藏ip。

    ftp代理服务器---21,2121

    HTTP代理服务器---80,8080

    SSL/TLS代理：主要用访问加密网站。端口：443

    telnet代理 ：主要用telnet远程控制，端口一般为23

    高度匿名代理：数据包会原封不动转化，在服务段看来，就好像一个普通用户在访问，做到完全隐藏ip。

    普通匿名代理：数据包会做一些改动，服务器有可能找到原ip。

    透明代理：不但改动数据，还会告诉服务，是谁访问的。

    间谍代理：指组织或者个人用于记录用户传输数据，然后进行研究，监控等目的的代理。   

  proxies = {

    '代理服务器的类型':'代理ip'

  }

  response = requests.get(proxies = proxies)

  代理服务器的类型:http,https,ftp

  代理ip:http://ip:port

3. 如何用python3爬虫处理分页问题 具体如图

使用requests模块的post方法，采集数据。给你个例子吧，哎，10分少了点。

#-*-coding:utf-8-*-

importrequests

datas={'year_id':2017,'quarter_id':1,'CsrfCheckCode':'g9zcdo'}

re_url=requests.post('http://www.aeps-info.com/aeps/ch/reader/issue_list.aspx',data=datas)
print(re_url.text)

4. 怎样用python爬新浪微博大V所有数据

先上结论，通过公开的api如果想爬到某大v的所有数据，需要满足以下两个条件：

1、在你的爬虫开始运行时，该大v的所有微博发布量没有超过回溯查询的上限，新浪是2000，twitter是3200。
2、爬虫程序必须不间断运行。

新浪微博的api基本完全照搬twitter，其中接口的参数特性与底层的Nosql密不可分，建议先看点Nosql数据库的设计理念有助于更好的理解api设计。

一般来说，如果决定爬某个大v，第一步先试获取该用户的基本信息，中间会包含一条最新的status，记下其中的id号作为基准，命名为baseId。

接口中最重要的两个参数：

since_id：返回ID比since_id大的微博（即比since_id时间晚的微博），默认为0。
max_id：返回ID小于或等于max_id的微博，默认为0。

出于各种原因，获取statuses的接口，固定为按id降序排列（scan_index_forward=false），即最新的statuses返回在前。假设该微博第一天上线，就一个用户，发了一百条，id是1到100。而你在该用户发了第50条的时候开始运行的爬虫，即baseId=50。

5. Python爬虫，javascript:__doPostBack()实现翻页，怎样爬取各页的内容

可以检查下network，但能否通过接口爬，通过接口参数控制分页，方便的话可以把要爬取的网站说下，我在帮你分析具体办法

6. 请问如何在同一个页面查询和获得分页查询结果,我使用的是python+Flask+mysql

--这是谈则者把表zxerp_customer_bis 的所有行的dhxje都加上100
update zxerp_customer_bis set dhxje = dhxje + 100
--这是符合条件含薯的盯迹才加
update zxerp_customer_bis set dhxje = dhxje + 100
where bis_short_more=1000001

7. pyspider怎样爬取分页数据

这种情况我自己还没有试过，只是借助爬虫框架pyspider结合PhantomJS，这样就可以在python里面嵌入一些js代码，实现悉冲点睁液歼击，下拉等操作啦。埋告

8. python怎么处理mongodb分页

python怎么处理mongodb分页
很多情况下，你需要在一个会话中运行多个命令，执行多个任务。我们可以在一个会话的多个窗口里组织他们。在现代的GUI终端(比如 iTerm或者Konsole)，一个窗口被视为一个标签。在会话中配置了我们默认的环境之后，我们就能够在一个会话中创建许多我们需要的窗口。窗口就像运行在会话中的应用程序，当我们脱离当前会话的时候，它仍在持续，让我们来看一个例子：
$ tmux new-s my_session
按下CTRL-b c
这将会创建一个新的窗口，然后屏幕的光标移向它。现在你就可以在新窗口下运行你的新应用。你可以修改你当前窗口的名字。在目前的例子里，我运行的top程序，所以top就是该窗口的名字

9. Python网页解析库：用requests-html爬取网页

Python 中可以进行网页解析的库有很多，常见的有 BeautifulSoup 和 lxml 等。在网上玩爬虫的文章通常都是介绍 BeautifulSoup 这个库，我平常也是常用这个库，最近用 Xpath 用得比较多，使用 BeautifulSoup 就不大习惯，很久之前就知道 Reitz 大神出了一个叫 Requests-HTML 的库，一直没有兴趣看，这回可算歹着机会用一下了。

使用 pip install requests-html 安装，上手和 Reitz 的其他库一样，轻松简单：

这个库是在 requests 库上实现的，r 得到的结果是 Response 对象下面的一个子类，多个一个 html 的属性。所以 requests 库的响应对象可以进行什么操作，这个 r 也都可以。如果需要解析网页，直接获取响应对象的 html 属性：

不得不膜拜 Reitz 大神太会组装技术了。实际上 HTMLSession 是继承自 requests.Session 这个核心类，然后将 requests.Session 类里的 requests 方法改写，返回自己的一个 HTMLResponse 对象，这个类又是继承自 requests.Response,只是多加了一个 _from_response 的方法来构造实例：

之后在 HTMLResponse 里定义属性方法 html，就可以通过 html 属性访问了,实现也就是组装 PyQuery 来干。核心的解析类也大多是使用 PyQuery 和 lxml 来做解析，简化了名称，挺讨巧的。

元素定位可以选择两种方式：

方法名非常简单，符合 Python 优雅的风格，这里不妨对这两种方式简单的说明：

定位到元素以后势必要获取元素里面的内容和属性相关数据，获取文本：

获取元素的属性：

还可以通过模式来匹配对应的内容：

这个功能看起来比较鸡肋，可以深入研究优化一下，说不定能在 github 上混个提交。

除了一些基础操作，这个库还提供了一些人性化的操作。比如一键获取网页的所有超链接，这对于整站爬虫应该是个福音，URL 管理比较方便：

内容页面通常都是分页的，一次抓取不了太多，这个库可以获取分页信息：

结果如下：

通过迭代器实现了智能发现分页，这个迭代器里面会用一个叫 _next 的方法，贴一段源码感受下：

通过查找 a 标签里面是否含有指定的文本来判断是不是有下一页，通常我们的下一页都会通过 下一页 或者 加载更多 来引导，他就是利用这个标志来进行判断。默认的以列表形式存在全局： ['next','more','older'] 。我个人认为这种方式非常不灵活，几乎没有扩展性。 感兴趣的可以往 github 上提交代码优化。

也许是考虑到了现在 js 的一些异步加载，这个库支持 js 运行时，官方说明如下：

使用非常简单，直接调用以下方法：

第一次使用的时候会下载 Chromium，不过国内你懂的，自己想办法去下吧，就不要等它自己下载了。render 函数可以使用 js 脚本来操作页面，滚动操作单独做了参数。这对于上拉加载等新式页面是非常友好的。

10. 如何使用Python语言获取最大页数

先读取文件，再用 BeatifulSoap 解析html文件，找到对应的Element