pythonurl采集
1. python 获取url中参数 例 localhost:8080/loginuserid=1 我想获取到[userid,1]
这个要看你用什么框架来做了，要是用的django就是request.GET.get('userid')，这样返回1或None
2. 请教python 采 集 requests post请求一个第三方接口中文乱码的问题
你需要写这行代码，有可能是你编码格式设置错了；
在请求的下面加这行代码
rsp = requests.get(url,headers = headers)
rsp.encoding = rsp.apparent_encoding
它会自动匹配文档中的编码格式，如果还不行你再追问。
3. 如何用Python写一个抓取url不变网页的爬虫
兄弟，你有去试着写过一个爬虫吗？那我来教你好了。
我点开了你给我的网址，点了你所说的《进口分贸易商明细》，看他的url并没有改变是嘛？ 0 0 我k 为什么，这么诡异，那我们用chrome 按下F12看看他到底搞了什么鬼 ，如下图：
奥，原来他这是一个内嵌页面。我们把这条url在另一个tab里面打开看看。
诶，貌似跟普通网页没什么区别了嘛？看看源代码，这些数据是不是js写进去的，貌似也不是啊，都是扎扎实实的数据在整个html里面。
那题主这些数据的采集你总会了吧。
不不不，那个翻页 url不是还没改变嘛？？？？
那你再按下F12 看看我翻页又请求了什么？？
搜嘎，原来如此，那以后只用对这个action 去post 这个data就可以实现翻页了嘛，很简单嘛。
那你怎么做就看你的咯~
4. Python提取网页链接和标题
提取所有链接应该用循环：
urls = driver.find_elements_by_xpath("//a")
for url in urls:
print(url.get_attribute("href"))如果get_attribute方法报错应该是没有找到a标签对象，如果确定是有的话，可能是页面加载比较慢还没加载出来，selenium默认是不会等待对象出现的，需要在找对象前加一些等待时间；另外如果页面上有iframe的话需要先切换进去才能找到里面的对象。
5. 如何评价利用python制作数据采集,计算,可视化界面呢
先来设置两个url地址，第一个用于第一次访问，这样可以获得网站服务器发来的cookie，第二个网址是用于登陆的地址
引入两个模块，cookielib和urllib2
接着，我们安装一个cookie处理器，代码如下，这个代码很多人不太能读懂，其实你会用就可以了，他们就是这个固定的形式，顶多改改变量的名字。你复制下来以后自己用就可以了，用多了，你再去看代码的意义，你就都懂了。
然后我们先访问一下网站，获得一个cookie，你不用管这个cookie该怎么弄，前面设置的cookie处理器会自动处理。
接着，我们写一下postdata，也就是你要post的数据，因为我们打算登陆网站，所以postdata里肯定有用户名和密码，那么怎么知道该怎么写postdata呢？看你抓包得到的post数据。下面第一幅图是httpwatch抓包截图，点击postdata，看到post的数据，然后我们看第二幅图，就是python的写法。你自己感受一下。
写完postdata以后，我们 要将postdata转码一下，让服务器可以解读postdata数据
接着设置headers信息，headers也是抓包得到的。同样的方式，你去写header内的信息
然后我们通过request方法来登陆网站，并返回数据，返回的数据存储在request中
通过rulopen方法和read方法来读取数据，并打印出来。
我们看到输出的结果，这说明我们虽然正确的模拟了登陆网站需要的post信息，但是没有考虑到登陆网站是需要验证码的，后期我们会看到如何处理验证码，如果你拿这个教程去处理没有验证码的登陆问题，那么你现在已经成功了。
6. 如何用最简单的Python爬虫采集整个网站
采集网站数据并不难，但是需要爬虫有足够的深度。我们创建一个爬虫，递归地遍历每个网站，只收集那些网站页面上的数据。一般的比较费时间的网站采集方法从顶级页面开始（一般是网站主页），然后搜索页面上的所有链接，形成列表，再去采集到的这些链接页面，继续采集每个页面的链接形成新的列表，重复执行。
7. python怎么抓取豆瓣电影url
#!/usr/bin/env python2.7# encoding=utf-8"""
爬取豆瓣电影TOP250 - 完整示例代码
"""import codecsimport requestsfrom bs4 import BeautifulSoup
DOWNLOAD_URL = 'httn.com/top250/'def download_page(url):
return requests.get(url, headers={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'
}).contentdef parse_html(html):
soup = BeautifulSoup(html)
movie_list_soup = soup.find('ol', attrs={'class': 'grid_view'})
movie_name_list = [] for movie_li in movie_list_soup.find_all('li'):
detail = movie_li.find('div', attrs={'class': 'hd'})
movie_name = detail.find('span', attrs={'class': 'title'}).getText()
movie_name_list.append(movie_name)
next_page = soup.find('span', attrs={'class': 'next'}).find('a') if next_page: return movie_name_list, DOWNLOAD_URL + next_page['href'] return movie_name_list, Nonedef main():
url = DOWNLOAD_URL with codecs.open('movies', 'wb', encoding='utf-8') as fp: while url:
html = download_page(url)
movies, url = parse_html(html)
fp.write(u'{movies}\n'.format(movies='\n'.join(movies)))if __name__ == '__main__':
main()0414243444546474849505152
简单说明下，在目录下会生成一个文档存放电影名。python2
8. python scrapy 利用selenium模拟登录每个采集一个url都要打开浏览器，速度很慢，如何解决
零. 在用scrapy爬取数据中,有写是通过js返回的数据,如果我们每个都要获取,那就会相当麻烦,而且查看源码也看不到数据的,所以能不能像浏览器一样去操作他呢?
所以有了->
Selenium 测试直接在浏览器中运行，就像真实用户所做的一样。Selenium 测试可以在 Windows、Linux 和 Macintosh上的 Internet Explorer、Chrome和 Firefox 中运行。其他测试工具都不能覆盖如此多的平台。使用 Selenium 和在浏览器中运行测试还有很多其他好处。
9. python 爬虫能否采集没有权限的页面内容
你这种情况，是因为浏览的是动态页面，源码是动态生成的，需要找到那个隐藏的url才能抓取。采用这种方式的网站很多，是为了快速显示相应的内容。解决方法要么找到可以显示内容的隐藏url，要么采用python的插件，将全部的内容显示出来后，读取源码，再抓取。
10. Python爬虫是什么
爬虫一般指网络资源的抓取，通过编程语言撰写爬虫工具，抓取自己想要的数据以及内容。而在众多编程语言之中，Python有丰富的网络抓取模块，因此成为撰写爬虫的首选语言，并引起了学习热潮。
Python作为一门编程语言而纯粹的自由软件，以简洁清晰的语法和强制使用空白符号进行语句缩进的特点受到程序员的喜爱。用不同编程语言完成一个任务，C语言一共要写1000行代码，Java要写100行代码，而Python只需要20行，用Python来完成编程任务代码量更少，代码简洁简短而且可读性强。
Python非常适合开发网络爬虫，因为对比其他静态编程语言，Python抓取网页文档的接口更简洁;对比其他脚本语言，Python的urllib2包提供了较为完整的访问网页文档的API。
Python爬虫的工作流程是什么?
Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，通过调度器传送给解释器，解析URL内容，将有价值数据和新的URL列表通过调度器传递给应用程序，输出价值信息的过程。
Python是一门非常适合开发网络爬虫的语言，提供了urllib、re、json、pyquery等模块，同时还有很多成型框架，比如说Scrapy框架、PySpider爬虫系统等，代码十分简洁方便，是新手学习网络爬虫的首选语言。