pythonrefresh
❶ python 爬虫 ip池怎么做
我们先来了解下Python中高层次的数据结构,动态类型和动态绑定,使得它非常适合于快速应用开发,也适合于作为胶水语言连接已有的软件部件。用Python搭建一个可用的代理IP池其实并不难的。下面我们来看看搭建一个可用的代理IP池的代码，可以分为以下的模块：
1、ProxyGetter，代理获取的相关代码，可以抓取网站上的免费代理，经测试每天更新的可用代理只有六七十个，当然也支持自己扩展代理接口。
2、Api，api接口相关代码，目前api是由Flask实现，代码也非常简单。客户端请求传给Flask，Flask调用ProxyManager中的实现，包括get/delete/refresh/get_all。
3、Util，存放一些公共的模块方法或函数，包含GetConfig:读取配置文件config.ini的类，ConfigParse:集成重写ConfigParser的类，使其对大小写敏感，Singleton:实现单例，LazyProperty:实现类属性惰性计算。
4、DB，数据库相关代码，目前数据库是采用SSDB。代码用工厂模式实现，方便日后扩展其他类型数据库。
5、Schele，定时任务相关代码，现在只是实现定时去刷新代码，并验证可用代理，采用多进程方式。
6、Manager，get/delete/refresh/get_all等接口的具体实现类，目前代理池只负责管理proxy，日后可能会有更多功能，比如代理和爬虫的绑定，代理和账号的绑定等等。
7、其他文件，配置文件:Config.ini,数据库配置和代理获取接口配置，可以在GetFreeProxy中添加新的代理获取方法，并在Config.ini中注册即可使用。大家平常搭建一个可用的代理IP池也是按照这些的方法吗？如果不是，也可以参考下的。如果想快捷方便有效可以使用http，IPIDEA全球http每日9000w的IP量包含全球240＋地区的ip，足以符合需求量大的标准。
❷ python 爬网页 遇到重定向怎么处理
1.服务器端重定向，在服务器端完成，一般来说爬虫可以自适应，是不需要特别处理的，如响应代码301（永久重定向）、302（暂时重定向）等。具体来说，可以通过requests请求得到的response对象中的url、status_code两个属性来判断。当status_code为301、302或其他代表重定向的代码时，表示原请求被重定向；当response对象的url属性与发送请求时的链接不一致时，也说明了原请求被重定向且已经自动处理。
2.meta refresh，即网页中的<meta>标签声明了网页重定向的链接，这种重定向由浏览器完成，需要编写代码进行处理。例如，某一重定向如下面的html代码第三行中的注释所示，浏览器能够自动跳转，但爬虫只能得到跳转前的页面，不能自动跳转。
<html>
<head>
<metahttp-equiv="refresh"content="0.1;url=http://www..com/"><!--本网页会在0.1秒内refresh为url所指的网页-->
</head>
</html>
解决办法是通过得到跳转前的页面源码，从中提取出重定向url信息（上述代码第三行中的url属性值）。一个具体的操作：①使用xpath('//meta[@http-equiv="refresh" and @content]/@content')提取出content的值 ②使用正则表达式提取出重定向的url值。
3.js重定向，通过javaScript代码形式进行重定向。如下面javascript代码
<scriptlanguage=javascript>window.location.href='http://www..com'</script>
对于这种方式的跳转，由于可以实现该功能的JavaScript语句有多种形式，不能再使用正则表达式提取url，只能考虑加载JavaScript代码来进行解决。
❸ python3.6.3 curses newwin 方法为何用不了
python 中curses封装了c语言的curses，把c中复杂部分简单化，比如addstr(),mvaddstr(),mvwaddstr()合并成了一个addstr()方法。
一、语法入门
1、打开和关闭一个curses 应用程序
在任何代码执行前都先要初始化curses。初始化操作就是调用initscr()函数，如下。该函数根据不同设备返回一个window对象代表整个屏幕，这个window对象通常叫做stdscr，和c语言报错一致。
import curses
stdscr = curses.initscr()
使用curses通常要关闭屏幕回显，目的是读取字符仅在适当的环境下输出。这就需要调用noecho()方法
curses.noecho()
应用程序一般是立即响应的，即不需要按回车就立即回应的，这种模式叫cbreak模式，相反的常用的模式是缓冲输入模式。开启立即cbreak模式代码如下。
curses.cbreak()
终端经常返回特殊键作为一个多字节的转义序列，比如光标键，或者导航键比如Page UP和Home键 。curses可以针对这些序列做一次处理，比如curses.KEY_LEFT返回一个特殊的值。要完成这些工作，必须开启键盘模式。
stdscr.keypad(1)
关闭curses非常简单，如下：
curses.nocbreak()#关闭字符终端功能（只有回车时才发生终端）stdscr.keypad(0)
curses.echo() #打开输入回显功能
调用endwin()恢复默认设置
curses.endwin()
调试curses时常见的问题就是curses应用程序结束后没有重置终端到之前的状态，把终端弄的一团糟。python中该问题经常是因为代码有bug，发送异常引起的。比如键盘敲入字符后屏幕不回显，这让shell用起来非常困难。
为了避免这样的问题，可以导入curses.wrapper模块。这个函数做了一些初始化的工作，包括上面提到的和颜色的初始化。然后再执行你提供的函数，最后重置。而且被调用的函数写在try-catch中。
2、打开新窗口和pad
通常调用initscr()获取一个window对象代表全部屏幕。但是很多程序希望划分屏幕为几个小的窗口，为了重绘，擦出这些工作在小窗口中独立进行。newwin()函数就是用来新建一个新的窗口，需要给定窗口尺寸，并返回新的window对象的。
begin_x = 20; begin_y = 7height = 5; width = 40win = curses.newwin(height, width, begin_y, begin_x)
注意：坐标通过是先y后x。这和别的坐标系统不同，但是根深蒂固，写的时候就这样现在改太晚喽。
当调用一个方法去显示或者擦除文本时，效果不会立即显示。 为了减少屏幕重绘的时间，curses就先累积这些操作，用一种更有效的方式去显示。就比如说你的程序先在窗口显示了几个字符，然后就清除屏幕，那就没必要发送初始字符了，因为它们不会被显示。
因此，curses需要你使用refresh()函数明确指出重绘窗口。
pad
pad是window的特例。pad可以比显示的屏幕大，一次只显示pad的一部分。创建一个pad很简单，只需要提供宽高即可。但是刷新pad需要提供屏幕上显示的部分pad的坐标。
getstr()获取一个字符串。因为功能有限不常用。
curses.echo() # Enable echoing of characters# Get a 15-character string, with the cursor on the top lines = stdscr.getstr(0,0, 15)