pythonurlib
可以的。
urlib.geturl()函数就可以返回打开的真实地址。
㈡ 如何给mac 上2.7.10的python添加requests模块
直接找到requests的源码， 展开后， 执行python setup.py install就可以安装上requests。
requests需要一个依赖的包， 所以安装时， 要保证计算机是可以联网的。 requests据说是给人用的http工具包。 不过，老实说， 用了这么久， 真没有感觉它有什么方便之处。 很麻烦。 不如urlib或者是urllib2更简单。 不过requests已经支持https了。
如果学习爬行建议你使用scrapy。 这个安装比较困难， 不过功能强大。
㈢ 为什么说Python是大数据全栈式开发语言
就像只要会JavaScript就可以写出完整的Web应用，只要会Python，就可以实现一个完整的大数据处理平台。x0dx0ax0dx0a云基础设施x0dx0ax0dx0a这年头，不支持云平台，不支持海量数据，不支持动态伸缩，根本不敢说自己是做大数据的，顶多也就敢跟人说是做商业智能（BI）。x0dx0ax0dx0a云平台分为私有云和公有云。私有云平台如日中天的 OpenStackx0dx0a x0dx0a，就是Python写的。曾经的追赶者CloudStack，在刚推出时大肆强调自己是Java写的，比Python有优势。结果，搬石砸脚，2015年x0dx0a初，CloudStack的发起人Citrix宣布加入OpenStack基金会，CloudStack眼看着就要寿终正寝。x0dx0ax0dx0a如果嫌麻烦不想自己搭建私有云，用公有云，不论是AWS，GCE，Azure，还是阿里云，青云，在都提供了Python SDK，其中GCE只提供Python和JavaScript的SDK，而青云只提供Python SDK。可见各家云平台对Python的重视。x0dx0ax0dx0a提到基础设施搭建，不得不提Hadoop，在今天，Hadoop因为其MapRece数据处理速度不够快，已经不再作为大数据处理的首选，但x0dx0a是HDFS和Yarn——Hadoop的两个组件——倒是越来越受欢迎。Hadoop的开发语言是Java，没有官方提供Python支持，不过有很多第x0dx0a三方库封装了Hadoop的API接口（pydoop，hadoopy等等）。x0dx0ax0dx0aHadoop MapRece的替代者，是号称快上100倍的 Spark ，其开发语言是Scala，但是提供了Scala，Java，Python的开发接口，想要讨好那么多用Python开发的数据科学家，不支持Python，真是说不过去。HDFS的替代品，比如GlusterFS， Ceph 等，都是直接提供Python支持。Yarn的替代者， Mesos 是C++实现，除C++外，提供了Java和Python的支持包。有个中文名字，叫做 开发自运维 。互联网时代，只有能够快速试验新想法，并在第一时间，安全、可靠的交付业务价值，才能保持竞争力。DevOps推崇的自动化构建/测试/部署，以及系统度量等技术实践，是互联网时代必不可少的。x0dx0ax0dx0a自动化构建是因应用而易的，如果是Python应用，因为有setuptools, pip, virtualenv, tox, x0dx0aflake8等工具的存在，自动化构建非常简单。而且，因为几乎所有Linux系统都内置Python解释器，所以用Python做自动化，不需要系统预x0dx0a安装什么软件。x0dx0ax0dx0a自动化测试方面，基于Python的 Robot Framework 企业级应用最喜欢的自动化测试框架，而且和语言无关。Cucumber也有很多支持者，Python对应的Lettuce可以做到完全一样的事情。 Locust 在自动化性能测试方面也开始受到越来越多的关注。x0dx0ax0dx0a自动化配置管理工具，老牌的如Chef和Puppet，是Ruby开发，目前仍保持着强劲的势头。不过，新生代 Ansible 和 SaltStack ——均为Python开发——因为较前两者设计更为轻量化，受到越来越多开发这的欢迎，已经开始给前辈们制造了不少的压力。x0dx0ax0dx0a在系统监控与度量方面，传统的Nagios逐渐没落，新贵如 Sensu 大受好评，云服务形式的New Relic已经成为创业公司的标配，这些都不是直接通过Python实现的，不过Python要接入这些工具，并不困难。x0dx0ax0dx0a除了上述这些工具，基于Python，提供完整DevOps功能的PaaS平台，如 Cloudify 和 Deis ，虽未成气候，但已经得到大量关注。x0dx0ax0dx0a网络爬虫x0dx0ax0dx0a大数据的数据从哪里来？除了部分企业有能力自己产生大量的数据，大部分时候，是需要靠爬虫来抓取互联网数据来做分析。x0dx0ax0dx0a网络爬虫是Python的传统强势领域，最流行的爬虫框架Scrapy，HTTP工具包urlib2，HTML解析工具beautifulsoup，XML解析器lxml，等等，都是能够独当一面的类库。x0dx0ax0dx0a不过，网络爬虫并不仅仅是打开网页，解析HTML这么简单。高效的爬虫要能够支持大量灵活的并发操作，常常要能够同时几千甚至上万个网页同时抓取，传统的x0dx0a线程池方式资源浪费比较大，线程数上千之后系统资源基本上就全浪费在线程调度上了。Python由于能够很好的支持协程（ Coroutine ）操作，基于此发展起来很多并发库，如Gevent，Eventlet，还有Celery之类的分布式任务框架。被认为是比AMQP更高效的ZeroMQ也是最早就提供了Python版本。有了对高并发的支持，网络爬虫才真正可以达到大数据规模。x0dx0ax0dx0a抓取下来的数据，需要做分词处理，Python在这方面也不逊色，着名的自然语言处理程序包NLTK，还有专门做中文分词的Jieba，都是做分词的利器。x0dx0ax0dx0a数据处理x0dx0ax0dx0a万事俱备，只欠东风。这东风，就是数据处理算法。从统计理论，到数据挖掘，机器学习，再到最近几年提出来的深度学习理论，数据科学正处于百花齐放的时代。数据科学家们都用什么编程？x0dx0ax0dx0a如果是在理论研究领域，R语言也许是最受数据科学家欢迎的，但是R语言的问题也很明显，因为是统计学家们创建了R语言，所以其语法略显怪异。而且x0dx0aR语言要想实现大规模分布式系统，还需要很长一段时间的工程之路要走。所以很多公司使用R语言做原型试验，算法确定之后，再翻译成工程语言。x0dx0ax0dx0aPython也是数据科学家最喜欢的语言之一。和R语言不同，Python本身就是一门工程性语言，数据科学家用Python实现的算法，可以直x0dx0a接用在产品中，这对于大数据初创公司节省成本是非常有帮助的。正式因为数据科学家对Python和R的热爱，Spark为了讨好数据科学家，对这两种语言x0dx0a提供了非常好的支持。x0dx0ax0dx0aPython的数据处理相关类库非常多。高性能的科学计算类库NumPy和SciPy，给其他高级算法打了非常好的基础，matploglib让x0dx0aPython画图变得像Matlab一样简单。Scikit-learn和Milk实现了很多机器学习算法，基于这两个库实现的 Pylearn2 ，是深度学习领域的重要成员。 Theano 利用GPU加速，实现了高性能数学符号计算和多维矩阵计算。当然，还有 Pandas ，一个在工程领域已经广泛使用的大数据处理类库，其DataFrame的设计借鉴自R语言，后来又启发了Spark项目实现了类似机制。x0dx0ax0dx0a对了，还有 iPython ，这个工具如此有用，以至于我差点把他当成标准库而忘了介绍。iPython是一个交互式Python运行环境，能够实时看到每一段Python代码的结果。默认情况下，iPython运行在命令行，可以执行 ipython notebook 在网页中运行。用matplotlib绘制的图可以直接嵌入式的显示在iPython Notebook中。x0dx0a x0dx0aiPython Notebook的笔记本文件可以共享给其他人，这样其他人就可以在自己的环境中重现你的工作成果；如果对方没有运行环境，还可以直接转换成HTML或者PDF。x0dx0ax0dx0a为什么是Pythonx0dx0ax0dx0a正是因为应用开发工程师、运维工程师、数据科学家都喜欢Python，才使得Python成为大数据系统的全栈式开发语言。x0dx0ax0dx0a对于开发工程师而言，Python的优雅和简洁无疑是最大的吸引力，在Python交互式环境中，执行 import thisx0dx0a x0dx0a，读一读Python之禅，你就明白Python为什么如此吸引人。Python社区一直非常有活力，和NodeJS社区软件包爆炸式增长不x0dx0a同，Python的软件包增长速度一直比较稳定，同时软件包的质量也相对较高。有很多人诟病Python对于空格的要求过于苛刻，但正是因为这个要求，才x0dx0a使得Python在做大型项目时比其他语言有优势。OpenStack项目总共超过200万行代码，证明了这一点。x0dx0ax0dx0a对于运维工程师而言，Python的最大优势在于，几乎所有Linux发行版都内置了Python解释器。Shell虽然功能强大，但毕竟语法不够优雅，写比较复杂的任务会很痛苦。用Python替代Shell，做一些复杂的任务，对运维人员来说，是一次解放。x0dx0ax0dx0a对于数据科学家而言，Python简单又不失强大。和C/C++相比，不用做很多的底层工作，可以快速进行模型验证；和Java相比，Python语法简x0dx0a洁，表达能力强，同样的工作只需要1/3代码；和Matlab，Octave相比，Python的工程成熟度更高。不止一个编程大牛表达过，Pythonx0dx0a是最适合作为大学计算机科学编程课程使用的语言——MIT的计算机入门课程就是使用的Python——因为Python能够让人学到编程最重要的东西——x0dx0a如何解决问题。
㈣ ue5python原理
Python先把代码（.py文件）编译成字节码，交给字节码虚拟机，然后解释器一条一条执行字节码指令，从而完成程序的执行。
1.1python先把代码(.py文件)编译成字节码，交给字节码虚拟机，然后解释器会从编译得到的PyCodeObject对象中一条一条执行字节码指令，
并在当前的上下文环境中执行这条字节码指令，从而完成程序的执行。Python解释器实际上是在模拟操作中执行文件的过程。PyCodeObject对象
中包含了字节码指令以及程序的所有静态信息，但没有包含程序运行时的动态信息——执行环境（PyFrameObject)
2. 字节码
字节码在python解释器程序里对应的是PyCodeObject对象
.pyc文件是字节码在磁盘上的表现形式
2.1从整体上看：OS中执行程序离不开两个概念：进程和线程。python中模拟了这两个概念，模拟进程和线程的分别是PyInterpreterState和
PyTreadState。即：每个PyThreadState都对应着一个帧栈，python解释器在多个线程上切换。当python解释器开始执行时，它会先进行一
些初始化操作，最后进入PyEval_EvalFramEx函数，它的作用是不断读取编译好的字节码，并一条一条执行，类似CPU执行指令的过程。函数内部
主要是一个switch结构，根据字节码的不同执行不同的代码。
3. .pyc文件
PyCodeObject对象的创建时机是模块加载的时候，及import
Python test.py会对test.py进行编译成字节码并解释执行，但是不会生成test.pyc
如果test.py加载了其他模块，如import urlib2, Python会对urlib2.py进行编译成字节码，生成urlib2.pyc,然后对字节码进行解释
如果想生成test.pyc，我们可以使用Python内置模块py_compile来编译。
加载模块时，如果同时存在.py和pyc,Python会尝试使用.pyc，如果.pyc的编译时间早于.py的修改时间，则重新编译.py并更新.pyc。
4. PyCodeObject
Python代码的编译结果就是PyCodeObject对象
typedef struct {
PyObject_HEAD
int co_argcount; /* 位置参数个数 */
int co_nlocals; /* 局部变量个数 */
int co_stacksize; /* 栈大小 */
int co_flags;
PyObject *co_code; /* 字节码指令序列 */
PyObject *co_consts; /* 所有常量集合 */
PyObject *co_names; /* 所有符号名称集合 */
PyObject *co_varnames; /* 局部变量名称集合 */
PyObject *co_freevars; /* 闭包用的的变量名集合 */
PyObject *co_cellvars; /* 内部嵌套函数引用的变量名集合 */
/* The rest doesn’t count for hash/cmp */
PyObject *co_filename; /* 代码所在文件名 */
PyObject *co_name; /* 模块名|函数名|类名 */
int co_firstlineno; /* 代码块在文件中的起始行号 */
PyObject *co_lnotab; /* 字节码指令和行号的对应关系 */
void *co_zombieframe; /* for optimization only (see frameobject.c) */
} PyCodeObject;
5. .pyc文件格式
加载模块时，模块对应的PyCodeObject对象被写入.pyc文件
6.分析字节码
6.1解析PyCodeObject
Python提供了内置函数compile可以编译python代码和查看PyCodeObject对象
6.2指令序列co_code的格式
opcode oparg opcode opcode oparg …
1 byte 2 bytes 1 byte 1 byte 2 bytes
Python内置的dis模块可以解析co_code
7. 执行字节码
Python解释器的原理就是模拟可执行程序再X86机器上的运行，X86的运行时栈帧如下图
Python解释器的原理就是模拟上述行为。当发生函数调用时，创建新的栈帧，对应Python的实现就是PyFrameObject对象。
PyFrameObject对象创建程序运行时的动态信息，即执行环境
7.1 PyFrameObject
typedef struct _frame{
PyObject_VAR_HEAD //"运行时栈"的大小是不确定的
struct _frame *f_back; //执行环境链上的前一个frame，很多个PyFrameObject连接起来形成执行环境链表
PyCodeObject *f_code; //PyCodeObject 对象，这个frame就是这个PyCodeObject对象的上下文环境
PyObject *f_builtins; //builtin名字空间
PyObject *f_globals; //global名字空间
PyObject *f_locals; //local名字空间
PyObject **f_valuestack; //"运行时栈"的栈底位置
PyObject **f_stacktop; //"运行时栈"的栈顶位置
//...
int f_lasti; //上一条字节码指令在f_code中的偏移位置
int f_lineno; //当前字节码对应的源代码行
//...
//动态内存，维护(局部变量+cell对象集合+free对象集合+运行时栈)所需要的空间
PyObject *f_localsplus[1];
} PyFrameObject;
每一个 PyFrameObject对象都维护了一个 PyCodeObject对象，这表明每一个 PyFrameObject中的动态内存空间对象都和源代码中的一段Code相对应。