python定时任务框架
⑴ linux下编写一个shell脚本 每天0点 定时执行某一可执行程序test。 刚学习shell希望大侠们给个代码参考！
在某个时间段执行某个程序，准确的说是“定时任务”，我这里介绍2中linux（ubuntu）下定时执行python脚本的方式。
方法一：
准备好定时启动的脚本auto.py
用root权限编辑以下文件
在文件末尾添加以下命令
以上代码的意思是每隔两分钟执行一次脚本并打印日志。
crontab编写解释
基本格式
举例说明
方法二：
APScheler定时框架
APScheler是一个Python定时任务框架，使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务，并且可以持久化任务、并以daemon方式运行应用。
使用APScheler需要安装
每天早上6点半执行的例子
代码中的BlockingScheler是什么呢？
BlockingScheler是APScheler中的调度器，APScheler中有两种常用的调度器，BlockingScheler和BackgroundScheler，当调度器是应用中唯一要运行的任务时，使用BlockingSchele，如果希望调度器在后台执行，使用BackgroundScheler。
代码中是cron是什么？
cron:在特定时间周期性地触发
⑵ python的爬虫框架有哪些
实现爬虫技术的编程环境有很多种，java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。更重要的，Python也是数据挖掘和分析的好能手。
高效的Python爬虫框架。分享给大家。
1.Scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。
2.PySpider
pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。
3.Crawley
Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
4、Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。
5.Newspaper
Newspaper可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。
6、Python-goose：Java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。
7.Grab
Grab是一个用于构建Web刮板的Python框架。借助Grab，您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具
8、selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。
⑶ python处理大量定时任务用什么模块比较好
三种： 则表达式pythonre模块python自带； pyquery需另外安装； beautifulsoup需另外安装 具体使用于比较复杂获取两者操作更便前者效率更高
⑷ Flask-APScheler
APScheler是一款功能非常强大的定时任务框架。利用APScheler框架我们可以很方便实现一个基于Python的定时任务系统。Flask提供了对应的Flask-APScheler来集成APScheler功能。
⑸ 用python写爬虫有哪些框架
以下是搜索来源于网络：
1)Scrapy:很强大的爬虫框架，可以满足简单的页面爬取（比如可以明确获知url pattern的情况）。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。
2)Crawley: 高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等
3)Portia:可视化爬取网页内容
4)newspaper:提取新闻、文章以及内容分析
5)python-goose:java写的文章提取工具
6)Beautiful Soup:名气大，整合了一些常用爬虫需求。缺点：不能加载JS。
7)mechanize:优点：可以加载JS。缺点：文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。
8)selenium:这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。
9)cola:一个分布式爬虫框架。项目整体设计有点糟，模块间耦合度较高。
⑹ 如何设置python脚本定时任务
:beginpython hello.pyTIMEOUT /T 10goto begin以上的10为时间单位s可以自定义
⑺ python读取windows定时任务
1、准备好Python脚本py文件，放置在一个文件夹下。
2、创建一个txt文件，并把文件类型(后缀)改为bat、编写文件内容。
3、Win键+R，输入compmgmt，msc，调出计算机管理窗口。点击左侧任务计划程序，再点击右侧创建基本任务。
4、填写任务的基本信息，选择脚本执行的触发器。
5、选择具体时间，选择执行的操作、选择要执行的脚本，创建完成。
⑻ 定时任务
实现定时任务的方法有很多，接下来我们针对各种方法对比下优缺点。
sched模块实现了一个时间调度程序，该程序可以通过单线程执行来处理按照时间尺度进行调度的时间。
通过调用scheler.enter(delay,priority,func,args)函数，可以将一个任务添加到任务队列里面，当指定的时间到了，就会执行任务(func函数)。
执行结果为：
按顺序执行任务：
执行结果为：
s.run()会阻塞当前线程的执行
可以用
也可以用s.cancal(action)来取消sched中的某个action
APScheler有四种组件：
示例2、
示例3、
示例4、
运行结果为：
示例5、
运行结果：
示例6、
示例7、
缺点： 遇到问题排查时比较困难。
精讲见celery
优点： 基于Redis的作业队列工具，优先选择APScheler定时框架。小而精。
缺点： 没有定时执行的功能。
后续精讲持续更新中。。。
可以将所需要的Python程序打包成exe文件，然后在windows下设置定时执行。
常见：
Windows 任务计划程序
Windows Service
SQL Agent 的 Job
优点： 可以管理和调度多个任务,可以进行控制。
缺点： 阻塞式函数
优点： 不需要程序自己维护定时器,不占用程序的资源。
缺点： 不太灵活,crontab因为是操作系统的命令,独立于程序运行,所以也就是在程序还没有运行的时候,就已经确定了有哪些定时任务需要执行,并东提前交代给了Linux系统,如果程序运行当中,发现有新的定时任务需求,想要让程序自动交代给crontab一个新的定时任务,并不是很方便。
语法
或
说明
参数说明
⑼ python实现定时任务
缺点：不容易控制，而且是个阻塞函数
优点：可以管理和调度多个任务,可以进行控制
缺点：阻塞式函数
优点：非阻塞
缺点：不易管理多个任务
sched模块实现了一个时间调度程序，该程序可以通过单线程执行来处理按照时间尺度进行调度的时间。
通过调用 scheler.enter(delay,priority,func,args) 函数，可以将一个任务添加到任务队列里面，当指定的时间到了，就会执行任务( func函数 )。
执行结果为：
按顺序执行任务：
执行结果为：
s.run()会阻塞当前线程的执行
可以用
也可以用 s.cancal(action) 来取消sched中的某个action
运行结果为：
运行结果为：
运行结果：
celery框架后续更新
⑽ python如何实现线程定时任务
sleep就可以吧，把程序作为一个线程，启动线程，里面加个sleep，示例如下：
import threading
import time
class Test(threading.Thread):
def __init__(self):
pass
def test(self):
print 'run test!'
def run(self):
while True:
print time.strftime('%Y-%m-%d %H:%M:%S')
self.test()
time.sleep(5)
#test...
a=Test()
a.run()
#...test