python缓存数据

① python性能提升神器！lru_cache的介绍和讲解

我们经常谈论的缓存一词，更多的类似于将硬盘中的数据存放到内存中以至于提高读取速度，比如常说的redis，就经常用来做数据的缓存。 Python的缓存（lru_cache）是一种装饰在被执行的函数上，将其执行的结果缓存起来，当下次请求的时候，如果请求该函数的传参未变则直接返回缓存起来的结果而不再执行函数的一种缓存装饰器。

那它和redis的区别在哪？有什么优势？怎么使用？ 下面为你讲解

1.现在我们先不使用缓存来写一个求两数之和的函数，并调用执行它两次：

执行结果

可以看到 test 被执行了两次，现在我们加上缓存再进行执行：

执行结果

可以看到 test 函数只被执行了一次，第二次的调用直接输出了结果，使用了缓存起来的值。

2.当我们使用递归求斐波拉契数列 （斐波那契数列指的是这样一个数列：0,1,1,2,3,5,8，它从第3项开始，每一项都等于前两项之和） 的时候，缓存对性能的提升就尤其明显了：

不使用缓存求第40项的斐波拉契数列

执行时间

使用缓存求第40项的斐波拉契数列：

执行时间

两个差距是非常明显的，因为不使用缓存时，相当于要重复执行了很多的函数，而使用了 lru_cache 则把之前执行的函数结果已经缓存了起来，就不需要再次执行了。

查看lru_cache源码会发现它可以传递两个参数： maxsize 、 typed ：

代表被lru_cache装饰的方法最大可缓存的结果数量 （被装饰方法传参不同一样，则结果不一样；如果传参一样则为同一个结果） ， 如果不指定传参则默认值为128，表示最多缓存128个返回结果，当达到了128个时，有新的结果要保存时，则会删除最旧的那个结果。如果maxsize传入为None则表示可以缓存无限个结果；

默认为false，代表不区分数据类型，如果设置为True，则会区分传参类型进行缓存，官方是这样描述的:

但在python3.9.8版本下进行测试，typed为false时，按照官方的测试方法测试得到的还是会被当成不同的结果处理，这个时候typed为false还是为true都会区别缓存，这与官方文档的描述存在差异：

执行结果

但如果是多参数的情况下，则会被当成一个结果：

执行结果

这个时候设置typed为true时，则会区别缓存：

执行结果

当传参个数大于1时，才符合官方的说法，不清楚是不是官方举例有误

当传递的参数是dict、list等的可变参数时，lru_cache是不支持的，会报错：

报错结果

缓存 缓存位置 是否支持可变参数 是否支持分布式 是否支持过期时间设置 支持的数据结构 需单独安装 redis 缓存在redis管理的内存中 是 是 是 支持5种数据结构 是 lru_cache 缓存在应用进程的内存中，应用被关闭则被清空 否 否 否 字典（参数为：key，结果为：value） 否

经过上面的分析，lru_cache 功能相对于redis来说要简单许多，但使用起来更加方便，适用于小型的单体应用。如果涉及的缓存的数据种类比较多并且想更好的管理缓存、或者需要缓存数据有过期时间（类似登录验证的token）等，使用redis是优于lru_cache的。

② Python 爬虫进阶篇——diskcache缓存

在Python爬虫进阶篇中，我们深入探讨了缓存技术，特别是diskcache，一个基于磁盘的缓存库。本文旨在帮助提高爬虫的效率，通过减少不必要的网络请求。diskcache的核心在于使用磁盘空间作为缓存，有效利用系统中可能被浪费的空余磁盘空间，为爬虫应用提供高效的数据存储和检索能力。

安装与初始化

diskcache的安装非常简单，只需要通过Python的包管理工具即可完成。初始化diskcache时，只需提供目录路径，系统将自动创建所需的目录结构，以确保缓存数据的安全存储。

缓存操作

在diskcache中，创建和获取缓存数据的操作简单明了。初始化后，通过`diskcache.Cache`类轻松进行缓存的设置与获取。设置缓存时，需要指定键值、值、过期时间、读取模式、标签和重试策略等参数。获取缓存时，只需指定键值，diskcache将返回相应的缓存数据，若数据不存在，可设置默认返回值。

更新与添加缓存

diskcache提供`touch`方法用于更新缓存的时间戳，以及`add`方法用于在确保缓存不存在时添加新的数据。`add`方法的独特之处在于它首先检查缓存是否已过期，只有在缓存未过期或不存在的情况下才会添加新的数据，确保了数据的一致性和有效性。

增量与减量操作

对于需要数值操作的缓存场景，diskcache提供了`incr`和`decr`方法，用于实现数据的原子性增量和减量。这些方法确保在操作过程中数据的一致性和完整性，适用于需要实时更新计数器等场景。

删除缓存

当不再需要某些缓存数据时，diskcache提供了`delete`和`pop`方法进行数据的删除。`delete`方法用于删除指定的键值，并返回操作是否成功的标志；`pop`方法则用于删除指定键值的缓存并返回其值，若键值不存在则返回默认值。

过期缓存的处理

diskcache中的过期缓存不会被实际删除，而是被系统过滤，以节省资源。如果需要清除大量过期缓存，可以使用`expire`方法，该方法允许指定删除时间范围，清理不再使用的数据，释放磁盘空间。

总结与应用

总结来说，diskcache是一个功能强大、易于使用的磁盘缓存库，特别适合Python爬虫应用。它能够显着提高爬虫的效率，减少重复请求，节省资源。对于爬取大型网站或进行脚本测试时，diskcache是不可或缺的工具，有助于构建更高效、更可持续的爬虫系统。

③ Python 爬虫进阶篇——diskcahce缓存(二)

上一篇文章为大家介绍了diskcache的基础用法，本文将继续深入探讨diskcache的更多高级功能。

关于diskcache，它是一种基于SQLite数据库的缓存对象管理方式。SQLite是一个轻量级的基于磁盘的数据库，它不需要单独的服务器进程，并支持SQL查询。在上篇文章的源码截图上，你可以看到一些SQL语句的使用。

diskcache支持使用diskcache.FanoutCache自动分片基础数据库。分片是对数据进行水平分区，可以减少写入时的阻塞。尽管读和写不会互相阻碍，但写入会阻碍其他写入。分片的默认值为8。

以下是一个示例代码：

# 示例代码

在示例中，我们在diskcache_2文件夹中创建了一个具有四个分片和一秒超时的缓存。如果操作耗时超过一秒，它们将尝试中止操作。

那么每一个分片的大小是多少呢？分片的大小都是平均分配的，占总空间的四分之一。diskcache的默认大小为1GB。

diskcache提供了一个collections.deque兼容的双端队列diskcache.Deque。双端队列是堆栈和队列的一般化，可以在前后都可以进行快速访问和编辑，且可持久化，操作比较便捷。

以下是一个示例代码：

# 示例代码

运行结果如下：

Popleft 获取队列最前面的一个元素，pop获取末尾的一个元素；

Appendleft 在队列最开始添加一个元素，append 在末尾添加一个元素；

Extendleft 在队列最开始添加一个数组，extend在末尾添加一个数组；

那么deque的存储位置在哪里？可以使用以下命令查看队列的存储位置：

包括cache也是一个可以使用directory属性查看默认存储的位置；

那么如何指定directory呢？Deque的第二个参数指定存储位置，第一个参数为队列的初始值。或者可以直接指定参数名称，如下：

Index 类似于dict(字典)，可持久化，使用也比较便捷。以下是一个示例：

# 示例代码

popitem表示获取最后一个键对值，并且删除，结果如下：

peekitem() 可传递last 参数是否获取最后一个，不会删除原始值；

setdefault(key,default) 可以给指定的key值设置默认值，在查找时可以预先设置一个默认值，防止key值不存在而抛出异常。

keys()与values()可以查找所有Index中的key值与value值，然而没有提供判断key值是否存在的方法，但是可以使用setdefault的方法自行封装。

Lock还记得上篇文章中提到的Lock锁吗？先看一下源码：

可以看到这里的锁用的就是cache的add方法的特性，源码中也给出了使用的方式：

从源码上看有一个while 死循环，直到add成功时才会被释放，这里处理的方式不是很好，可能会造成死锁，所以一般情况下，都会添加一个过期的时间，如下：

RLock还有一种RLock锁，与Lock锁的区别是RLock允许在同一线程中被多次acquire。而Lock却不允许这种情况。以下是一个示例：

结果是执行成功。

看一下源码：

从源码中可以看出，判断锁的条件是os.getpid()（进程pid）与threading.get_ident()（线程标识符），如果每次acquire时的pid与ident都相同的时，即可成功。那么就可以在相同的进程中无限次数的acquire,但是多少次acquire就得多少次的release,防止死锁。

那么是使用Lock还是RLock呢？这个要具体的看实际情况，并不是谁就一定好。

总结本次推文中介绍了diskcache中FanoutCache缓存分片、双端队列deque、Index、Lock以及RLock。

大家可以在实际中灵活运用，diskcache缓存的优势还是很大的，无需安装其他的模块，并且在文件管理器中能直接查看，还可以利用缓存的一些特性使用多线程的去实现业务等。

但是也是有缺点的，即受制于本地文件系统的限制。每个磁盘每个目录下的文件数量是有限制的，所以需要结合实际情况使用。