nginx存储

‘壹’ Nginx作为缓存服务

  上一篇文章讲了Nginx作为代理服务的使用方式，这篇文章我们讲一讲Nginx作为缓存服务是怎么工作的，以及实战的使用。
  先看一张图：

  面对第一次客户端的应用Nginx需要从后端的服务获取数据，对于后续的请求，Nginx若进行了缓存就不再从后端服务获取数据。

语法：proxy_cache_path path [levels=levels].只能用在http中。

  proxy_cache zone | off。默认是关闭的，可以用在http,server,location中。

访问zzm这个路径的时候，会返回配置文件中的spring.s项，具体值可以参考我们的启动设置：

三个后台金正分别对应6000端口，6001端口，6002端口

所以我们访问ip:port/zzm的时候会自动去访问后台

我们首先注释掉proxy_cache zzm_cache;进行访问，也就是没有缓存的情况下，访问3次：

我们可以看到没有缓存的情况下，会进行轮询访问，每次访问的结果不一样，而且我们的缓存路径什么都没有，让我想起了一首歌空空如也：

好奇的看了下目录下的文件内容：

add_header Nging-Cache "$upstream_cache_status";

当我们没有缓存的时候，我们可以看到应答会是MISS：

现在nginx.conf中加入新的配置项：

此时我们怒刷前端页面，会发现后端日志如下：

Nginx的缓存服务就讲到这里，欢迎大家指正

‘贰’ nginx是用于存储吗

不是
Nginx是一个Web服务器，也可以用作反向代理，负载平衡器和 HTTP缓存。该软件由Igor Sysoev 创建，并于2004年首次公开发布。同名公司成立于2011年，以提供支持。 Nginx是一款免费的开源软件，根据类BSD许可证的条款发布。

‘叁’ nginx 缓存机制

Nginx缓存的基本思路
基本思想是利用客户访问的时间局部性原理，对客户已经访问过的内容在Nginx服务器本地建立副本，这样在一段时间内再次访问该数据，就不需要通过Nginx服务器再次向后端服务器发出请求，所以能够减少Nginx服务器与后端服务器之间的网络流量，减轻网络拥塞，同时还能减小数据传输延迟，提高用户访问速度。同时，当后端服务器宕机时，Nginx服务器上的副本资源还能够回应相关的用户请求，这样能够提高后端服务器的鲁棒性。

对于缓存，我们大概会有以下问题：
（1）缓存文件放在哪儿？
（2）缓存的空间大小是否可以限定?
（3）如何指定哪些请求被缓存？
（4）缓存的有效期是多久？
（5）对于某些请求，是否可以不走缓存？

解决这些问题后，nginx的缓存也就基本配置完成了，下面看详细配置过程
开启缓存

要使用缓存，首先要使用 proxy_cache_path 这个指令（必须放在 http 上下文的顶层位置），然后在目标上下文中使用 proxy_cache 指令

配置示例

proxy_cache_path 有两个必填参数，第一个参数为 缓存目录，第二个参数keys_zone指定缓存名称和占用内存空间的大小（注：示例中的10m是对内存中缓存内容元数据信息大小的限制，如果想限制缓存总量大小，需要用 max_size 参数）

proxy_cache 的参数为之前指定的缓存名称

缓存管理的相关进程
在缓存工作中有两个附加进程：
（1）缓存管理器
定期检查缓存状态，看缓存总量是否超出限制，如果超出，就移除其中最少使用的部分
（2）缓存加载器
加载器只在nginx启动后运行一次，把缓存内容的元数据信息加载到内存空间，如果一次性加载全部缓存信息，会大量消耗资源，使nginx在启动后的几分钟里变慢，为避免此问题，有3种加载策略：
loader_threshold – 指定每次加载执行的时间
loader_files – 每次最多加载的数量
loader_sleeps – 每次加载的延时
例如：
proxy_cache_path /data/nginx/cache keys_zone=one:10m loader_threshold=300 loader_files=200;
指定缓存哪些请求
nginx默认会缓存所有 get 和 head 方法的请求结果，缓存的key默认使用请求字符串
（1）自定义key
例如 proxy_cache_key " request_uri cookie_nocache arg_comment;
如果任何一个参数值不为空，或者不等于0，nginx就不会查找缓存，直接进行代理转发
综合示例

nginx 缓存机制
三分钟看懂Nginx服务器的缓存原理和机制

‘肆’ Nginx缓存设置教程

| 这篇文章主要介绍了Nginx缓存设置案例详解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下 |

在开发调试web的时候，经常会碰到因浏览器缓存(cache)而经常要去清空缓存或者强制刷新来测试的烦恼，提供下apache不缓存配置和nginx不缓存配置的设置。在常用的缓存设置里面有两种方式，都是使用add_header来设置：分别为Cache-Control和Pragma。

对于站点中不经常修改的静态内容（如图片，JS，CSS），可以在服务器中设置expires过期时间，控制浏览器缓存，达到有效减小带宽流量，降低服务器压力的目的。

以Nginx服务器为例：

【背景】：Expires是Web服务器响应消息头字段，在响应http请求时告诉浏览器在过期时间前浏览器可以直接从浏览器缓存取数据，而无需再次请求。

【相关资料】

1、Cache-control策略

Cache-Control与Expires的作用一致，都是指明当前资源的有效期，控制浏览器是否直接从浏览器缓存取数据还是重新发请求到服务器取数据。只不过Cache-Control的选择更多，设置更细致，如果同时设置的话，其优先级高于Expires。

http协议头Cache-Control ：

值可以是public、private、no-cache、no- store、no-transform、must-revalidate、proxy-revalidate、max-age

各个消息中的指令含义如下：

Last-Modified/If-Modified-Since

其最终达到的就是等效于设置这三类html缓存技术：

‘伍’ Nginx 配置日志以天为单位分开保存

服务器上nginx的日志体积日益增大，已经到了打开都要加载很久的地步了，无法忍受，想配置日志按天保存，方便查看。网上搜了一下，基本有两种思路:

主要思路是写一个定时任务脚本，每天特定时间把现在的日志重命名，XXXX2021-01-05.log，然后 nginx -s reopen 重启nginx来实现目的。
考虑了一下nginx重启会导致线上项目服务终止影响用户体验，所以放弃了。

通过nginx.conf配置来实现自动化的按天保存日志，nginx无需重启，好处显而易见，我选择了这种方式实现。

$time_iso8601 是nginx 内嵌变量，可以用来获取当前时间，时间格式如下： 2018-09-21T16:01:02+02:00 。然后使用 正则表达式 来获取所需时间的数据。按yyyy-mm-dd格式获取当前日期的字符串，通过变量 $time 来设置日志文件名，这样当日期改变时，日志文件名就会更新，nginx会以新的文件名记录日志，实现按天保存日志的效果。

实现过程并不顺利，主要遇到了以下几个问题。
1. access_log 可以通过变量配置文件名，但是 error_log 用同样的方法配置后不生效，不过 error_log 的记录相对较少，目前还不是问题，暂时放弃。
2.保证日志目录可被 nginx 用户组有读写权限，这个踩坑了，配置后日志目录下没有出现日志，nginx.conf里配置的用户名是 nginx ，改了权限之后就可以正常生成了。

‘陆’ nginx是什么意思

意思是一种服务器。

Nginx (engine x)是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点（俄文：Рамблер）开发的，第一个公开版本0.1.0发布于2004年10月4日。

其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日，nginx 1.0.4发布。

介绍

Nginx是一款轻量级的Web服务器／反向代理服务器及电子邮件（IMAP/POP3）代理服务器，在BSD-like协议下发行。

其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：网络、京东、新浪、网易、腾讯、淘宝等。

Nginx可以在大多数UnixLinux OS上编译运行，并有Windows移植版。Nginx的1.4.0稳定版已经于2013年4月24日发布，一般情况下，对于新建站点，建议使用最新稳定版作为生产版本，已有站点的升级急迫性不高。

‘柒’ nginx缓存(proxy_cache模块)

缓存的基本思想是利用客户端访问的时间局限性，将客户端访问过的内容做一个副本，在一定时间内存放到本地，当改数据下次被访问时，不必连接到后端服务器反复去查询数据，而是由本地保存的副本响应数据。

保存在本地的这些副本具有一个过期时间，超过该时间将会更新。判断一个副本数据是否为过期数据的办法有很多，可以使用保留时间来判断，也可以使用数据完整度来判断。

许多Web服务器还具有校验功能，就是当某些副本数据过期以后，先向后端服务器发送校验请求，后端服务器对这些数据进行校验，如果发现原数据和副本没有差别，则将过期副本重新置为可用副本。

以上nginx配置结合使用：

proxy_params文件的配置如下：

访问一次页面，并向 http://www.blogs-s.com:8080/api/ 发起一个接口数据请求,查看/cache/nginx目录下的缓存结果：

ngx_cache_purge是nginx的第三方模块，能够帮助我清除nginx中的缓存。

在之前的nginx编译安装中我们是没有把缓存的清除模块ngx_cache_purge编译进去的，如果启动了缓存，没有安装这个模块，在之后的调试中我们尝试去清除缓存时，将会出现异常：

这个异常是在指示我们，找不到该指令的驱动，需要按照相关模块。

ngx_cache_purge只是nginx的第三方模块，并不是某个特殊的软件，所以我们需要对nginx重新进行编译，操作如下：

配置nginx：

再一次启动nginx成功；

接下来进行缓存清除测试，访问： http://blogs.com/clear_cache/api/index.php , 访问这个连接将会清除接口： http://blogs.com/api/index.php 的缓存数据。

结果如下：

在项目开发中，不可能出现什么都需要缓存的数据，缓存仅仅适合去缓存查询频繁，但是不需要实时更新的数据，这个是它适合的场景，而我们上面的配置，只要是访问api接口目录就会缓存接口的数据，这样对于一些需要实时更新的接口数据来说是不合理的，需要控制好nginx的缓存去缓存什么以及不缓存什么

set 指令为变量设置，proxy_no_cache参数中的值可以设置多个，但是多个值中，只要有一个是不为0的，就会通过缓存响应数据。

该指令用于配置一块公用的内存区域的名称,该区域可以存放缓存的索引数据。这些数据在Nginx服务器启动时由缓存索引重建进程负责建立，在Nginx服务器的整个运行过程中由缓存管理进程负责定时检测过期数据，检索等管理工作。

该指令用于配置Nginx服务器向客户端发送响应数据时，不从缓存中获取的条件。这些条件支持使用Nginx 配置的常用变量。

看一个例子:

其中，Scookie_nocache、Sarg_nocache、Sarg_comment、Shttp_pragma 和Shttp_authorization 都是Nginx配置文件的变量，

该指令用于设置Nginx服务器在内存中为缓存数据建立索引时使用的关键字

如果我们希望缓存数据包含服务器主机名称等关键字，则可以将该指令设置为:

该指令用于设置是否开启缓存的锁功能。在缓存中，某些数据项可以同时被多个请求返回的响应数据填充。开启该功能后，Nginx服务器同时只能有一个请求填充缓存中的某一数据项，这相当于给该数据项上锁,不允许其他请求操作。其他的请求如果也想填充该项,必须等待该数据项的锁被释放。这个等待时间由 proxy_cache_lock_timeout 指令配置。

该指令用于设置缓存的锁功能开启以后锁的超时时间。具体细节参见proxy_cache_lock 指令的相关内容

其中，time为设置的时间，默认为5s。

该指令用于设置客户端请求发送的次数，当客户端向被代理服务器发送相同请求达到该指令设定的次数后，Nginx服务器才对该请求的响应数据做缓存。合理设置该值可以有效地降低硬盘上缓存数据的数量，并提高缓存的命中率。

其中，number为设置的次数。默认设置为1。

该指令用于设置Nginx服务器存储缓存数据的路径以及和缓存索引相关的内容

该指令设置比较复杂，一般需要设置前面三个指令的情形比较多，后面的几个变量与Nginx服务器缓存索引重建进程及管理进程的性能相关，一般情况下保持默认设置就可以了。我们来看几个简单的配置实例:

如果Nginx在访问被代理服务器过程中出现被代理的服务器无法访问或者访问错误等现象时，Nginx服务器可以使用历史缓存响应客户端的请求，这些数据不一定和被代理服务器上最新的数据相一致，但对于更新频率不高的后端服务器来说，Nginx服务器的该功能在一定程度上能够为客户端提供不间断访问。该指令用来设置一些状态，当后端被代理的服务器处于这些状态时，Nginx服务器启用该功能。

该指令可以支持的状态如语法结构中所示。

该指令可以针对不同的HTTP响应状态设置不同的缓存时间，

该指令同于配置在什么情况下不使用cache功能

该指令配置是否在本地磁盘缓存来自被代理服务器的响应数据。这是Nginx服务器提供的另一种缓存数据的方法，但是该功能相对 Proxy Cache简单一些，它不提供缓存过期更新、内存索引建立等功能，不占用内存空间，对静态数据的效果比较好。

Proxy Store方法多使用在被代理服务器端发生错误的情况下,用来缓存被代理服务器的响应数据。

该指令用于设置用户或用户组对Proxy Store缓存的数据的访问权限，

有关Proxy Store方法的使用，我们通过官方给出的实例加深理解，在该实例中笔者通过注释对配置做了说明:

‘捌’ Nginx文件描述符缓存--open_file_cache

标签（空格分隔）： nginx

NGINX虽然已经对静态内容做过优化。但在高流量网站的情况下，仍然可以使用open_file_cache进一步提高性能。 NGINX缓存将最近使用的文件描述符和相关元数据（如修改时间，大小等）存储在缓存中。缓存不会存储所请求文件的内容。

启用此指令将存储以下信息的缓存：

如下例子：

在上述配置中，为1,000个元素定义了一个缓存。 inactive参数配置到期时间为20秒。 没有必要为该指令设置非活动时间段，默认情况下，非活动时间段为60秒。
NGINX还定义了一些相关的指令，可用于在错误和有效性检查期间配置open_file_cache的行为。

NGINX的open_file_cache保存信息的快照。 由于信息在源处更改，快照可能在一段时间后无效。 open_file_ cache_valid指令定义时间段（以秒为单位），之后将重新验证open_file_cache中的元素。默认情况下，60秒后重新检查元素。 如下例子：

NGINX将在非活动时间段之后从高速缓存中清除元素。 此指令可用于配置最小访问次数以将元素标记为活动使用。 默认情况下，最小访问次数设置为1次或更多次。如下例子

如前所述，NGINX可以缓存在文件访问期间发生的错误。但是这需要通过设置open_file_cache_errors指令来启用。 如果启用错误缓存，则在访问资源（不查找资源）时，NGINX会报告相同的错误。默认情况下，错误缓存设置为关闭。

‘玖’ Nginx 最全操作——nginx反向代理(5)

将 NGINX 配置为 HTTP 和其他协议的反向代理，支持修改请求标头和微调的响应缓冲。

本文介绍代理服务器的基本配置。您将学习如何通过不同的协议将请求从 NGINX 传递到代理服务器，修改发送到代理服务器的客户端请求标头，以及配置来自代理服务器的响应的缓冲。

代理通常用于在多个服务器之间分配负载，无缝显示来自不同网站的内容，或通过 HTTP 以外的协议将处理请求传递给应用程序服务器。

当 NGINX 代理请求时，它会将请求发送到指定的代理服务器，获取响应，然后将请求发送回客户端。可以使用指定的协议将请求代理到 HTTP 服务器（另一个 NGINX 服务器或任何其他服务器）或非 HTTP 服务器（可以运行使用特定框架开发的应用程序，例如 PHP 或 Python）。支持的协议包括FastCGI、uwsgi、SCGI和memcached。

要将请求传递给 HTTP 代理服务器，需要在location中指定proxy_pass指令。例如：

此示例配置导致将在此位置处理的所有请求传递到指定地址的代理服务器。此地址可以指定为域名或者 IP 地址。该地址还可能包括一个端口：

注意，在上面的第一个例子中，代理的服务器的地址后面是一个URI， /link/ 。如果 URI 与地址一起指定，它将替换请求 URI 中与 location 参数匹配的部分。例如，这里带有 /some/path/page.html URI的请求将被代理到 http://www.example.com/link/page.html . 如果指定的地址没有问题 URI，或者无法确定要替换的 URI 部分，则传递完整的请求 URI（可能已修改）。

要将请求传递给非 HTTP 代理服务器， **_pass 应使用适当的指令：

请注意，在这些情况下，指定地址的规则可能不同。您可能还需要将其他参数传递给服务器（有关详细信息，请参阅参考文档）。

proxy_pass指令也可以指向一组命名的服务器。在这种情况下，请求根据指定的方法在组中的服务器之间分发。

默认情况下，NGINX 重新定义代理请求中的两个 header 字段，“Host”和“Connection”，并消除值为空字符串的 header 字段。“Host”设置为 $proxy_host 变量，“Connection”设置为 close 。

要更改这些设置以及修改其他标头字段，请使用proxy_set_header指令。该指令可以在某个位置或更高位置指定。它也可以在特定的服务器上下文或http块中指定。例如：

在此配置中，“主机”字段设置为$host变量。

要防止标头字段被传递到代理服务器，请将其设置为空字符串，如下所示：

默认情况下，NGINX 缓冲来自代理服务器的响应。响应存储在内部缓冲区中，并且在收到整个响应之前不会发送到客户端。缓冲有助于优化慢速客户端的性能，如果响应从 NGINX 同步传递到客户端，这可能会浪费代理服务器的时间。但是，当启用缓冲时，NGINX 允许代理服务器快速处理响应，而 NGINX 存储响应的时间与客户端下载它们所需的时间一样长。

负责启用和禁用缓冲的指令是proxy_buffering。默认情况下，它设置为 on 并启用缓冲器。

该proxy_buffers指令控制规模和分配的请求缓冲区的数目。来自代理服务器的响应的第一部分存储在单独的缓冲区中，其大小由proxy_buffer_size指令设置。这部分通常包含一个相对较小的响应头，并且可以做得比其余响应的缓冲区小。

在以下示例中，缓冲区的默认数量增加了，并且响应的第一部分的缓冲区大小小于默认值。

如果禁用缓冲，则在从代理服务器接收响应的同时将响应同步发送到客户端。对于需要尽快开始接收响应的快速交互客户端，此行为可能是可取的。

要在特定位置禁用缓冲，请将proxy_buffering指令放在带有参数的位置 off ，如下所示：

在这种情况下，NGINX 仅使用proxy_buffer_size配置的缓冲区来存储响应的当前部分。

反向代理的一个常见用途是提供负载平衡。阅读免费的选择软件负载均衡器的五个理由电子书，了解如何通过快速部署来提高功能、性能和专注于您的应用程序。

如果您的代理服务器有多个网络接口，有时您可能需要选择特定的源 IP 地址连接到代理服务器或上游。如果 NGINX 后面的代理服务器配置为接受来自特定 IP 网络或 IP 地址范围的连接，这可能很有用。

指定proxy_bind指令和必要网络接口的 IP 地址：

IP 地址也可以用变量指定。例如， $server_addr 变量传递接受请求的网络接口的 IP 地址：

简单来说，把网络首页代理到/test路径，同时把java代理到/testapi，配置如下:

参考链接：https://docs.nginx.com/nginx/admin-guide/web-server/reverse-proxy/

欢迎大家提出不一样的观点，我们一起讨论，

我是辣个男人，一个运维人。

‘拾’ 【NGINX入门】3.Nginx的缓存服务器proxy_cache配置

本文介绍NGINX缓存机制，配置和参数说明。

如图所示，nginx缓存，可以在一定程度上，减少源服务器的处理请求压力。因为静态文件（比如css，js， 图片）中，很多都是不经常更新的。nginx使用proxy_cache将用户的请求缓存到本地一个目录。下一个相同请求可以直接调取缓存文件，就不用去请求服务器了。毕竟，IO密集型服务的处理是nginx的强项。

Nginx的缓存加速功能是由proxy_cache（用于反向代理和静态缓存）和fastcgi_cache（PHP动态缓存）两个功能模块完成。

Nginx缓存特点：

先上个例子：

因为我是在一台服务器上做试验，所以用了两个端口 80 和 90 进行模拟两台服务器之间的交互。

接下来讲一下配置项：

这里我设置了 图片 、 css 、 js 静态资源进行缓存。
当用户输入 http://wangxiaokai.vip 域名时，解析得到 ip:port 的访问地址。 port 默认为80。所以页面请求会被当前server截取到，进行请求处理。
当解析到上述文件名结尾的静态资源，会到缓存区获取静态资源。
如果获取到对应资源，则直接返回数据。
如果获取不到，则将请求转发给 proxy_pass 指向的地址进行处理。

这里直接处理 90 端口接受到的请求，到服务器本地目录 /mnt/blog 下抓取资源进行响应。

细心的读者应该发现，我在第二段例子里，留了个彩蛋 add_header wall "hey!guys!give me a star." 。
add_header 是用于在报头设置自定义的信息。
所以，如果缓存有效的话，那么静态资源返回的报头，一定会带上这个信息。

（1）Nginx系列教程（3）nginx缓存服务器上的静态文件
https://yq.aliyun.com/articles/752967

（2）proxy_cache
nginx 反向代理之 proxy_cache https://www.cnblogs.com/yyxianren/p/10832172.html

（3）Nginx使用upstream负载均衡和proxy_cache缓存实现反向代理
https://blog.51cto.com/13770206/2163952