nginx访问日志格式

发布时间: 2022-09-18 10:40:43

1. nginx log日志有什么用

Linux系统下Nginx 日志可以查看系统运行记录和出错说明，对Nginx 日志的分析可以了解系统运行的状态。那么Linux系统Nginx日志怎么分析呢？

Nginx 日志相关配置有 2 个地方：access_log 和 log_format 。
默认的格式：
access_log /data/logs/nginx-access.log;
log_format old ‘$remote_addr ［$time_local］ $status $request_time $body_bytes_sent ’
‘“$request” “$http_referer” “$http_user_agent”’;
相信大部分用过 Nginx 的人对默认 Nginx 日志格式配置都很熟悉，对日志的内容也很熟悉。但是默认配置和格式虽然可读，但是难以计算。
Nginx 日志刷盘相关策略可配置：
比如，设置 buffer，buffer 满 32k 才刷盘；假如 buffer 不满 5s 钟强制刷盘的配置如下：
access_log /data/logs/nginx-access.log buffer=32k flush=5s;
这决定了是否实时看到日志以及日志对磁盘 IO 的影响。
Nginx 日志能够记录的变量还有很多没出现在默认配置中：
比如：
请求数据大小：$request_length
返回数据大小：$bytes_sent
请求耗时：$request_time
所用连接序号：$connection
当前连接发生请求数：$connection_requests
Nginx 的默认格式不可计算，需要想办法转换成可计算格式，比如用控制字符 ^A （Mac 下 ctrl+v ctrl+a 打出）分割每个字段。
log_format 的格式可以变成这样：
log_format new ‘$remote_addr^A$http_x_forwarded_for^A$host^A$time_local^A$status^A’
‘$request_time^A$request_length^A$bytes_sent^A$http_referer^A$request^A$http_user_agent’;
这样之后就通过常见的 Linux 命令行工具进行分析了：
查找访问频率最高的 URL 和次数：
cat access.log | awk -F ‘^A’ ‘{print $10}’ | sort | uniq -c
查找当前日志文件 500 错误的访问：
cat access.log | awk -F ‘^A’ ‘{if（$5 == 500） print $0}’
查找当前日志文件 500 错误的数量：
cat access.log | awk -F ‘^A’ ‘{if（$5 == 500） print $0}’ | wc -l
查找某一分钟内 500 错误访问的数量：
cat access.log | awk -F ‘^A’ ‘{if（$5 == 500） print $0}’ | grep ’09:00’ | wc-l
查找耗时超过 1s 的慢请求：
tail -f access.log | awk -F ‘^A’ ‘{if（$6》1） print $0}’
假如只想查看某些位：
tail -f access.log | awk -F ‘^A’ ‘{if（$6》1） print $3″|”$4}’
查找 502 错误最多的 URL：
cat access.log | awk -F ‘^A’ ‘{if（$5==502） print $11}’ | sort | uniq -c
查找 200 空白页
cat access.log | awk -F ‘^A’ ‘{if（$5==200 && $8 《 100） print $3″|”$4″|”$11″|”$6}’
查看实时日志数据流
tail -f access.log | cat -e
或者
tail -f access.log | tr ‘^A’ ‘|’
照着这个思路可以做很多其他分析，比如 UA 最多的访问；访问频率最高的 IP；请求耗时分析；请求返回包大小分析；等等。
这就是一个大型 Web 日志分析系统的原型，这样的格式也是非常方便进行后续大规模 batching 和 streaming 计算。
以上就是Linux系统Nginx日志怎么分析的全部内容了，可以看出来Nginx日志还是有很强大的作用的。

2. nginx访问日志求解最后面的IP是什么

查询现有的NGinx Log_format 格式。其中

代理服务器会在 X-Forwarded-For 头追加自己的ip , 它们用逗号分隔，一般第一个会是真实iP ，其他都是代理节点的 iP

3. nginx在哪里查看错误日志

日志在一个系统中是非常重要的，它可以监控一个应用程序的活动，因为它们为你提供有用的调试信息，并使你能够分析一个Web服务器的所有方面。像其他软件应用程序一样，Nginx也会将诸如网站访问者、遇到的问题等事件保存到日志文件中。这些有用的记录信息被用来采取先发制人的措施，以便处理日志事件中的重大严重差异。
在Nginx中记录事件的日志有两种类型，一种是访问日志，另一种是错误日志。如果你已经在Nginx核心配置文件中启用了这些日志，那么在所有Linux发行版中，你都可以在/var/log/nginx中找到这两种类型的日志。
您可以在服务器部分或HTTP中使用access_log指令启用访问日志。
access_log log_file log_format ;
第一个参数’log_file’是强制性的，而第二个参数是可选的’log_format’。如果您未提及日志格式，则将以默认的组合格式键入日志。
默认情况下，访问日志是在Nginx配置文件中定义的。因此，所有虚拟主机的访问日志将存储在同一配置文件中。
http {
access_log /var/log/nginx/access.log;
}
重新加载新的NGINX配置。现在，您可以使用以下命令在文件/var/log/nginx/example.access.log中访问example.com域的访问日志：
$ sudo tail -f /var/log/nginx/example.access.log
当需要禁用错误日志时，请将日志文件的名称分配给/dev/null。
error_log/dev/null;
Nginx错误日志的安全级别
您可以在错误日志中使用以下安全级别：
emerg：当系统不稳定时，用于紧急消息
alert：生成严重问题的警报消息。
crit：用于紧急情况下立即处理。
error：处理页面时，可能会发生错误。
warn：用于警告消息
notice：您也可以忽略的通知日志。
info：有关信息，消息
debug：指向用于调试信息的错误位置。
Nginx访问和错误日志对于记录某些活动非常有用,

4. 如何设置nginx日志格式来查看负载分担结果

nginx配置好负载分担后，测试的时候，如何查看负载分担情况：通过设置nginx日志显示：
nginx服务器日志相关指令主要有两条，一条是log_format，用来设置日志格式，另外一条是access_log，用来指定日志文件的存放路径、格式和缓存大小，一般在nginx的配置文件中日记配置(/usr/local/nginx/conf/nginx.conf)。
nginx的log_format有很多可选的参数用于指示服务器的活动状态，默认的是：
log_format access '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';

5. nginx 日志格式的$http_x_forwarded_for 无法纪录访问ip，得到的一条小扛'-',这是为什么呢，求解答

直接访问后端服务器，或者反向代理前端服务器没有设置这个值，必须要设置才有值，否则就是"-"。
试试在前端nginx配置server{}块中加入：
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

6. Nginx相关知识点

Nginx是lgor Sysoev为俄罗斯访问量第二的rambler.ru站点设计开发的。从2004年发布至今，凭借开源的力量，已经接近成熟与完善。

Nginx功能丰富，可作为HTTP服务器，也可作为反向代理服务器，邮件服务器。支持FastCGI、SSL、Virtual Host、URL Rewrite、Gzip等功能。并且支持很多第三方的模块扩展。

Nginx的稳定性、功能集、示例配置文件和低系统资源的消耗让他后来居上，在全球活跃的网站中有12.18%的使用比率，大约为2220万个网站。

自行安装

正向代理: 代理服务器站在客户端那边就是正向代理;
反向代理: 代理服务器站在原始服务器那边就是反向代理;
详解参考点击 Nginx正向代理与反向代理

Nginx在做反向代理时，提供性能稳定，并且能够提供配置灵活的转发功能。
Nginx可以根据不同的正则匹配，采取不同的转发策略，比如图片文件结尾的走文件服务器，动态页面走web服务器，只要你正则写的没问题，又有相对应的服务器解决方案，你就可以随心所欲的玩。
并且Nginx对返回结果进行错误页跳转，异常判断等。如果被分发的服务器存在异常，他可以将请求重新转发给另外一台服务器，然后自动去除异常服务器。

如果你的nginx服务器给2台web服务器做代理，负载均衡算法采用轮询，那么当你的一台机器web程序iis关闭，也就是说web不能访问，那么nginx服务器分发请求还是会给这台不能访问的web服务器，如果这里的响应连接时间过长，就会导致客户端的页面一直在等待响应，对用户来说体验就打打折扣，这里我们怎么避免这样的情况发生呢。这里我配张图来说明下问题。

如果负载均衡中其中web2发生这样的情况，nginx首先会去web1请求，但是nginx在配置不当的情况下会继续分发请求道web2，然后等待web2响应，直到我们的响应时间超时，才会把请求重新分发给web1，这里的响应时间如果过长，用户等待的时间就会越长。

下面的配置是解决方案之一:

如果使用upstream指令配置了一组服务器作为被代理服务器，服务器中的访问算法遵循配置的负载均衡规则，同时可以使用该指令配置在发生哪些异常情况时，将请求顺次交由下一组服务器处理。

Nginx提供的负载均衡策略有2种：内置策略和扩展策略。
内置策略: 1.轮询;2.加权轮询;3.Ip hash;
扩展策略: 就天马行空，只有你想不到的没有他做不到的啦，你可以参照所有的负载均衡算法，给他一一找出来做下实现。

Ip hash算法，对客户端请求的ip进行hash操作，然后根据hash结果将同一个客户端ip的请求分发给同一台服务器进行处理，可以解决session不共享的问题。

eg:

开启简单的缓存配置，只需要两个指令：proxy_cache_path和proxy_cache。
proxy_cache_path: 配置缓存的存放地址和其他的一些常用配置;
proxy_cache:指令是为了启动缓存;

nginx访问日志格式

与nginx访问日志格式相关的资讯