日志切割脚本
A. linux下使用cronolog切割服务器日志文件的方法
Linux下运行的Web服务器Apache，默认日志文件是不分割的，一个整文件既不易于管理，也不易于分析统计。安装cronolog后，可以将日志文件按时间分割，易于管理和分析。
cronolog安装配置非常简单，下载后只需要输入几个命令即可完成。
1、下载（最新版本）
# wget http://cronolog.org/download/cronolog-1.6.2.tar.gz
2、解压缩
# tar zxvf cronolog-1.6.2.tar.gz
3、进入cronolog安装文件所在目录
# cd cronolog-1.6.2
4、运行安装
# ./configure
# make
# make install
5、查看cronolog安装后所在目录（验证安装是否成功）
# which cronolog
一般情况下显示为：/usr/local/sbin/cronolog
整个安装过程结束，下面需要把日志的格式配置一下：
1、虚拟主机配置文件 httpd-vhosts.conf
将Web日志设置 CustomLog 修改为以下格式
CustomLog "|/usr/local/sbin/cronolog /www/logs/example_%Y%m%d.log" combined
当然，错误日志设置 ErrorLog 也可以利用 cronolog 分割，设置为
ErrorLog "|/usr/local/sbin/cronolog /www/logs/error_%Y%m%d.log"
2、如果服务器上只有一个站点（当然这种情况比较少），直接按上面所说格式修改 httpd.conf 文件日志设置部分。
说明：
绿色部分 为 cronolog 安装后所在位置，系统版本不同可能位置不完全一样，以 which 命令查看到的位置为准；
蓝色部分 为设置的日志文件所在位置，根据需要修改；
红色部分 为设置的日志文件标识性字符，根据需要修改；
%Y%m%d 为日志文件分割方式，例子中为“年月日”，也可以修改成自己需要的。
修改httpd.conf文件：
这个文件在我的电脑上是在 /etc/httpd/conf/httpd.conf 不同的服务器 应该是不一样的
在最后加上
# ServerAdmin [email protected]
# DocumentRoot /www/docs/mmy-host.example.com
# ServerName mmy-host.example.com
ErrorLog /data/logs/apache/webapps.wps.cn-error_log
CustomLog "|/usr/local/sbin/cronolog /data/logs/apache/%Y%m%d/access_log.%H" combined
#这个保证了每天一个文件夹 文件夹下 每个小时产生一个log
#CustomLog "|/usr/local/sbin/cronolog /data/logs/apache/%Y%m%%Hdaccess_log" combined
进入到 /etc/init.d/httpd configtest 这样验证你的配置文件是否正确
进入到 /etc/init.d/httpd restart 重启apache 服务器（不同的'系统应该是不一样 要自己找到）
用于Tomcat
第一步
将
if [ -z "$CATALINA_OUT" ] ; then
CATALINA_OUT="$CATALINA_BASE"/logs/catalina.out
fi
修改为
if [ -z "$CATALINA_OUT" ] ; then
CATALINA_OUT="$CATALINA_BASE"/logs/catalina.out.%Y-%m-%d
fi
第二步
将
touch "$CATALINA_OUT"
改为
#touch "$CATALINA_OUT"
第三步
将
org.apache.catalina.startup.Bootstrap "$@" start
>> "$CATALINA_OUT" 2>&1 &
修改为
org.apache.catalina.startup.Bootstrap "$@" start 2>&1
| /usr/local/sbin/cronolog "$CATALINA_OUT" >> /dev/null &
重新启动 Tomcat
service tomcat restart
可以在 Tomcat 的 logs 目录底下找到以系统日期为结尾的 catalina.out.yyyy-mm-dd 的档案，这样子就成功了。
后续就是持续观察看看是不是每天都有产生一个新的 catalina.out.yyyy-mm-dd 档案。然后再安排定期删除这些较旧的 log 档即可。
B. Linux shell脚本按日期 切割pm2日志
linux shell脚本按日期 切割pm2日志 （解决定时任务pm2命令无法执行问题，原因：没有环境变量）
首先在输入命令echo $PATH 拿到当前系统环境变量
然后在/root/.pm2目录新建cutlog.sh文件（注意：第一句一定要有，设置当前shell脚本里面的环境变量，没有的话pm2命令会无法执行）
PATH=/root/.nvm/versions/node/v6.10.3/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
CURPATH=/root/.pm2
OUTPATH=/home/cutLogsDate
mkdir -p $OUTPATH
INPUTPATH=$CURPATH/logs
reloadProcessLogs(){
logFilesGame="${INPUTPATH}/$1"
yesterday=`date -d last-day '+%Y%m%d_'$2`
logOfLastDay=$OUTPATH/$yesterday.log
mv $logFilesGame $logOfLastDay
touch $logFilesGame
echo "切割$1成功"
}
reloadProcessLogs 'game-out-0.log' 'game_out'
pm2 reloadLogs设置定时任务
输入crontab -e命令编辑
0 3 * * * sh /root/.pm2/cutlog.sh
C. Nginx日志切割方法（包含docker容器中nginx日志的切割）
logrotate软件简介
logrotate 是一个 Bash 的 SHELL 脚本，可对日志文件进行切分，并将切分后的日志放在统一目录。
logrotate 要求 GNU bash、GNU gzip 和 GNU date。
logrotate 实用程序旨在简化在生成大量日志文件的系统上对日志文件的管理。允许自动循环压缩，删除和邮寄日志文件。可以将logrotate设置为每小时、每天、每周、每月或当日志文件达到一定大小时处理日志文件。
一般来说，logrotate是linux自带的服务，根据不同日志服务配置独立的配置文件，一般是在/etc/logrotate.d。
切割nginx日志的配置文件内容如下：(nginx安装在宿主机上)
切割nginx日志的配置文件内容如下：(nginx安装在docker容器上)
脚本说明：
"nginx"为容器名称，可以按实际调整
文件中“/var/log/nginx/”为nginx日志默认目录，由于在nginx.conf文件中可以调整日志目录，所以需要跟据需求调整。
检测命令：
logrotate -d -f /etc/logrotate.d/docker_nginx
手动执行命令：
logrotate -f /etc/logrotate.d/docker_nginx
配置自定义的crontab任务
把 logrotate 的任务计划删掉，在每天凌晨00:00进行切割nginx日志
logrotate参数：
D. Linux系统下nginx日志每天定时切割的脚本写法
下面是deepvps自己用的自动每天定时切割Nginx日志的`脚本，很方便很好用，推荐给大家使用。本脚本也是参考了张宴老师的文章，再次感谢张宴老师。
1、创建脚本/usr/local/nginx/sbin/cut_nginx_log.sh
vi /usr/local/nginx/sbin/cut_nginx_log.sh
输入以下内容：
#!/bin/bash
# This script run at 00:00
# The Nginx logs path
logs_path=”/home/www/logs/”
mkdir -p ${logs_path}$(date -d “yesterday” +”%Y”)/$(date -d “yesterday” +”%m”)/
mv ${logs_path}access.log ${logs_path}$(date -d “yesterday” +”%Y”)/$(date -d “yesterday” +”%m”)/access_$(date -d “yesterday” +”%Y%m%d”).log
kill -USR1 `cat /usr/local/nginx/nginx.pid`
2、设置crontab，每天凌晨00:00切割nginx访问日志
crontab -e
输入以下内容：
00 00 * * * /bin/bash /usr/local/nginx/sbin/cut_nginx_log.sh
E. nginx日志切割脚本，手动执行没问题，计划任务执行得到的日志文件为空，请问这是什么问题啊
应该是没执行完，设置断点看一下在什么地方中断了。建议自动脚本里面所有命令和参数都写绝对路径，有时候相对路径的问题可能会影响命令的执行。
F. nginx日志切割脚本怎么运行
创建当前时间目录，比如年/月目录
然后将当前指定的日志，剪切到该创建好的目录下
重启nginx服务，重新生成0kb大小的新日志文件
通过计划任务，周期性执行以上切割日志，重新生成日志的操作就能达到既让日志文件保持一定大小而且又能按照指定的时间格式和目录进行存放。方面查询的便利和文件打开的快速。
切割脚本代码如下：
1 #!/bin/bash
2
3 #原nginx日志存放路径
4 log_files_path="/home/wwwlogs/"
5
6 #nginx切割后存放路径
7 log_files_dir=${log_files_path}$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")
8
9 #待切割日志名称集合如access.log error.log
10 log_files_name=(access error)
G. Ingress-nginx日志切割与轮循方案
一， 基础镜像
由于我们已解决了权限的问题，所以不需要initContainer来更改权限。日志切割和轮循，基于镜像：hub.c.163.com/combk8s/logrotate:v1.1
从history看，这个镜像也只是在alpine之上，安装了bash,logrotate软件，然后，拷贝并启动了start.sh文件。
二， Dockerfile
为了不与k8s绑死，我们不使用configmap作配置文件，而是使用使用环境变量生成nginx.log配置。
Dockerfile
nginx.log模板
start.sh重写
脚本使用传入的环境变量，替换掉nginx.log模板文件中的对应变量。没有环境变量时，也提供必要默认值。
暂时计划是每天凌晨产生备份，只保存最近两个备份。
三， Yaml集成
在ingress应用的yaml文件里，植入一个新的container即可。
四，验证
kubectl logs -f pod可以看到crontab输出
五， logrotate和crontab联动细节想象
start.sh中写入/etc/crontabs/root文件中的数据：
0 */2 * * * /usr/sbin/logrotate -v /etc/logrotate.conf
表示logrotae命令每2小时执行一次，它会将nginx.log配置中的周期(daily)写入/etc/periodic/daily/logrotate文件(如果设置了size,会无视 daily, weekly,monthly 指令，所以size的优先级比较高。)。
/etc/periodic/daily/logrotate中的动态生成的内容如下：
此文件会被/etc/crontabs/root中的如下行触发：
0 2 * * * run-parts /etc/periodic/daily
于是，这时就会在每天凌晨2点，生成日志切割和归档文件。
神奇~
六，Logrotate参数
compress/nocompress---gzip压缩/不压缩
truncate/notruncate---用于还在打开中的日志，把当前日志备份并截断/备份但是不截断
create mode ower group/nocreate---指定文件模式创建新的日志文件/不创建新的日志文件
delaycompress/nodelaycompress ---和compress一起，日志到下一次转存是压缩/转存同时压缩
ifempty/notifempty ---空文件也转存，默认/空文件不转存
mail address / nomail--- 日志发送到指定的mail地址
olddir directory/noolddir--- 转存后日后i文件放入指定目录，必须和当前日志文件同一个文件系统
prerotate/endscript--- 在执行转存之前需执行的命令，关键字必须单独占行
postroutate/endscript ---在执行转存之后需执行的命令，关键字必须单独占行
daily ---周期每天
weekly ---周期每周
monthly ---周期每月
rotate count ---转存次数，0表示不备份，5表示保留5个备份
size size ---当指定文件达到指定大小时才转存
tabootext[+] list ---不转存指定的扩展名，默认扩展名含.rpm-oring
error address ---错误信息发送到指定的mail地址
missingok ---如果日志文件丢失，进入到下一个不发出错误消息
sharedscripts ---可以写多个日志文件，同时执行一个脚本，搭配脚本关键字
include ---包含文件
dateext ---为日志打上日期标签
七，参考URL
https://my.oschina.net/u/4605142/blog/4521708
https://www.jb51.net/article/183828.htm
H. nginx日志切割脚本怎么运行
第一步就是重命名日志文件，不用担心重命名后nginx找不到日志文件而丢失日志。在你未重新打开原名字的日志文件前，nginx还是会向你重命名的文件写日志，linux是靠文件描述符而不是文件名定位文件。
第二步向nginx主进程发送USR1信号。
nginx主进程接到信号后会从配置文件中读取日志文件名称，重新打开日志文件(以配置文件中的日志名称命名)，并以工作进程的用户作为日志文件的所有者。
重新打开日志文件后，nginx主进程会关闭重名的日志文件并通知工作进程使用新打开的日志文件。
工作进程立刻打开新的日志文件并关闭重名名的日志文件。
然后你就可以处理旧的日志文件了。
二、脚本实现
nginx日志按日期自动切割脚本如下：
复制代码代码如下:
#nginx日志切割脚本
#!/bin/bash
#设置日志文件存放目录
logs_path="/usr/local/nginx/logs/"
#设置pid文件
pid_path="/usr/local/nginx/nginx.pid"
#重命名日志文件
mv
${logs_path}access.log
${logs_path}access_$(date
-d
"yesterday"
+"%Y%m%d").log
#向nginx主进程发信号重新打开日志
kill
-USR1
`cat
${pid_path}`
保存以上脚本nginx_log.sh，并设置定时切割任务
I. nginx多server日志分割脚本
1，配置多个server日志只要在$website变量增加并用空格分开就行。
2，循环创建日志目录
3，分割后用xz 压缩，当然没安装可以用gzip bzip2等等。
4，注意我配置nginx日志文件名为 "access_{{站点网站}}.log" "error_{{站点网站}}.log"
复制代码 代码如下:
# !/usr/bin/bash
log_dir="/usr/local/nginx/logs"
back_log_dir="/disk110/nginx_log"
time=`date +%Y%m%d-%H:%M:%S`
website="www.test1.com www.test2.com www.test3.com";
for i in $website
do
if [ ! -d ${back_log_dir}/${i} ]
then
mkdir ${back_log_dir}/${i}
fi
done
for i in $website
do
if [ -s ${log_dir}/access_${i}.log ]
then
mv ${log_dir}/access_${i}.log ${back_log_dir}/${i}/access_${time}.log
fi
if [ -s ${log_dir}/error_${i}.log ]
then
mv ${log_dir}/error_${i}.log ${back_log_dir}/${i}/error_${time}.log
fi
done
kill -USR1 `cat /usr/local/nginx/logs/nginx.pid`
for i in $website
do
if [ -s ${back_log_dir}/${i}/access_${time}.log ]
then
xz ${back_log_dir}/${i}/access_${time}.log
fi
if [ -s ${back_log_dir}/${i}/error_${time}.log ]
then
xz ${back_log_dir}/${i}/error_${time}.log
fi
done