脚本备份日志数据到HDFS上（适合小数据量）

2020-04-19 22:24
来源:分享电脑学习

原标题：脚本备份日志数据到HDFS上（适合小数据量）

利用shell脚本定时备份日志数据到HDFS上（适合日志数据比较少的时候）

时间命令

date +"%Y%m%d" 今天的日期

date -d "1 day ago" +"%Y%m%d" 昨天的日期

date -d "-1 day" +"%Y%m%d" 昨天的日期

获取昨天的日志：

mv access.log 20200128access.log

在nginx目录下创建一个目录：mkdir scripts

创建脚本：vi cut_nginx_log.sh

授权chmod 755 cut_nginx_log.sh

代码编写

测试执行

日志剪切走了

再创建一个脚本：vi put_log_hdfs.sh

授权chmod 755 put_log_hdfs.sh

编写脚本内容

测试执行

可以看到HDFS上有数据

再写一个脚本，分别调用两个脚本 total_put_and_cut_log.sh

授权chmod 755 total_put_and_cut_log.sh

第一个脚本调用完了之后

睡眠1分钟，让第一个脚本有充足的时间备份

再调用第二个脚本

测试执行

这里因为刚刚已经上传了所以文件已经存在

定时执行crontab：

crontab -e

00 00 * * * /bin/sh /user/local/nginx/logs/apps/nginx/logs/scripts/total_put_and_cut_log.sh查看任务：crontab -l

需要重启crontab：

service crond restart返回搜狐，查看更多

责任编辑：

声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。
阅读 ()