当前位置:网站首页 > 技术博客 > 正文

搭建rsyslog日志服务器



  • Rsyslog的全称是 rocket-fast system for log ,。
  • 它提供了高性能、强大的安全功能和模块化设计。虽然rsyslog最初是一个常规的系 统日志,但它已经发展成为一种瑞士军刀式的日志记录,当应用有限处理时, RSYSLOG每秒可以向本地目的地发送超过一百万条消息。即使使用远程目的地和更 精细的处理,性能通常被认为是“惊人的”。
  • rsyslog是一个开源工具,被广泛用于Linux系统以通过TCP/UDP协议转发或接收日 志消息。rsyslog守护进程可以被配置成两种环境,一种是配置成日志收集服务器, rsyslog进程可以从网络中收集其它主机上的日志数据,这些主机会将日志配置为发 送到另外的远程服务器。rsyslog的另外一个用法,就是可以配置为客户端,用来过 滤和发送内部日志消息到本地文件夹(如/var/log)或一台可以路由到的远程rsyslog 服务器上。
  • 官网地址:https://www.rsyslog.com/
  • 在 CentOS 6.x 中,日志服务已经由 rsyslogd 取代了原先的 syslogd。Red Hat 公司 认为 syslogd 已经不能满足工作中的需求,rsyslogd 相比 syslogd 具有一些新的特 点:
  • 基于TCP网络协议传输日志信息。
  • 更安全的网络传输方式。
  • 有日志信息的即时分析框架。
  • 后台数据库。
  • 在配置文件中可以写简单的逻辑判断。
  • 与syslog配置文件相兼容。
  • rsyslogd 日志服务更加先进,功能更多。但是,不论是该服务的使用,还是日志文 件的格式,其实都是和 syslogd 服务相兼容的,所以学习起来基本和 syslogd 服务一 致。

我们如何知道 Linux 中的 rsyslogd 服务是否启动了呢?如何查询 rsyslogd 服务的自 启动状态呢?命令如下:

#有rsyslogd服务的进程,所以这个服务已经启动了

  • 系统中的绝大多数日志文件是由 rsyslogd 服务来统一管理的,只要各个进程将信息 给予这个服务,它就会自动地把日志按照特定的格式记录到不同的日志文件中。也就 是说,采用 rsyslogd 服务管理的日志文件,它们的格式应该是统一的。
  • 在 Linux 系统中有一部分日志不是由 rsyslogd 服务来管理的,比如 apache 服务, 它的日志是由 Apache 软件自己产生并记录的,并没有调用 rsyslogd 服务。但是为 了便于读取,apache 日志文件的格式和系统默认日志的格式是一致的。

日志文件是重要的系统信息文件,其中记录了许多重要的系统事件,包括用户的登录 信息、系统的启动信息、系统的安全信息、邮件相关信息、各种服务相关信息等。这 些信息有些非常敏感,所以在 Linux 中这些日志文件只有 root 用户可以读取。 那么,系统日志文件保存在什么地方呢?还记得 /var/ 目录吗?它是用来保存系统动 态数据的目录,那么 /var/log/ 目录就是系统日志文件的保存位置。我们通过表 1 来 说明一下系统中的重要日志文件。

除系统默认的日志之外,采用 RPM 包方式安装的系统服务也会默认把日志记录在 /var/log/ 目录中(源码包安装的服务日志存放在源码包指定的目录中)。不过这些 日志不是由 rsyslogd 服务来记录和管理的,而是各个服务使用自己的日志管理文档 来记录自身的日志。以下介绍的日志目录在你的 Linux 上不一定存在,只有安装了相应的服务,日志才会出现。服务日志如表 2 所示:

只要是由日志服务 rsyslogd 记录的日志文件,它们的格式就都是一样的。所以我们只要了解了日志文件的格式,就可以很轻松地看懂日志文件。

日志文件的格式包含以下 4 列:

  • 事件产生的时间。
  • 产生事件的服务器的主机名。
  • 产生事件的服务名或程序名。
  • 事件的具体信息。

我们查看一下 /var/log/secure 日志,这个日志中主要记录的是用户验证和授权方面的信息,更加容易理解。命令如下:

我截取了一段日志的内容,注释了其中的三句日志,剩余的两句日志大家可以看懂了吗?其实分析日志既是重要的系统维护工作,也是一项非常枯燥和烦琐的工作。如果我们的服务器出现了一些问题,比如系统不正常重启或关机、用户非正常登录、服务无法正常使用等,则都应该先查询日志。实际上,只要感觉到服务器不是很正常就应该查看日志,甚至在服务器没有什么问题时也要养成定时查看系统日志的习惯

Linux系统日志

日期时间 主机进程[pid]:事件内容


rsyslogd 服务是依赖其配置文件 来确定哪个服务的什么等级的日志信息会被记录在哪个位置的。也就是说,。

该配置文件的基本格式如下所示:

我们首先需要确定 rsyslogd 服务可以识别哪些服务的日志,也可以理解为以下这些 服务委托 rsyslogd 服务来代为管理日志。这些服务如表 1 所示。

  • 这些日志服务名称是rsyslogd服务自己定义的,并不是实际的Linux的服务。当有服 务需要由rsyslogd服务来帮助管理日志时,只需要调用这些服务名称就可以实现日志 的委托管理。
  • 这些日志服务名称大家可以使用命令 来查看。虽然我们的日志管理服 务已经更新到rsyslogd,但是很多配置依然沿用了syslogd服务,在帮助文档中仍然 查看syslog服务的帮助信息。

日志服务连接日志等级的格式如下:

在这里,连接符号可以被识别为以下三种。

  1. 代表只要比后面的等级高的(包含该等级)日志都记录。比如,“cron.info”代 表cron服务产生的日志,只要日志等级大于等于info级别,就记录。
  1. 代表只记录所需等级的日志,其他等级的日志都不记录。比如,“*.=emerg” 代表人和日志服务产生的日志,只要等级是emerg等级,就记录。这种用法极少 见,了解就好。
  1. 代表不等于,也就是除该等级的日志外,其他等级的日志都记录。

  • 每个日志的重要性都是有差别的,比如,有些日志只是系统的一个日常提醒,看不看根本不会对系统的运行产生影响;但是有些日志就是系统和服务的警告甚至报错信息,这些日志如果不处理,就会威胁系统的稳定或安全。如果把这些日志全部写入一个文件,那么很有可能因为管理员的大意而忽略重要信息。
  • 邮件的等级信息也可以使用“man 3 syslog”命令来查看。日志等级如表 2 所示,我们按照严重等级从低到高排列.

其中,panic、error、warn均为旧的标识符,不再建议使用。

在定义level级别的时候,需要注意两点:

  1. 优先级是由应用程序在编程的时候已经决定的,除非修改源码再编译,否则不能 改变消息的优先级;
  1. 低的优先级包含高优先级,例如,为某个应用程序定义info的日志导向,则涵盖 notice、warning、err、crit、alert、emerg等消息。(除非使用=号定义)

日志记录位置就是当前日志输出到哪个日志文件中保存,当然也可以把日志输出到打 印机打印,或者输出到远程日志服务器上(当然,远程日志服务器要允许接收才 行)。日志的记录位置也是固定的:

  • 日志文件的绝对路径。这是最常见的日志保存方法,如“/var/log/secure”就是用 来保存系统验证和授权信息日志的。
  • 系统设备文件。如“/dev/lp0”代表第一台打印机,如果日志保存位置是打印机设 备,当有日志时就会在打印机上打印。
  • 转发给远程主机。因为可以选择使用 TCP 和 UDP 协议传输日志信息,所以有两 种发送格式:。当然,只要 192.168.0.210 同意接收此日 志,就可以把日志内容保存在日志服务器上。
  • 用户名。如果是“root”,就会把日志发送给 root 用户,当然 root 要在线,否则 就收不到日志信息了。发送日志给用户时,可以使用“*”代表发送给所有在线用 户,如“mail.”就会把 mail 服务产生的所有级别的日志发送给所有在线用户。 如果需要把日志发送给多个在线用户,则用户名之间用“,”分隔。
  • 忽略或丢弃日志。如果接收日志的对象是“~”,则代表这个日志不会被记录,而 被直接丢弃。如“local3.* ~”代表忽略 local3 服务类型所有的日志都不记录。


我们知道了/etc/rsyslog.conf 配置文件中日志的格式,接下来就看看这个配置文件的 具体内容。

由三部分组成:严格按照配置段位置添加配置 ;

  • MODULES:定义了模块的选修,这个部分主要用来配置模板,模板的作用是指定 你希望在日志文件中保存的日志格式。
  • GLOBAL DIRECTIVES:定义了全局的环境
  • RULES:定义了记录日志的设施以及等级等信息

其实系统已经非常完善地定义了这个配置文件的内容,系统中重要的日志也已经记录 得非常完备。如果是外来的服务,如 apache、Samba 等服务,那么这些服务的配 置文件中也详细定义了日志的记录格式和记录方法。


  • 我们知道,使用“@IP:端口”或“@@IP:端口”的格式可以把日志发送到远程主机上, 那么这么做有什么意义吗?
  • 假设我需要管理几十台服务器,那么我每天的重要工作就是查看这些服务器的日志, 可是每台服务器单独登录,并且查看日志非常烦琐,。
  • 如何实现日志服务器的功能呢?其实并不难,不过我们首先需要分清服务器端和客户 端。
  1. 一种是配置成日志收集服务器,rsyslog进程可以从网络中收集其它主机上的日志数 据,这些主机会将日志配置为发送到另外的远程服务器。
  1. 另外一种是就是可以配置为客户端,用来过滤和发送内部日志消息到本地文件夹 (如/var/log)或一台可以路由到的远程rsyslog服务器上。

项目主机规划

rsyslog SERVER :(接受端) IP:192.168.198.140

rsyslog Client:(发送端) IP:192.168.198.138


在 GLOBAL DIRECTIVES 之前追加如下配置:

说明:

  1. $template IpTemplate(“IpTemplate” 可自定义)指令使 rsyslog 后台进程将日 志消息写到 /var/log 下的单独的本地日志文件中,其中日志文件的名称是基于远 程日志发送机器的主机名以及生成该日志的应用程序名进行定义的。
  1. *.* ?IpTemplate 将 IpTemplate 模板应用到所有接收到的日志上 。

rsyslog 接收远程日志且去掉日志头配置如图所示:

具体文件配置内容如下:

修改配置后需要重启服务:systemctl restart rsyslog

发送日志的配置很简单,只需要配置要发送的地址就 ok,如果出于某种原因,你需要更为可靠的协议,如TCP,而rsyslog服务器也被配置为监听TCP连接,你必须在远程主机的IP地址前添加一个额外的@字符

修改配置后需要重启服务:systemctl restart rsyslog


logger的使用

logger 是一个shell 命令接口,可以通过该接口使用Syslog的系统日志模块,还可以 从命令行直接向系统日志文件写入一行信息。

  • -i 在每行都记录进程ID
  • -t 日志中的每一行都加一个error标签
  • -p 指定自定义的日志设备,和配置文件的
  • local5.*对应,配置文件里没有.info。

使用示例:

logger -it error -p local5.info "hello world"

服务端可以查看到含有IP的日志名,并可以查看到我们之前触发的日志,这里测试完 毕。


  • 日志是重要的系统文件,记录和保存了系统中所有的重要事件。
  • 这项工作如果靠管理员手工来完成,那其实是非常烦琐的,而且也容易忘记。那 么 Linux 系统是否可以自动完成日志的轮替工作呢?
  • logrotate 就是用来进行日志轮替(也叫日志转储)的,比如今天()生成了一个日志文件叫boot.log,明天查看时,它就会改名叫boot-.log,后面跟了一个时间戳,而这天会新产生一个日志文件boot.log,依此类推】
  • 。我们可以根据日志文件的大小、天数等来转储,便于对日志文件管理, 一般都是通过cron计划任务来完成的 。


  • 日志轮替最主要的作用就是把旧的日志文件移动并改名,同时建立新的空日志文件, 当旧日志文件超出保存的范围时就删除。那么,旧的日志文件改名之后,。
  • 。这样日志文件名不会重叠,也就不需要对日志文件进行改名, 只需要保存指定的日志个数,删除多余的日志文件即可。
  • 如果配置文件中没有“dateext”参数,那么日志文件就需要进行改名了。当第一次进 行日志轮替时,当前的“secure”日志会自动改名为“secure.1”,然后新建“secure”日 志,用来保存新的日志;当第二次进行日志轮替时,“secure.1”会自动改名为 “secure.2”,当前的“secure”日志会自动改名为“secure.1”,然后也会新建“secure”日 志,用来保存新的日志;以此类推。

我们来查看一下 logrotate 的配置文件 /etc/logrotate.conf 的默认内容

在这个配置文件中,主要分为三部分:

  1. 第一部分是默认设置,如果需要转储的日志文件没有特殊配置,则遵循默认设置 的参数;
  1. 第二部分是读取 /etc/logrotate.d/ 目录中的日志轮替的子配置文件,也就是说, 在 /etc/logrotate.d/ 目录中的所有符合语法规则的子配置文件也会进行日志轮 替;
  1. 第三部分是对 wtmp 和 btmp 日志文件的轮替进行设定,如果此设定和默认参 数冲突,则当前设定生效(如 wtmp 的当前参数设定的轮替时间是每月,而默 认参数的轮替时间是每周,则对 wtmp 这个日志文件来说,轮替时间是每月, 当前的设定参数生效)。

logrotate 配置文件的主要参数如表 1 所示。

这些参数中较为难理解的应该是 prerotate/endscript 和 postrotate/endscript,我 们利用“man logrotate”中的例子来解释一下这两个参数。例如:

这个子配置文件,没有指定的参数都会以默认方式轮转


如果有些日志默认没有加入日志轮替(比如源码包安装的服务的日志,或者自己添加 的日志),那么这些日志默认是不会进行日志轮替的,这样当然不符合我们对日志的 管理要求。如果需要把这些日志也加入日志轮替,那该如何操作呢?

这里有两种方法:

  • 第一种方法是直接在 /etc/logrotate.conf 配置文件中写入该日志的轮替策略,从 而把日志加入轮替;
  • 第二种方法是在 /etc/logrotate.d/ 目录中新建立该日志的轮替文件,在该轮替文 件中写入正确的轮替策略,因为该目录中的文件都会被包含到主配置文件中,所 以也可以把日志加入轮替。

我们推荐第二种方法,因为系统中需要轮替的日志非常多,如果全部直接写入 /etc/logrotate.conf 配置文件,那么这个文件的可管理性就会非常差,不利于此文件 的维护。

设置YUM日志轮转

具体步骤如下:

①编写yum的日志轮转

②先看看原本log目录下有哪些yum日志

③给yum日志里追加内容,使它满足最小存储大小为3k的条件;

④执行ll -h命令发现大小为45k,满足条件

⑤执行下面的命令。使它重新加载;

⑥这时我们进行查看,发现有一个日志yum.log.2;日志转储成功。

⑦这时候你持续追加内容,一直生成了四个转储日志,这时你的yum.log日志也满足最小转储大小为3k的转储条件

执行重新加载命令

发现它没有新生成转储日志,因为在编写yum的日志轮转时,设置了会保留4个转储日志,想要生成新的就得删除旧的转储日志;

但你仔细观察就会发现,虽然它没有生成新的转储日志,但是它替换了原来的转储日志。

版权声明


相关文章:

  • js原型原型链有什么特点2024-11-06 09:01:00
  • amc数学竞赛什么时候出成绩2024-11-06 09:01:00
  • 超线程技术开启还是关闭2024-11-06 09:01:00
  • 前端实现权限管理2024-11-06 09:01:00
  • java bitset用法2024-11-06 09:01:00
  • 进程和线程的相同点2024-11-06 09:01:00
  • 尺度空间.apk2024-11-06 09:01:00
  • select中嵌套一个select2024-11-06 09:01:00
  • 数据库有哪些?2024-11-06 09:01:00
  • layer获取弹出层2024-11-06 09:01:00