网安
  • Develop
    • JAVA学习
      • 字节码
      • API开发
      • Web开发
      • 工程结构推荐
      • 创建第一个项目
      • 权限管控
      • 配置文件
      • 日志管理
      • 数据访问
      • 性能监控
      • IoC容器
      • Spring
      • Filter与Listener
      • jsp
      • MVC
      • servlet-1
      • servlet-2
      • servlet-3
      • servlet-4
      • FreeMarker
      • Thymeleaf
      • EL
      • SpEL
      • JSTL
      • 部署
      • JDBC
      • 数据库连接池
      • fastjson
      • jackson
      • XML
      • JSON
      • 序列化
      • Maven
      • 安装与使用
      • 工具
      • 爬虫
    • GO学习
      • GO
        • flag 包
        • goland 远程调试
        • GoReleaser
        • OS 包
        • time 包
        • 格式化输出
    • Lua学习
      • Lua
      • 基础语法
      • LuaJIT
      • 与系统交互
    • Pyhon
      • 基础
      • Django
      • CLI
      • miniforge
      • MockingBird
      • pdb
      • pyc
      • 装的我脑血栓要犯了
      • Python101
      • 反序列化
      • 爬虫
      • Pillow
      • 图像识别
      • flask
    • Speed-Ruby
      • 入门1
      • 入门2 对象
      • 入门3 创建命令
      • Encoding类
      • File类与Dir类
      • IO
      • Proc类
      • Time类与Date类
      • 正则
      • 错误处理与异常
      • 对象、变量和常量
      • 方法
      • 数值
      • 数组
      • 条件判断
      • 循环
      • 运算符
      • Socket编程
      • 字符串
      • 并发与线程
      • 块
      • 类和模块
      • 散列
    • Web
      • HTTP
        • Connection
        • HTTP 报文
        • Vary
      • 笔记
        • 跳转
        • 认证 & 授权
        • 同源策略(SOP)
        • 文件
    • Git 学习笔记
    • JSON
      • JSON 学习笔记
    • HTML
      • Speed-HTML
      • 语法学习
      • HTML字符实体
    • XML
      • XML 学习笔记
    • 计算机基础
      • 操作系统
      • 计算机组成
      • 算法
      • 内存
      • 字符编码
    • gnuplot 学习笔记
    • regex
  • Integrated
    • Linux
      • God-Linux
      • Secure-Linux
      • Power-Linux
      • IO模型
      • Speed-Linux
      • 发行版
      • 工具
      • 启动过程
      • 进程
      • 认证
      • 日志
      • 守护进程
      • 文件
      • 信息
      • VSFTP 配置案例
      • auditd
      • containerd
      • DNS 配置案例
      • Docker
      • Docker-Compose
      • firewalld 实验
      • gpg
      • Iptables
      • httpd
      • LAMP
      • mysql
      • nfs 配置案例
      • openssl
      • PAM
      • samba 配置案例
      • terraform
      • ufw
      • VSFTP 配置案例
    • Network
      • Speed-Net
      • Power-Net
      • SDN 笔记
      • DNS
      • TLS
    • Windows
      • Secure-Win
      • Speed-Win
      • ACL
      • LDAP
      • IPC$(Internet Process Connection)
      • PDB符号文件
      • 工作组
      • WinRM
      • 角色权限
      • 凭据
      • 签名
      • 日志
      • 认证
      • 协议
      • 信息
      • 应用
      • 组策略
      • 域
      • asp站点搭建
      • Exchange 搭建
      • Windows 故障转移集群
      • Windows 基础服务搭建
      • Windows 域搭建
      • 本地抓包
      • PowerShell 笔记
    • 容器
      • Docker
    • 数据库
      • Speed-SQL
      • Power-SQL
      • MSSQL
      • MySQL
      • Postgresql
      • Redis
      • MySQL大小写问题
      • 主键和外键
      • MySQL快速入门
      • 虚拟化
        • ESXi
        • vCenter
  • Plan
    • Mac-Plan
    • Misc-Plan
    • Team-Plan
    • Thinking-Plan
    • VM-Plan
  • Sercurity
    • Power-PenTest
    • BlueTeam
      • 安全建设
      • 分析
      • 加固
      • 取证
      • 应急
      • USB取证
      • 磁盘取证
      • 内存取证
      • ClamAV 部署
      • yara 实验
      • 安防设施搭建使用
      • ZIP明文攻击
      • 流量分析
    • Crypto
      • Crypto
        • 2020 9 G60攻防大赛
        • CTF
        • 2020 9 中能融合杯工控CTF
        • 2020 10 全国工业互联网安全技术技能大赛江苏省选拔赛
        • 2020 10 全国网络与信息安全管理职业技能大赛江苏场
        • 2020 11 I²S峰会暨工业互联网安全大赛
        • 2021 6 第二届I²S峰会暨工业互联网安全大赛
        • 2021-9-第七届工控信息安全攻防竞赛
        • 2021 9 第七届全国职工职业技能大赛某市县选拔赛
        • 2021 9 全国网络与信息安全管理职业技能大赛江苏场
        • 2021-10-G60攻防大赛
    • CTF
      • CTF
      • writeup
        • 2020 9 中能融合杯工控CTF
        • 2020 9 G60攻防大赛
        • 2020 10 全国工业互联网安全技术技能大赛江苏省选拔赛
        • 2020 10 全国网络与信息安全管理职业技能大赛江苏场
        • 2020 11 I²S峰会暨工业互联网安全大赛
        • 2021 6 第二届I²S峰会暨工业互联网安全大赛
        • 2021-9-第七届工控信息安全攻防竞赛
        • 2021 9 第七届全国职工职业技能大赛某市县选拔赛
        • 2021 9 全国网络与信息安全管理职业技能大赛江苏场
        • 2021-10-G60攻防大赛
    • ICS
      • PLC攻击
      • S7comm 相关
      • 工控协议
      • 上位机安全
      • Modbus 仿真环境搭建
      • siemens 仿真搭建实验
      • S7-300 启停实验
    • IOT
      • 无线电安全
        • RFID复制卡
        • RFID基础知识
        • WiFikiller
      • 硬件安全
        • DIY键盘嵌入指纹识别模块实验记录
        • Device-Exploits
        • HID-Digispark
        • HID-KeyboardLogger
        • HID-USBHarpoon
        • HID-USBKeyLogger
      • 固件安全
        • 固件安全
        • Dlink_DWR-932B 路由器固件分析
    • Mobile sec
      • 小程序安全
      • Android安全
    • PWN
      • SLMail溢出案例
      • PWN
    • Red Team
      • OS安全
        • Linux 安全
        • Exploits
        • NTLM中继
        • Windows 安全
        • Responder欺骗
        • Windows-LOL
      • Web_Generic
        • Top 10
          • RCE
          • Fileread
          • SQLi
          • SSRF
          • SSTI
          • Web Generic
          • XSS
          • XXE
      • Web_Tricks
        • JWT 安全
        • HTTP_request_smuggling
        • OOB
        • 绕过访问
      • 靶场
        • Hello-Java-Sec 学习
        • DVWA-WalkThrough
        • pikachu-WalkThrough
        • upload-labs-WalkThrough
        • XVWA-WalkThrough
        • XSS挑战-WalkThrough
      • 实验
        • flask
        • fastjson
        • Log4j
        • nodejs
        • Shiro
        • Spring
        • Weblogic
      • 前端攻防
      • IDOR
    • 安防设备
      • Exploits
      • Bypass 技巧
    • 后渗透
      • 权限提升
      • 后渗透
      • 权限维持
      • 实验
        • C2 实验
        • Exchange
        • 端口转发实验
        • 代理实验
        • 免杀实验
        • 隧道实验
    • 软件服务安全
      • Exploits
      • CS Exploits
      • 实验
        • Docker
        • Kubernetes
        • Mysql
        • Oracle
        • PostgreSQL
        • Redis
        • vCenter
    • 协议安全
      • Exploits
    • 信息收集
      • 端口安全
      • 空间测绘
      • 信息收集
    • 语言安全
      • 语言安全
        • 语言安全
      • GO安全
        • GO安全
        • Go代码审计
      • JAVA安全
        • JAVA安全
        • JAVA代码审计
        • JAVA反序列化
        • SpEL 注入
      • PHP安全
        • PHP安全
        • bypass_disable_function
        • bypass_open_basedir
        • phpinfo
        • PHP代码审计
        • PHP反序列化
        • PHP回调函数
        • 变量覆盖
        • POP
        • 弱类型
        • 伪协议
        • 无字母数字Webshell
      • Python安全
        • pyc反编译
        • Python安全
        • Python 代码审计
        • 沙箱逃逸
      • dotnet安全
      • JS安全
    • 云安全
      • 公有云安全
    • Reverse
      • Reverse
      • FILE
        • ELF
        • BMP
        • JPG
        • PE
        • PNG
        • ZIP
        • 文件头
      • 实验
        • PYAble
          • 2-逆运算
          • 1-基本分析
          • 3-异或
          • 4-Base64
          • 5-Base64换表
          • 6-动态调试
        • Windows
          • condrv.sys 内存损坏漏洞
    • 工具
      • Aircrack
      • BloodHound
      • Burp Suite
      • frp
      • CobaltStrike
      • Ghidra
      • fscan
      • Hashcat
      • IDA
      • merlin
      • Kali
      • Metasploit
      • Mimikatz
      • ModSecurity
      • Nmap
      • nps
      • nuclei
      • pupy
      • RedGuard
      • SET
      • sliver
      • Snort
      • Sqlmap
      • Suricata
      • Sysmon
      • uncover
      • Volatility
      • Wfuzz
      • Wireshark
      • xray
    • 安全资源
      • 靶机
        • VulnHub
          • DC
            • DC2 WalkThrough
            • DC1 WalkThrough
            • DC3 WalkThrough
            • DC4 WalkThrough
            • DC5 WalkThrough
            • DC6 WalkThrough
            • DC9 WalkThrough
            • DC8 WalkThrough
          • It's_October
            • It’s_October1 WalkThrough
          • Kioptrix
            • Kioptrix2 WalkThrough
            • Kioptrix3 WalkThrough
            • Kioptrix4 WalkThrough
            • Kioptrix5 WalkThrough
          • Mission-Pumpkin
            • PumpkinGarden-WalkThrough
            • PumpkinFestival WalkThrough
            • PumpkinRaising WalkThrough
          • Symfonos
            • symfonos1 WalkThrough
            • symfonos2 WalkThrough
            • symfonos3 WalkThrough
            • symfonos5 WalkThrough
        • Wargames
          • Bandit
            • Bandit-WalkThrough
      • 面试问题
        • 面试问题
Powered by GitBook
On this page
  • 系统日志类型
  • /var/log 下的日志分类
  • 内核及系统日志
  • 用户日志
  • 程序日志
  • 日志工具
  • logrotate
  • rsyslog
  • Loganalyzer
  • Source & Reference
  1. Integrated
  2. Linux

日志


系统日志类型

日志默认存放位置:/var/log/

service auditd status       # 查看日志服务是否开启
more /etc/rsyslog.conf      # 查看日志配置情况

/var/log 下的日志分类

以下是比较常用的几个日志文件:

  • /var/log/message : 核心系统日志文件,包含系统启动引导,系统运行状态和大部分错误信息等都会记录到这个文件,因此这个日志是故障诊断的首要查看对象.

  • /var/log/dmesg : 核心启动日志,系统启动时会在屏幕显示与硬件有关的信息,这些信息会保存在这个文件里面.

  • /var/log/auth.log 或 /var/log/secure : 存储来自可插拔认证模块(PAM)的日志,包括成功的登录,失败的登录尝试和认证方式。Ubuntu 和 Debian 在 /var/log/auth.log 中存储认证信息,而 RedHat 和 CentOS 则在 /var/log/secure 中存储该信息。

  • /var/log/spooler : UUCP 和 news 设备相关的日志信息

  • /var/log/cron : 与定时任务相关的日志信息

  • /var/log/maillog : 记录每一个发送至系统或者从系统发出的邮件活动

  • /var/log/boot : 系统引导日志

  • /var/log/wtmp 和 /var/run/utmp : 由多个程序执行,记录用户登录时间

  • /var/log/kern : 存储内核的错误和警告数据,这对于排除与定制内核相关的故障尤为实用。

  • /var/log/btmp : 记录错误登录日志,这个文件是二进制文件,可以使用 lastb 命令查看

  • /var/log/cups : 记录打印信息的日志

  • /var/log/lastlog : 记录系统中所有用户最后一次登录时间的日志,这个文件是二进制文件,可以使用 lastlog 命令查看

  • /var/log/rpmpkgs : 记录系统中安装各 rpm 包列表信息。


内核及系统日志

这种日志由 syslog 统一管理,根据其主配置文件 /etc/syslog.conf 中的设置决定将内核消息及各种系统程序消息记录到什么位置。 用户日志:这种日志数据用于记录 Linux 系统用户登录及退出系统的相关信息,包括用户名、登录的终端、登录时间、来源主机、正在使用的进程操作等。 程序日志:有些应用程序运会选择自己来独立管理一份日志文件(而不是交给 syslog 服务管理),用于记录本程序运行过程中的各种事件信息。由于这些程序只负责管理自己的日志文件,因此不同的程序所使用的日志记录格式可能会存在极大差异。

内核为2.6.18时候使用的是 syslog 服务 注: 内核为2.6.32以后 syslog 被命名为 rsyslog,所以配置文件名称也不一样

通过查看 /etc/rsyslog.conf ,可查看相关系统日志配置情况。

message 日志,一般内核及大多数系统消息都被记录到公共日志文件 /var/log/messages 中,而其他一些程序消息被记录到不同的文件中,日志消息还能够记录到特定的存储设备中,或者直接向用户发送。

secure 是应急中最常用的文件,主要记录系统存取数据的文件,如 POP3、ssh、telnet、ftp 等相关记录,从日志中可看出系统服务是否遭受到安全威胁。

syslogd

syslogd 是大部分 Linux 发行版默认的日志守护进程,是一个记录日志的服务,子配置文件位于 /etc/syslog 或 /etc/syslogd,默认配置文件为 /etc/syslog.conf。

从架构来看,这个服务下面有一系列的子服务,例如 mail、cron 等等,这些子服务对外提供日志记录的功能,当其它的程序或服务需要记录日志的时候,就可以直接调用这些子服务将日志记录到指定的地方。

我们编写的代码可以通过 syslog 的接口进行 log,syslog 会通过 socket 将 log 发送给 syslogd,syslogd 在获取到 log 后,会对 log 进行处理,然后根据用户配置,将 log 保存到本地或者发送到其他服务器上去。

最简单的,用 logger -t '[test]' "test" 就可以直接日志记录到 message 里:

用 python 记录

import syslog
syslog.syslog("hello")

rsyslogd

rsyslogd 是 syslogd 的升级版,子配置文件位于 /etc/rsyslog.d,默认配置文件为 /etc/rsyslog.conf,配置语法与 syslogd 的配置文件一致

日志消息的级别

根据日志信息的重要程度不同,分为不同的级别 数字级别越小,优先级越高,消息越重要 级别 英文表示 意义

  • 0 EMERG(紧急) 导致主机系统不可用的情况

  • 1 ALERT(警告) 必须马上采取解决措施

  • 2 CRIT 严重 比较严重的情况

  • 3 ERR 错误 运行出现错误

  • 4 WARNING 提醒 提醒用户的重要事件

  • 5 NOTICE 注意 不会儿影响系统,提醒用户

  • 6 INFO 信息 一般信息

  • 7 DEBUG 调式 程序调式

  • 8 None 没有 不做记录

查看出现的重大的错误

grep -E -iw "emerg|alert|critical|error" /var/log/messages

用户日志

例如 wtmp

wtmp 日志记录了用户的登录、退出、重启等情况,可以查看系统是否存在异常用户登录,判断攻击者是否已经登录服务器,由于 wtmp 日志为二进制文件,所以利用用 last 命令查看,last -t 20190426120950 ,可查看这个时间之前的日志。

lastlog 命令,用于显示系统中所有用户最近一次登录信息。lastlog 文件在每次有用户登录时被查询。可以使用 lastlog 命令检查某特定用户上次登录的时间,并格式化输出上次登录日志 /var/log/lastlog 的内容。它根据 UID 排序显示登录名、端口号(tty)和上次登录时间。如果一个用户从未登录过,lastlog 显示 Never logged。注意需要以 root 身份运行该命令。


程序日志

应用程序如(HTTP、FTP)等创建的日志

见 取证 WEB取证部分


日志工具

logrotate

分割日志工具/日志转储

目前大部分 linux 系统都会默认安装有 logrotate,日志分割工具.而这个工具的功能就是大家在 /var/log/ 目录下面看到的形如 messages-20181028 样式的日志,在使用 logrotate 进行配置后就可以按照时间或者大小对日志进行分割存储.如果对 /etc/logrotate.conf 文件和 /etc/logrotate.d/ 目录没有改动,可以看到 /etc/logrotate.conf 默认配置:

vim /etc/logrotate.conf

# 按周轮训
weekly
# 保留4周日志备份
rotate 4# 标记分割日志并创建当前日志
create
# 使用时间作为后缀
dateext
# 对 logrotate.d 目录下面的日志种类使用
include /etc/logrotate.d
# 对于wtmp 和 btmp 日志处理在这里进行设置
/var/log/wtmp {
    monthly
    create 0664 root utmp
 minsize 1M
    rotate 1
}
/var/log/btmp {
    missingok
    monthly
    create 0600 root utmp
    rotate 1
}

此外,如果你在服务器上面安装了mysql,httpd 或者其他应用服务后,logrotate 它会自动在 /etc/logrotate.d/ 下面创建对应的日志处理方式,基本是继承 logrotate.conf. 因此,不论是你服务器上面系统日志还是应用日志,面对日志量太大的问题,都可以使用 logrotate 进行设置处理.


rsyslog

日志收集工具

rsyslog 是一个可以进行日志转发和收集的工具,利用它可以拥有一台日志收集服务器,从而可以减少客户端日志的压力,对于相关日志的统一也是非常有用的,同时还有相应的前端展示工具来进行日志的查看统计.

rsyslog 不仅可以进行系统日志的收集,同时也支持应用日志的收集,只不过如果收集应用自定义日志的话,需要在客户端机器上面进行设置.因我们业务种类较多,不可能在初始化装机时在业务服务器上面配置相同的应用日志服务.因此,业务可以根据自己的需求,进行相关配置.下面让我们看一下当前我们使用的 rsyslog 服务情况.

ps aux | grep rsyslog 查看服务是否正常运行

rsyslog 的配置文件为 /etc/rsyslog.conf

查看配置文件内容以了解系统默认的文件位置

cat /etc/rsyslog.conf | ( grep "*" & grep "/" )
tail -f /var/log/messages

Nov 19 22:41:39 localhost NetworkManager[8790]: <info>  [1637332899.9781] dhcp4 (ens33): state changed bound -> bound
Nov 19 22:41:39 localhost dbus[8636]: [system] Activating via systemd: service name='org.freedesktop.nm_dispatcher' unit='dbus-org.freedesktop.nm-dispatcher.service'
Nov 19 22:41:39 localhost dhclient[9088]: bound to 192.168.141.11 -- renewal in 726 seconds.
Nov 19 22:41:39 localhost systemd: Starting Network Manager Script Dispatcher Service...
Nov 19 22:41:39 localhost dbus[8636]: [system] Successfully activated service 'org.freedesktop.nm_dispatcher'
Nov 19 22:41:39 localhost nm-dispatcher: req:1 'dhcp4-change' [ens33]: new request (3 scripts)
Nov 19 22:41:39 localhost systemd: Started Network Manager Script Dispatcher Service.
Nov 19 22:41:39 localhost nm-dispatcher: req:1 'dhcp4-change' [ens33]: start running ordered scripts...
Nov 19 22:42:57 localhost systemd-logind: New session 3 of user root.
Nov 19 22:42:57 localhost systemd: Started Session 3 of user root.

# 对应的含义
# 时间标签:消息发出的日期时间 主机名 生产消息的计算机的名称 子系统名称:发出消息的应用程序的名称 消息 消息级别的具体内容

当我们想把一台服务器变成 rsyslog 日志收集服务器的时候,对这个配置文件进行修改即可,在服务端配置有以下两个地方需要进行修改和配置:

/etc/rsyslog.conf

# 开启 udp 日志传输模式
$ModLoad imudp
$UDPServerRun 514

# 设置日志收集路径,包括客户端机器名与日志类型
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$template RemoteLogs,"/home/syslogs/%HOSTNAME%/%PROGRAMNAME%.log"
*.*  ?RemoteLogs
& ~

而在业务机器上面,只需要在配置的末尾,开启日志转发即可:

/etc/rsyslog.conf

#*.*                @10.21.109.2
#authpriv.*              @@10.101.10.199
*.*             @syslog.sys.srv

@ 表示使用 UDP 进行转发,正好对应服务端开启了 UDP 收集方式.

在经过上面的配置之后,重启 systemctl restart rsyslog.service ,这样一个日志收集服务就成功建立了.

在 rsyslog 服务器上面收集到的日志是在配置里面设置好的路径 /home/syslogs/%HOSTNAME%


Loganalyzer

  • Loganalyzer


Source & Reference

Previous认证Next守护进程

Linux 日志服务初识
Linux 系统日志小结
linux系统下各种日志文件的介绍,查看,及日志服务配置