SysRq 键在 QWERT 键盘上与 PrtSc
同键,通过按下 ALT+SysRq+<command key>
可以直接向linux kernel发送预设的系统操作指令。
这套组合键提供了一系列在系统崩溃时常用到的功能,比如同步数据、杀进程、卸载文件系统,甚至系统重启.
启用 SysRq
的前提是在linux kernel编译时启用了 CONFIG_MAGIC_SYSRQ
选项.
在目前主流的发行版linux中都启用了该选项,但若你是自己编译的内核,则有必要搜索一下内核的config文件了,确保里面有一句
CONFIG_MAGIC_SYSRQ=y
内核中还有一个与SysRq相关的配置项:
CONFIG_MAGIC_SYSRQ_DEFAULT_ENABLE=0x01b6
这个配置项指定了默认SysRq的值,这个值表示kernel会对哪些功能产生反应。
我们可以通过查看 /proc/sys/kernel/sysrq
的值来判断Kernel会对哪些功能产生反应.
cat /proc/sys/kernel/sysrq
16
这里你会看到一个数字,这个数字可以转换成一个9位比特的形式,其中每一位的比特都有一个含义如下:
数字 | 位数 | 意义 |
---|---|---|
0 | 1 | 完全禁用sysrq |
1 | 1 | 允许所有的sysrq功能 |
2 | 2 | 允许控制终端日志级别 |
4 | 3 | 允许控制键盘输入类型(SAK,unraw) |
8 | 4 | 允许调试进程dump |
16 | 5 | 允许执行sync命令 |
32 | 6 | 允许重新挂载文件系统为之读 |
64 | 7 | 允许发送信号给进程(term,kill,oom-kill) |
128 | 8 | 允许重启/关机 |
256 | 9 | 允许调整实时任务的优先级 |
因此,我这里的 16
表示允许通过 SysRq 来同步数据到磁盘中去,
而数字 130
转换成二进制就是 010000010
,根据表中的对应关系很容易看出允许重启/关机以及调整终端日志级别。
如果只是希望临时更改 SysRq
的值,那么很简单,只需要将新的值写入到 /proc/sys/kernel/sysrq
中去
echo "1" |sudo tee /proc/sys/kernel/sysrq
或者通过 sysctl
来进行设置
sysctl -w kernel.sysrq=1
如果需要每次启动时都自动修改SysRq的值,则需要修改配置文件
echo "kernel.sysrq = 1"|sudo tee -a /etc/sysctl.conf
使用SysRq有两种方式:
一种是直接通过键盘 Alt+SysRq+<command key>(部分笔记本上是Alt+Fn+PrtSrc+<command key>)
来出发,
还有一种是直接通过 /proc/sysrq-trigger
接口来完成.
echo “ b ” |sudo tee /proc/sysrq-trigger
其中,这里每个 command-key
都对应一种kernel的行为,而且需要说明的是,不同种类的键盘上,相同kernel行为对应的 command-key
居然是不同的!
下面表格就是各个kernel行为对应的 command-key
的说明:
Action | QWERTY | Dvorak | AZERTY | Colemak |
---|---|---|---|---|
设置控制台日志级别(console_loglevel),它决定了哪些kernel信息会被输出到控制台上 | 0 - 9 | 0 - 9 | 0 - 9(without ⇧ Shift) | 0 - 9 |
不同步并卸载文件系统,立即重启系统 | b | x | b | b |
让系统立即崩溃. 在配置得当的情况下会产生一个 crashdump | c | j | c | c |
显示所有排它锁 (需要内核启用CONFIG_LOCKDEP选项) | d | e | d | s |
发送 SIGTERM 信号到除了 init (PID 1) 外的所有进程 | e | . | e | f |
触发 oom_kill, 会随机杀掉一个进程以缓解 OOM | f | u | f | t |
当进入内核模式时,切换到内核的 framebuffer 控制台. 若有内核调试器 kdb,则进入该调试器中 | g | i | g | d |
在控制台上输出一个简短的帮助信息. (其他不能识别的key也会输出帮助信息) | h | d | h | h |
发送 SIGKILL 信号到除了 init (PID 1) 外的所有进程 | i | c | i | u |
强制通过 FIFREEZE ioctl 冻结文件系统. | j | h | j | n |
杀掉当前虚拟控制台中的所有进程 (包括 X 和 SVGALib 程序). | k | t | k | e |
列出所有活动CPU上的 stack backtrace | l | n | l | i |
在控制台上输出当前内存信息 | m | m | , | m |
重置所有高优先级和实时任务的 nice 级别 | n | b | n | k |
关闭系统 | o | r | o | y |
在控制台输出当前寄存器和标志位信息 | p | l | p | ; |
Display all active high-resolution timers and clock sources. | q | ’ | a | q |
将键盘从 raw 模式(常被诸如X11和SVGALib这样的程序所使用)切换到 XLATE模式 | r | p | r | p |
同步所有已挂载的文件系统 | s | o | s | r |
在控制台输出当前任务列表 | t | y | t | g |
重新以只读模式重新挂载所有已挂载的文件系统 | u | g | u | l |
强制恢复 framebuffer console. 若为ARM处理器,则会导致 ETM buffer dump. | v | k | v | v |
显示所有阻塞状态(状态为D)的任务 | w | , | z | w |
Used by xmon interface on PPC/PowerPC platforms. | x | q | x | x |
显示全局的CPU寄存器内容 (仅对SPARC-64平台有效) | y | f | y | j |
Dump the ftrace buffer | z | ; | w | z |
输出一份简单的系统支持SysRq的键列表 | space | space | space | space |
下面列出几个常见的功能键组合:
这套组合键大致相当于reboot命令:
- unRaw – 把键盘设置为 XLATE 模式,使按键可以穿透 x server 捕捉传递给内核
- tErminate – 向除 init 外进程发送 SIGTERM 信号,让其自行结束. 这一步推荐等待30秒让进程有足够的时间进行收尾的嗯做。
- kIll - 向除 init 以外所有进程发送 SIGKILL 信号,强制结束进程. 这一步推荐等待10秒,保证所有进程都退出了
- Sync – 同步缓冲区数据到硬盘,避免数据丢失. 这一步在能看到输出的情况下等到”Emergency Sync complete” 后再做后续动作,否则推荐等待10秒
- Unmount – 将所有已经挂载的文件系统 重新挂载为只读. 该操作通常也有一定延时,请等到”Emergency Remount complete” 出现过后再进行后续操作,否则推荐等待10秒
- reBoot - 立即重启计算机
若仅仅是因为资源消耗过量引起系统挂起就重启系统显然是不好的,我们可以尝试通过回收一些资源的方式来回复系统挂起。
SysRq中用来结束进程的command-key包括 E-I-K-F,其中:
- E 和 I 太凶残,它会杀掉除了 init 外的所有进程,属于杀敌一千自损八百的操作。因此在一般情况下不会轻易使用
- F 则是利用 OOM-Kiler选择一个进程来结束,对于由于内存不足引起的挂起比较有效,但有时候OOMKiller也可能会误判杀掉一些长期运行的后台程序。
- K 杀掉与当前控制台有关的进程组,比较推荐用这种方法回复系统
此外,若系统挂起是由于实时任务消耗太多CPU引起的,则可以通过 N
来降低实时任务运行的优先级来缓解挂起症状。
SysRq还提供了几个用于获取系统信息的commandkey,在恢复系统挂起前推荐执行这些commandkey,以记录下当前系统状态。
- M
- 打印内存使用信息
- W
- 打印CPU寄存器上下文和程序调用栈回溯信息
- P
- 打印CPU寄存器信息,比如正在执行的进程名,运行函数,寄存器上下文,以及程序的调用栈回溯等
- T
- 打印进程列表,各进程的名称,进程 PID,父 PID 兄弟 PID 以及进程运行状态等相关信息
从上面的列表中我们可以看到,使用SysRq能够输出大量的信息。这些信息,默认会输出到syslog中.
同时,若设置的 console_loglevel(0-9)
大于 default_message_loglevel
则输出也会输出到本地控制台终端上去。
另外,若设置的 console_loglevel
大于 default_message_loglvel
则输出还会通过netconsole输出到远程机器上去。
总体来说,syslog中记录的日志应该是最完整的,然而由于负责记录日志的 syslogd
本身是一个用户进程,在某些情况下可能会被杀掉,从而导致日志记录不下来。
echo " "|sudo tee /proc/sysrq-trigger
dmesg |tail -n 1
[17899.255261] sysrq: SysRq : HELP : loglevel(0-9) reboot(b) crash(c) terminate-all-tasks(e) memory-full-oom-kill(f) kill-all-tasks(i) thaw-filesystems(j) sak(k) show-backtrace-all-active-cpus(l) show-memory-usage(m) nice-all-RT-tasks(n) poweroff(o) show-registers(p) show-all-timers(q) unraw(r) sync(s) show-task-states(t) unmount(u) force-fb(V) show-blocked-tasks(w) dump-ftrace-buffer(z)