秋の夜長の読書に没頭して気がつくと深夜の3時。明日も平日で仕事だしと寝る前にPCでメールチェックしてたら途中から反応しなくなった。?? とりあえず自宅サーバにsshログインして確認しようとするもログインできない。?? pingの反応はあるのでフリーズしてるワケでもなさそうだけど先日のwhoisコマンド暴走の件もあるのでリセットしてみる。再起動後はsshログインもできるのでログを確認すると
1 2 3 4 | Oct 27 03:09:41 xxx pppd[13149]: Connect time 131830.4 minutes. Oct 27 03:09:41 xxx pppd[13149]: Sent 3657714098 bytes, received 3505682263 bytes. Oct 27 03:11:26 xxx pppoe[13153]: Session 27889 terminated -- received PADT from peer Oct 27 03:11:26 xxx pppoe[13153]: Sent PADT |
03:09にpppdでトラブルが発生したもよう。
1 2 3 | Oct 27 03:13:55 ein pppd[13149]: Modem hangup Oct 27 03:13:55 ein pppd[13149]: Connection terminated. Oct 27 03:14:13 ein pppd[13149]: Exit. |
03:13にModem hangup
でもssh接続はローカルネットワーク側からなのでeth0が生きてれば大丈夫そうなんだけど…
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 | Oct 27 03:26:27 xxx kernel: INFO: task khelper:24438 blocked for more than 120 seconds. Oct 27 03:26:27 xxx kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message. Oct 27 03:26:27 xxx kernel: khelper D ffff81012ffce7f0 0 24438 18 24439 (L-TLB) Oct 27 03:26:27 xxx kernel: ffff81010e383dc0 0000000000000046 0000000000000002 0000000000000938 Oct 27 03:26:27 xxx kernel: 0000000000000000 0000000000000009 ffff81001edfe040 ffff81012ffce7f0 Oct 27 03:26:27 xxx kernel: 00b36fc53d9ee8bb 0000000000002463 ffff81001edfe228 0000000000000000 Oct 27 03:26:27 xxx kernel: Call Trace: Oct 27 03:26:27 xxx kernel: [<ffffffff8008d91a>] __wake_up_common+0x3e /0x68 Oct 27 03:26:27 xxx kernel: [<ffffffff800a0732>] spawn_request_module+0x0 /0x2a Oct 27 03:26:27 xxx kernel: [<ffffffff80063171>] wait_for_completion+0x79 /0xa2 Oct 27 03:26:27 xxx kernel: [<ffffffff8008f4cd>] default_wake_function+0x0 /0xe Oct 27 03:26:27 xxx kernel: [<ffffffff800a04b7>] call_usermodehelper_keys+0xe3 /0xf8 Oct 27 03:26:27 xxx kernel: [<ffffffff800a04cc>] __call_usermodehelper+0x0 /0x61 Oct 27 03:26:38 xxx kernel: [<ffffffff800a07aa>] __request_module+0x4e /0x61 Oct 27 03:26:38 xxx kernel: [<ffffffff8005dfc1>] child_rip+0xa /0x11 Oct 27 03:26:39 xxx kernel: [<ffffffff800a0732>] spawn_request_module+0x0 /0x2a Oct 27 03:26:39 xxx kernel: [<ffffffff800a075c>] __request_module+0x0 /0x61 Oct 27 03:26:39 xxx kernel: [<ffffffff8005dfb7>] child_rip+0x0 /0x11 Oct 27 03:26:39 xxx kernel: |
03:26にはカーネルがエラー吐いてるし。
MRTGのグラフでは直前にCPU負荷が上がってることも無し。再起動後は事象再現してないので様子見だけどハードウェア起因のトラブルだったら再発するだろう。2011年から稼働させてるサーバだしそろそろリプレースも考えないと。