読者です 読者をやめる 読者になる 読者になる

突然サーバが死んだ

debian

昨日,お客さんのところのサーバが応答しなくなり、急遽行って来た。
調べたところ,メモリの問題でもディスクの問題でもなく、電源の問題でもなさそうで、
マザーボードかCPUがおかしいという結論に。
さてどうやって対処するかなのですが、見事にメールサーバなので、
速やかに復帰させる必要がある。
ディスクはRAIDを組んでいるのですが,PCIe の8倍なので,普通のマザーボードには搭載されていない。
x16の普通のパソコンだと動かないことが多かった経験があるので、
急遽会社で眠っている1Uサーバを貸してあげることにしました。
2時半に現地に向かい、一旦会社に戻り、
RAIDカードとディスクを代替サーバに入れてあげて起動したところ、
ちゃんと動き出しました。よかったよかった。
作業完了が18時過ぎ。結構スピード解決でした。
後で動き出してから死んだときのエラーログを見てみたところ、
このようになっていました。この後、完全に起動しなくなってしまいました。
お客さん側の今の担当者はシステムがわかる方で、
まじめに二重化を検討するそうです。よかったよかった。
iSCSIストレージ+本サーバ+フェイルオーバー用サーバの構成を月曜日までに提案です。
とりあえず、無料で代替サーバを貸しているのですが、
さすがにこれではいかんだろということになっていて、いい感じです。

Jan  9 13:17:01 sample /USR/SBIN/CRON[11192]: (root) CMD (   cd / && run-parts --report /etc/cron.hourly)
Jan  9 13:22:34 sample kernel: drivers/usb/input/hid-core.c: input irq status -75 received
Jan  9 13:22:34 sample kernel: hub 4-0:1.0: port 2 disabled by hub (EMI?), re-enabling...
Jan  9 13:22:34 sample kernel: usb 4-2: USB disconnect, address 4
Jan  9 13:22:34 sample kernel: usb 4-2: new full speed USB device using uhci_hcd and address 5
Jan  9 13:22:35 sample kernel: Timer ISR/0: Time went backwards: delta=-20003200 delta_cpu=3996800 shadow=23076981785011861 off=17901451
4 processed=23076981984029333 cpu_processed=23076981960029333
Jan  9 13:22:35 sample kernel:  0: 23076981960029333
Jan  9 13:22:35 sample kernel:  1: 23076981980029333
Jan  9 13:22:35 sample kernel: Timer ISR/0: Time went backwards: delta=-18009947 delta_cpu=5990053 shadow=23076981785011861 off=18100761
6 processed=23076981984029333 cpu_processed=23076981960029333
Jan  9 13:22:35 sample kernel:  0: 23076981960029333
Jan  9 13:22:35 sample kernel:  1: 23076981980029333
Jan  9 13:22:35 sample kernel: Timer ISR/0: Time went backwards: delta=-20631356 delta_cpu=19368644 shadow=23076981785011861 off=4583863
55 processed=23076982264029333 cpu_processed=23076982224029333
Jan  9 13:22:35 sample kernel:  0: 23076982224029333
Jan  9 13:22:35 sample kernel:  1: 23076982260029333
Jan  9 13:22:35 sample kernel: Timer ISR/0: Time went backwards: delta=-18626019 delta_cpu=5373981 shadow=23076981785011861 off=46039156
3 processed=23076982264029333 cpu_processed=23076982240029333
Jan  9 13:22:35 sample kernel:  0: 23076982240029333
Jan  9 13:22:35 sample kernel:  1: 23076982260029333
Jan  9 13:22:35 sample kernel: Timer ISR/0: Time went backwards: delta=-16406687 delta_cpu=3593313 shadow=23076981785011861 off=46261092
2 processed=23076982264029333 cpu_processed=23076982244029333
Jan  9 13:22:35 sample kernel:  0: 23076982244029333
Jan  9 13:22:35 sample kernel:  1: 23076982260029333
Jan  9 13:22:35 sample kernel: Timer ISR/0: Time went backwards: delta=-14293560 delta_cpu=5706440 shadow=23076981785011861 off=46472403
8 processed=23076982264029333 cpu_processed=23076982244029333
Jan  9 13:22:35 sample kernel:  0: 23076982244029333
Jan  9 13:22:35 sample kernel:  1: 23076982260029333
Jan  9 13:22:35 sample kernel: Timer ISR/0: Time went backwards: delta=-12177055 delta_cpu=3822945 shadow=23076981785011861 off=46684054
7 processed=23076982264029333 cpu_processed=23076982248029333
Jan  9 13:22:35 sample kernel:  0: 23076982248029333
Jan  9 13:22:35 sample kernel:  1: 23076982260029333
Jan  9 13:22:35 sample kernel: Timer ISR/0: Time went backwards: delta=-10108016 delta_cpu=5891984 shadow=23076981785011861 off=46890961
0 processed=23076982264029333 cpu_processed=23076982248029333
Jan  9 13:22:35 sample kernel:  0: 23076982248029333
Jan  9 13:22:35 sample kernel:  1: 23076982260029333
Jan  9 13:22:36 sample kernel: Timer ISR/1: Time went backwards: delta=-56000016 delta_cpu=3999984 shadow=23076982060010460 off=98014364
5 processed=23076983096029333 cpu_processed=23076983036029333
Jan  9 13:22:36 sample kernel:  0: 23076983096029333
Jan  9 13:22:36 sample kernel:  1: 23076983036029333
Jan  9 13:22:37 sample kernel: usb 4-2: device descriptor read/64, error -75
Jan  9 13:22:38 sample kernel: usb 4-2: device descriptor read/64, error -71
Jan  9 13:22:38 sample kernel: usb 4-2: new full speed USB device using uhci_hcd and address 6
Jan  9 13:22:41 sample kernel: usb 4-2: device descriptor read/64, error -110
Jan  9 13:22:44 sample kernel: usb 4-2: device descriptor read/64, error -71
Jan  9 13:22:44 sample kernel: usb 4-2: new full speed USB device using uhci_hcd and address 7
Jan  9 13:22:45 sample kernel: Timer ISR/1: Time went backwards: delta=-12007876 delta_cpu=15992124 shadow=23076991851205185 off=5808165
60 processed=23076992444029333 cpu_processed=23076992416029333
Jan  9 13:22:45 sample kernel:  0: 23076992444029333
Jan  9 13:22:45 sample kernel:  1: 23076992416029333
Jan  9 13:22:46 sample kernel: Timer ISR/1: Time went backwards: delta=-28022981 delta_cpu=251977019 shadow=23076991851205185 off=852801
474 processed=23076992732029333 cpu_processed=23076992452029333
Jan  9 13:22:46 sample kernel:  0: 23076992732029333
Jan  9 13:22:46 sample kernel:  1: 23076992452029333
Jan  9 13:22:46 sample kernel: Timer ISR/1: Time went backwards: delta=-19686937 delta_cpu=12313063 shadow=23076991851205185 off=8611373
13 processed=23076992732029333 cpu_processed=23076992700029333
Jan  9 13:22:46 sample kernel:  0: 23076992732029333
Jan  9 13:22:46 sample kernel:  1: 23076992700029333