AWSの利用履歴が浅いので全部前払いではリザーブドインスタンスを契約できませんでした……
仕方ないので一部前払いで契約しました

[mstdn.tamag.org メンテナンス情報]
Tamagodon はリザーブドインスタンスへの本移行作業のため接続を遮断しています。

[mstdn.tamag.org メンテナンス情報]
Tamagodonのサーバー移転作業を開始しました。
終了予定時刻は16時です。再開まで今しばらくお待ちください。

[mstdn.tamag.org 復旧]
インスタンスの再起動が終了し、 mstdn.tamag.org は復旧いたしました。

一旦EBSのアタッチを外して、付け替えるだけで良いのかな?

何より僕が面倒くさいんですよねこれ

可及的速やかに t2.small に鞍替えしたいところ
1年後はアルバイトしてそうだし、何なら前払いなし1年契約でも良いんだけど

[mstdn.tamag.org 障害情報]
いつものやつです。 EC2インスタンスを再起動して対応します。

[mstdn.tamag.org 復旧]
インスタンスの再起動が終了し、 mstdn.tamag.org は復旧いたしました。

[mstdn.tamag.org 障害情報]
CPU の使用率が 100% となり、プロセスの処理不能に陥っています。
現在インスタンスを再起動中です。今しばらくお待ちください。

topコマンド実行したけどiowaitが99%になっている以外のことはよく分かりませんでした

よくわからないので適当に言ってます(クソ)

障害発生時刻は22時06分
23時06分までには復旧見込み

慌てず騒がず落ち着いて、まずはサーバー停止
再起動したらすぐにMastodonを停止
ホームタイムラインを再構築してサービス再開

多分Redisのジョブがswap領域に及んだからiowaitが発生してCPUの処理能力をオーバーフローしたんだと

Redisのmaxmemoryをとりあえず実メモリの半分、512mbに指定
これ以上食ったら使っていないkeyを削除するようにする

仕方がない、一回仮想サーバーごと再起動してホームタイムライン再構築しよう

再起動してないんですがそれは
仮想マシンごと再起動するか

もっと見る
:don:

Mastodon hosted on mstdn.maud.io