Abyss.fun障害情報

2018年11月26日

概要

11/25の朝にマストドンのバージョンを2.6.2にあげてからアクセス出来ない事象が発生しています。

Webアクセス周りのすべてのサービス(ブラウザ表示、APIリクエスト等)がサーバ内部エラー(500)またはタイムアウトになる。

クライアントからのリクエストを処理するプロセス(mastodon-web)からDBにデータを保存する際に何らかの不具合があり、プロセスを処理しきれない

マストドンアップデートによるDBコネクション数の増加 (恐らく)

(11/26 10:30) 原因調査のためメンテナンス開始

(11/26 11:30) bundle install から改めてインストール中。。。

(11/26 11:50) Webは正常に受け付けるがsidekiqの待機キューから処理キューへ移行しない不具合が発生。v2.6.1への切り戻しを開始

(11/26 12:05) v2.6.1に戻したらWebのほうでInternalError出てしまったので、再度v2.6.2に再度上げてやってみる

(11/26 12:05) v2.6.2に再度上げたら処理キューへ移った…何だったんだ… ひとまず待機キューがたまりまくってるので様子見

(11/26 13:00) 昨日の事象同様web周りだけが調子悪いので、引き続きcronで定期的にサービス再起動をして様子見

(11/26 15:25) pgHero見てみたら、「コネクションのタイムアウト設定してないから長時間動いてるクエリあるでー」ってワーニングがあったのでpsqlからタイムアウトを設定してみた。安定したような気がするので一旦ここで収束とさせてもらいます。