今日色々あった障害と今後のメンテナンス情報について

2020年2月7日

午前中の10時過ぎと夜22時過ぎにそれぞれ数十分Abyss.funに接続できなくなる障害が発生しました。

原因はむっちゃざっくりいうと、ホスティングさせてもらってるさくらのVPSによるものです。

午前中の障害について

これ↓です

詳細は対象のお客様へメールにて送付しておりますので、合わせてご確認をお願いいたします。

なるほどなぁ完全に見落としてたわぁ。

突然鯖が落ちて何があったんだ！？って思っちゃったよね。はい。

すいません。これからはちゃんとメンテナンス情報チェックします。

これは午前中の障害関係ないです。単にストレージサーバのDiskI/O制限がむっちゃ厳しくなったのが原因です。

DB(PostgreSQL)がむっちゃデータの読み書きするので、それで制限かけられたりします。特に夜なんかは毎日って感じです。

それとトゥート検索で使ってるElasticSearchが動いてるのもかなりでかい。これも負荷をもりもりしてる原因の一つ。

なので、一旦トゥート検索機能はOFFにしました。落ち着いたら(多分)また使えるようにします。

多分さくらのVPS悪くない。HDDプランでストレージ酷使してる僕が悪い。

前々からストレージサーバが容量の90%まで行ったら一旦自宅鯖に移そうかな。とか検討しておりまして、現在88%あたりまで来ています。

そろそろ何かしらのアクション起こしたほうがいいかな。とかも考えているフシもあります。

ただ、もうちょっと現状を維持するのもいいのかもしれない。と思ったり。

というのも理由は2つあります。

去年からアナウンスされていたものですが、さくらのVPSがシステム換装の時期に来たらしく、段階的に新鯖に契約者のVPSを移行していくらしいです。

実は今日の午前中の障害も、それを行うための事前準備のためだったのです。そんな大事な情報を完全にスルーしていたわけです。ごぬんね。

あともう一回似たような障害が伴うメンテナンスがあり、そしたら晴れて新しいVPSに生まれ変わる。という話です。

で、生まれ変わったらどうなるの。ということですが、HDDプランのVPSはそのままの容量でSSDの上に乗ることになります。
つまり今までみたいなDiskI/Oで悩まされる機会もかなり減ると思う。これはとても嬉しい。

それともう一つ、ディスク容量88%あるデータのうち、かなり多い割合でゴミデータがあるんじゃないかと思っています。

例えばリモートインスタンスのトゥートだったりとか、DBのデータと紐付いていないメディアファイルだったりとか。

ここらへんを掃除していけば、最低でも数10GB節約出来てまだしばらくは今の構成のままで行けるはずなんですよね。

幸いMastodonの最新masterでは、ゴミメディアファイルを掃除するための機能が実装されているらしいです。

現在最新バージョンがv3.1.0rc2だったかだと思うので、rcが外れたタイミングでアップデートしてゴミデータを削除していきますの予定です。

ただし、これもやっぱり読み書きが発生するわけで。もしかしたらうまく行かないんじゃないかなぁ。なんて思っています。結局はそこに行き着くわけです。

なので、さくらインターネットさんメンテナンスがんばえ～って応援するしかないのです。

Abyss.funが死ぬのが先か、メンテナンスが無事終了してSSDストレージになるのが先か。

とりあえず、さくらのVPSのメンテナンス情報をこまめにチェックすることにします。