てすてす

うん、まぁこれでいいか……。

@damnxcsy すまん、いまDB回りの再起動してた。復帰してるよー。

#fedibird うん、詰まったね。戻しました。また後で再チャレンジします。

#fedibird ウチのsidekiqは、主にサーバ内の処理を行うdefault＋mailersと、配送のpush、preview_card取得ほか優先順位低い系のpullに分けています。

不具合や負荷の発生状況により詰まるキューが異なり、挙動に現れてます。ある程度大きな規模のサーバでは同様にsidekiqのキューが分かれていますので、慣れると状況が読めるかと思います。

ちょっと仕事やっつけてから構成見直すね。

This account is not set to public on notestock.

This account is not set to public on notestock.

This account is not set to public on notestock.

@sakko2005 マジすか。v3.0.1の時にそのへん変更したのでやらかした……後ほど修正します。おそらく、どの購読機能でも発生すると思います。 #fedibird

#毎日マストドンにいる変な人
なかなか良い。

This account is not set to public on notestock.

This account is not set to public on notestock.

精霊手

な……なんだってー!!!!

天才ておちゃんと一緒なのでは！

幽体離脱しているので、と読んでおばけみを感じた

@Jim0416 こんな状況であります
https://mstdn.rinsuki.net/@rinsuki/102904085117389304

彼には72通りの名前があるから、何て呼べばいいのか……

ということやね。

#fedibird でやっていることとしては、

・Webのワーカープロセスを増やす
・APIを捌くプロセスを分離する
・Sidekiqのキュー毎のプロセスを分離する
・DBへの接続をpgbouncerで束ねる
・キャッシュ専用redisを分離する
・DBを本体と別サーバに設置する
・DBをレプリケーションし、読み出しをレプリカから行う
・pgtuneなどでパラメータ調整する
・cloudflareを利用する
・S3を利用する
・cloudflareにS3のメディアをキャッシュさせる
・memoryに余裕を持たせる
・jemallocを使う
・nginxできちんとキャッシュを使う

ぐらいかな。

AWSとかDockerは使っていない。単純にVPSをいくつか使っているだけ。

購読機能やElasticSearchの有効化で、基本動作は他より重いハズ。

てすてす

状況をみるに、 #fedibird から外部に配送されてなかったっぽい？

#fedibird ちょっとログなどで裏がとれてないんですが、3時間ほど、サーバの外部にActivityが配送されていなかった様子です。

今朝失敗したデータベース関連のリトライをしたタイミングで、現在元に戻して復帰しているようなので、関連があるものと思います。

調査中ですので、追ってお知らせします。

現状わかっている状況

・エラーログみつからず
・当該期間、外部へ配送されていない（連合先で届いていないのを確認）
・外部配送以外の異常はいまのところ発見されていない
・makara有効時の問題で、使用を中止すると直る模様
・正常終了しているので、sidekiqに詰まっておらず、再配送は行われない