This account is not set to public on notestock.

This account is not set to public on notestock.

@kamiyama かみやませんせ、誕生日おめでとうございます！ 🎂 🎉

@Cutls 実際、自動通報が来ているウケるw

なんかmstdn.jpで削除したの反映されないんだよな……。何が起きているのやら。

@Cutls Pawooで自動通報されないウケるけど悲しい……。

まぁ、自動サイレンスされる仕様は回避したので、各サーバの管理者が無視してくれれば大丈夫。サスペンドされたらアウトw

最初『WebUIが無いから、できるようにする』と読んだ。よく見たら違ったw

@blank71 アカウント削除も他鯖に反映されないようで、これがわりとヤバイ。連合先に負荷はかからないけど、消したかった全てが他鯖のキャッシュに残るという。

mstdn.jpの遅延、defaultキュー捌いてるsidekiqのサーバをまるごと再起動すると、わりとあっさり治るかもしれない。メモリ不足でスワップしまくって処理能力が落ちてることも考えられる。

遅延しているだけで、動作自体は安定している様子なので……。

@kohntobi それは人類の損失だ（主語デカ）

This account is not set to public on notestock.

@watanobecreate 今回は、各サーバからmstdn.jpへの配送は受理されているし、mstdn.jpからリモートへの配送は遅延してないので、連合しているサーバへの影響はないと思います。

mstdn.jpの遅延が解消するどころか拡大している件、これだけ流量が少ない深夜でこの状況が続いているというのは、正常系の過負荷ではなく、なんらかの異常があると考えざるを得ない。

Fedibirdでは、古いアカウント削除ジョブが何度も再試行されて削除処理がストームを起こしたことがある。

またその影響で、メモリが枯渇してスワップをギリギリまで使った状態となり、処理速度がもの凄く低下した。ちゃんと動くけとメッチャ遅い。これは再起動で解消した。

現在のmstdn.jpは、遅延して届くストリーミングの状況からみても、動作速度にムラがなく、単純に遅い。何か異常なジョブがキューを埋めているか、単純にものすごく速度低下している。

サーバの状態の確認・監視と、Mastodonの内部動作の理解があれば、解決の糸口は見つけられると思う。

まぁ、鯖缶 というほかない。

@natsuki ｵﾊﾖ

端的に言うとmstdn.jpはハードウェアがスペック不足だよね。

今頃、4時間前の投稿の通知がぽんぽんやってくる、mstdn.jp よ……。

@munyumunyu saidekiqの状況とかみるとだいたいわかるんですけどねー。

あげなおし。

ちょうど、私のmstdn.jpのホームにも、4時間40分前の自分の投稿が流れてきましたね！

@204504bySE やってる。7日アクセスしないと打ち切るよ。

@squid999

defaultが詰まってるのは確実。pushは遅延ないね。

@squid999 VPSを止めるの、シャットダウンじゃなくて、ネットワーク切断かもよ。

@Satis OSをインストールするところから自由にできるのがメリットです。

死亡フラグっぽい言い方

もうすぐ援軍が来るぞ！

もとい

Suji Yanさんが色々頑張ってくれている

ということにしておきたいところだけど、正直何もしてないような気がするw

@ARTi 玉子丼ダメですか……。

玉子丼、なんか特定の処理が異様に重いことがあって、たぶんタイムアウトしてます。ちょっと対策入れてみるので、あとでもう一度フォローインポートお試し下さい。

@kuloma 大地円柱……大遅延中だから、使いづらいんだよね。いま5:06の投稿がHTLに流れてきている始末。

@ponapalt ぽなさん、玉子丼、connect: 120ぐらいでいけるんだっけ？

@ponapalt ありがとう！ とりあえず100からはじめるか……。

@ponapalt ウチもしばらく100で様子見しますね。いま切替中です。

@ARTi Fedibird側で、時間切れになりにくいように長めに待つようにしたので、試してみて下さい。（準備完了してます）

mstdn.jpのサーバは、たぶんドイツのHetzner Online GmbHにある。mastodon.socialと一緒。

前管理者のDSNOの考え方からすると、Dedicatedのコアとメモリの多いサーバをドンと借りて、そこでメモリの許す限りプロセスを走らせてるんじゃないかな。

ぬるかるさんちも、その後のさくらインターネットも、そういう高火力の強いサーバでドカンと動かすアプローチだったと思う。

参考
https://fedibird.com/@noellabo/104331475930319996

ちなみに、mastodon.socialの構成については、3ヶ月ぐらい前にEugenさんからこんな回答があった。

>
On mastodon.social, I have 8 machines roughly equivalent (not all are the exact same model) to:

- Intel® Core™ i7-4770 Quad-Core
- 32 GB DDR3

3 machines have Puma running on them,
2 machines have Sidekiq running on them,
1 machine has Nginx,
2 machines have PostgreSQL (primary and replica),
2 machines have Redis (persistent and cache),
and 1 machine has ElasticSearch

This account is not set to public on notestock.

This account is not set to public on notestock.

@ARTi だめかー。では、もう一段階緩くしてみましょう。少々お待ちを。

それでもダメなら、明日のメンテで玉子丼がパワーアップするのを待った方がいいかもしれません。

mstdn.jpのLTL、取得した瞬間はDBからとってくるから遅延してないんだよなー。あとから、ストリーミングが4〜5時間前のを送りつけてくる。

defaultキューに大量の未処理ジョブが積み上がってるじゃん？

mstdn.jpのユーザーが投稿すると、defaultキューにDistributionWorkerが積まれる。DistributionWorkerというのは、投稿をローカルのFTLやLTL、HTLやリストに分配するワーカー。

これが4時間45分ほど経って実行される。実行されると、LTLにストリーミングで投稿が流れる。また、defaultキューにFeedInsertWorkerが積まれる。FeedInsertWorkerというのは、HTLやLTLに投稿を流し込むワーカー。

これが4時間45分以上（たぶんどんどん延びてる）経って実行される。実行されると、みんなのHTLにストリーミングで投稿が流れる。

こうして、LTLは現状で4時間45分の遅延、HTLは9時間以上の遅延になる。

仕組みとしては恐らくそういうこと。

@nieein56 問題ないです。遅延無しで来てます。

ここしばらく恒常的に一部の処理（ブーストとか）が遅くてタイムアウトするのは観測していますが、明日のメンテナンス後に解決することを期待しています！

さくらだもん！（桜田門）

の類だな？

カルだもん！（カルダモン あるいはぬるかるさん）

mstdn.jpは、その規模と役割から、技術面だけでも様々な例外に対処しないと安定させられないハズで、ここは様々な運用ノウハウが要ると思います。

サーバ運用の一般的な問題はもとより、Mastodon固有の問題に対しても、ソースコードを読み込んで、実際に動かし、どういう動きをするか把握していないと、適切な対処を行うのも難しいハズです。

ぬるかるさん、きぼうソフト・DSNOは、そのぐらいは出来て当たり前の技術を持っていたわけです。

前任者達、そういうの説明しないのでわからないと思いますがw

friends.nico、best-friends.chatのロージーさん（ハト先生）、まさらっきさんは、そのへんは完全にプロで、メッチャ強いです。

Pawooも、いろいろ独自に改造してきただけあって他のMastodonより問題が起きにくいよう色々仕込んであり、わかる人が見張っているので、凄く安定していると思います。

mastodon.socialは、そういう意味では最強です。オリジナル開発者ですからね。それでも長年wasabiに苦しめられてきましたw

くそう、『ぇっ』使いたいけどなかなかチャンスがない……。

@nelsoncoffeeroaster くそう、くそうw

This account is not set to public on notestock.

This account is not set to public on notestock.

This account is not set to public on notestock.

@fujii_yuji 詳しい説明がまだされてないけど、アラビア語のテロ予告みたいなのがあったようで、昨日4時間ぐらいサーバ事業者から停止措置を受けてました。

This account is not set to public on notestock.

@nelsoncoffeeroaster ぇっ

This account is not set to public on notestock.

@nelsoncoffeeroaster なんか話している前提をひっくり返されて本気で驚いているシチュエーション憧れるじゃないですか（憧れません）

まぁ、なしきの真似してみたいだけです！

This account is not set to public on notestock.

This account is not set to public on notestock.

お一人様やめて #fedibird 来る人、元社長って感じで、良さも大変さもわかってて、納得して『お世話になります』って来るので、めっちゃ頼もしさあるよね。

昼を食べるのだわ

昼を食べたのだわ

This account is not set to public on notestock.

This account is not set to public on notestock.

This account is not set to public on notestock.

カメノテ、すごい美味そうな見た目してるんだよな……いつか食べてみたい

むーさん待機

This account is not set to public on notestock.

This account is not set to public on notestock.

This account is not set to public on notestock.

This account is not set to public on notestock.

うっあさ

あさだね

This account is not set to public on notestock.

まだちょっとねむいめう

mstdn.jpのアカウント、ほとんど人をフォローしてないので遅延具合がわからないんだけど、Fedibird中曽根さんの18時間前の投稿が流れてきたのはちょっと遅延しすぎだな……。

なんか『誰もSuji Yanを呼んでいないのである！！』な気がしたので、Twitterでメンションしてきた。

おもばぶさん？？？

@unipst そとからはまったく正常ですからね……。defaultがメッチャ詰まってる感じです。

新潟のきらら展、会期メッチャ長いので、都合の良い日に行って、展示作品みて、グッズいっぱい買ってくるといいよ。都内だと催事まともに開けないからな……

mstdn.jp生きてるよ、っていいづらいw

@DGTN 出勤

This account is not set to public on notestock.

なちかさんから良い運気を分けてもらおう。

#おなかがすきましたね

まぁ池袋は埼玉県なので仕方が無い

バナナのナナチはバナナナチ

おらん一筋

‌
‌

ﾀﾞｰﾓﾝってなんだろう

This account is not set to public on notestock.

@squid999 何もしない

エスカレイヤー

詫び石の反対概念はなんだろう？

お布施課金いただきました！

This account is not set to public on notestock.

夜を食べるのだわ

This account is not set to public on notestock.

有能なスマートスピーカーだよ。蚊を殺せる程度の能力。

This account is not set to public on notestock.

このままシシマヒナコチャンネルの登録者を増やそう

神は言っている
ここで死ぬ定めではない と

短い猫

人生と向き合う時というか、ぶっ壊れ中のmstdn.jpにずっと居続けるかどうか考えた方がいいのでは……

@nippon あれはリアルタイムにみててウケたw

こういう予想は、裏切ってくれる方が嬉しい……

にこにこであるよ（美味しいカレー食べたに違いない）

正常なトラフィックが迷惑になることはないと思うよ。本来の処理能力なら普通に捌ける内容なんだからキニスンナ。

mstdn.jpが復帰する際、ゆっくり待機が解消されていくように、キューを絞ればいいんだよ。

運営者が上手にサーバをコントロールすれば済むこと。

運営者からお願いがあったら、その時に考えれば良いよ。

（mstdn.jpへのリアクションは遠慮しなくていいと思うよって話）

@daira マジ？

@nzws アバターがおぬすけパイセンのイラストに代わってる！！
QT: https://don.nzws.me/@nzws/104453381120749566

@AureoleArk

L5発症させるのやばやばのやば。喉をかきむしって死ぬ。

@daira 実は、確認しようとしたら、ウチのルーターもゴネだして、繋がらなくなったりして超焦りましたw

接続している人のルートとか、IPv4とIPv6とか、いろいろ不具合も条件付きで発生するので、気にせず呟いて下さい。その方が気付くのはやくなるので！

This account is not set to public on notestock.

めぢからがつよい

mstdn.jp、向こう1〜2週間ぐらいのプランを説明して、サーバ再起動するぐらいの応急処置はしようよ。

5時間前のトゥ流れるのが楽しめない

結果にコミットする
ライザップ マストドン

リポジトリもなんとかしてくれ
v3.0.1とか使ってないで……

まめつこ公園 #心

This account is not set to public on notestock.

@h3zjp ユーザー層は濃い。まずもってライト層ではない。ディープな層。

これでメンテ入るかな……。たのむぜ……。

雛見沢症候群の話ですよ

@rk_asylum Twitterで投げたメンションに反応あったから、なんかするでしょうきっと……。

@rk_asylum みんなわかってないかもしれないけど、DSNO、あれで頼りになる管理者だったんだぜ。それが7月から完全に手を引いちゃったんだから、ここは正念場であります。

mstdn.jpに一番長く関与しているかもしれんなぁ、昨日から30時間ぐらいw

This account is not set to public on notestock.

遅延、解消し始めたかな。

LTLに18:00の投稿が流れてきたよ。少しずつ追いついているので、イイ感じだね。

4分程度で30分ぐらい取り戻せてるから、5時間ぐらいすぐ追いつくね。

もう2時間以上解消したね

mstdn.jpのLTL遅延、2時間前表示になったよ。

とりあえず追いつくまで見守るか……。

ささわか

日付が変わる前に遅延解消しそうだね。順調順調。

21:00の投稿まで追いつきました。

This account is not set to public on notestock.

よし、残り2時間。

様々な角度から
物事を見ていたら
自分を見失ってた

回復運転中〜とかそういうのは小田急方面に任せた

全部なしきのせいだ

This account is not set to public on notestock.

ちょうど、ひかげ安心しろ！ ってみんなが励ましてる良いところにさしかかってきた

そして僕はこのままで
微かな光を胸に
明日も進んでいくつもりだよ
いいだろう？ Mr.Myself

LTLの回復速度が減速してきたね。HTLまで含めると、解消までまだ数時間かかるな。

でもこのぐらいの速度じゃないと、負荷が高まり過ぎちゃうから、丁度良いと思う。

あすとらさんが、さっきから飛ばしまくっている。ノリノリだ。