@harukin じゃあ再試行から飛んだかな多分

並列処理数320って無駄な気がするんだよな
320あってもdbが同時に80までしか受け付けてないわけだし

ほんとにちょっとずつだけ捌けてるな

@harukin 一部投稿だけ落ちてるっぽい？

1K超えデフォは気分がよろしくない

でもそれでも再試行500いってないの優秀だな…
masterで死鯖への配送が軽減されたおかげだと思うけどマジで助かる

seichi.workもitabashi.0j0.jpもplus.haruk.inも再試行にのっちゃって寂しいんだが

@resinnrinn pghero見てるとpullキューがstatusesテーブル検索してるせいで重くなってTOしてるのよね

周りの鯖がバタバタ落ちていく

@resinnrinn pullキューのdbへの負荷がやばそうだから、pullを処理しないでその間にdefaultさばいてみては

受け取りきるまで他が流れないか…

投稿の重複確認の検索だから必死に連合の受け取りしてるんだろうな

@resinnrinn pghero

流れてはいるから違うな
単純に多すぎるだけだ

dbロックされちゃってたりすんのかな…？

@resinnrinn 多分そこじゃないぞ
コネクション82までしか行ってないから

@resinnrinn いらないと思う…さすがにdbだけでそこまではいかない
コネクションプールまた足りてないのは多分pgの設定でどっかがネックになってる

@resinnrinn おん？メイン鯖には多分設定してあるはずだけど

あ、アラートが一個減った？

(来週金曜まで我慢)

カラオケ行きたいな…

人いないからPublicで適当なこと言っても大丈夫

思いつかねーんよな

無理ですはい

あーダメだ方針全然違う

わっかんねぇんだ挟み込む位置とか

積分不等式の証明、普通にきつい

パズドラに仮面ライダーコラボが来てるらしいという話を(なぜかカラオケキャスで)知ったんだがそのためにパズドラインストールする気にもならんかった

試験勉強終わらない予感しかしません

連合不調なのかってくらい流速遅いな…

都市伝説なのかよw

This account is not set to public on notestock.

これ古典の先生が言ってたな…

This account is not set to public on notestock.

引用BT、嫌いな人は嫌いみたいですよ？

自分のHTLはAlmost 100%監視してるので特に…ってスタンスだけど

-あと改造で追加した機能が本家に入ったりするとソースコードの調整がめんどいのでア-

引用BT会話文化、なんで生えたのかわからんけどodakyu.app<-->itabashi.0j0.jpだけじゃなくてMisskeyとかも混ざってフォーマットごちゃごちゃ会話みたいになってることもあるのでね…

文字数なんて気にせず投稿したいので4096も使わねーだろくらいにしてあります

こういう時に絶対に要らない4096文字が助かる

570文字くらいだった

ところでさっきのトゥート何文字あったんだろw

あと、引用搭載鯖で引用がどれだけ綺麗に見えてるのかは1回見てもらいたいと思っていて、外から見るとリンクしか見えないけど、ちゃんと対応インスタンスでは引用っぽく見えてるんだよってことを強調しておきたい
~~~~~~~~~~
[https://odakyu.app/@ars42525/101182867580619978]

ぺいんと&トラゾーのカラオケキャス、二人とも上手くていい

#9248 でした

これ欲しいなこのPR
保存しとこ

This account is not set to public on notestock.

This account is not set to public on notestock.

板橋、死んでるはずなのに時々詰まりアラート飛んでくるから謎

闇を感じる

This account is not set to public on notestock.

(時々板橋メンテ情報とか流してますけどadmin権限持ってるんでなんかあったら遠慮なくどうぞ…)

JP、規模が規模なだけにメンテに時間かかるけど、別に配送拒んだりするわけじゃないし、無言閉鎖インスタンスのほうがたち悪いのでちゃんと告知してるだけいいじゃないと言ったところ

にゃ欠乏症で笑った
cat中毒性あるのww

This account is not set to public on notestock.

まだknzk.me不調なの？

板橋はdb鯖引っ越し中にトラブったので鯖缶の手があくまで今暫くお待ちください…

ないほうがいいですよね()

This account is not set to public on notestock.

@mayaeh むしろ40MB超えると処理されずに直リンになりますね(70MB超えの動画で確認)

転スラ #10 視聴開始

@mayaeh 引数から動画URLは拾えますが他鯖に迷惑かけないようにDMで送ってもらったんで投稿自体は外から見えないですね

@mayaeh ここに2日間処理し続けていることになっているジョブがあるんですが情報提供になりますかね…？
と言っても拾えるのはこのページのデータくらいなんですけど

sidekiqをffmpegが占領した結果ffmpegの処理が何らかの要因で失敗したのにもかかわらずsidekiq側は処理済みの動画が帰ってこないと待ち続けて処理が詰まるという事象があるのでなんとかしてくれ
特にmisskey発の動画は変な形式で飛んできたりするのでひどい

PayPayがどこで使えるのか把握してないけどKyash通してPayPayで払うやつやりたい
PayPal通すやつもうやってるってのはおいておいて

Mastodon Advent Calendar空きあるのかな
あったらPrometheus+GrafanaでMastodon監視書いてもいいんだけど

教えるのは得意なんだけどなぁ…w
記事にしろと言われると…

情報集めるのが結構大変なんでできれば解説記事とか書いてみたいんですけど如何せんそういうのに向いてなくてですね

決して"楽に"セットアップできる手段ではないので「楽しいですよ」と言っておきます
気になるなら休日が1日飛ぶくらいの覚悟で挑んだほうがいいくらいハマります(熱中するって方の意味で)

ちなみに、初期設定がちょっと苦労するかもですがmastodon→(statsd)→statsd_exporter→prometheus→grafanaって飛ばすといろいろ見れて楽しいですよ
アラート受け取るだけでよければ、prometheusまでで止めてalertmanagerを設定すればOK

sidekiq、再試行は無視で待機中のみアラート飛ばしてるのは同じ思考になってるからですね > BT

10分前の再試行の値と比較して+10%以上とか？

再試行急増加アラートも考えるか
と言っても具体的にどういう状態が急増なのかって言われると難しいよね

睡眠時間や自由時間をことごとく蝕んでくるsidekiq詰まり通知

板橋のFailureの荒れ方がすごい

odakyu.app・itabashi.0j0.jp・nitiasa.com

今歌いたい曲でリスト作ったら49曲になった
来週の金曜用

@resinnrinn 状況が掴めんので俺も触れない(あとdb鯖触れんし)

@resinnrinn した、予定とは？()

@resinnrinn あ、アウトな感じのアラートだったのあれ

間違えて通知消して「あまって今の通知帰ってきて！」ってなった時に復元できる機能欲しい

ま、多分dbちゃんとメンテしなきゃダメだな

再起動はダメ、と

なんでかなぁ
謎である

@resinnrinn いやあれは俺の設定ミスだな
普通1hに1回にしてあったはずなんだがどっかがおかしい

あーーーーーーーー

あーーーーーーーー
アラートが五月蝿すぎてキレた

うちのMastodonのdb名ってpostgresだったのね(今更)

戻った

1回web止めて中のジョブだけ全部処理させるのも手か…？

bounserがやばい気がしている

なんでここまでプロセスをキルしてもコネクションに余裕が生まれないんだ

@resinnrinn 洒落にならん(白目

どうなってるんだろうな…
70接続が限界っぽい

どうやって捌くんだこの2万件+現在も単調増加中

うーん
確かにこれは萎えるわなぁw

なかなか見ないわよこの数の再試行

#kyoriobjstorage
11.625371273607016G 5 objects s3://itabashi-backup/
124.5562849920243G 697056 objects s3://media.n-sr.org/
6.588456012308598G 68099 objects s3://media.nitiasa.com/
17.60127652902156G 198084 objects s3://media.odakyu.app/
2.340493980795145G 5 objects s3://nitiasa-backup/
7.092267100699246G 5 objects s3://odakyu-backup/
403.4133529663086M 2475 objects s3://optics.odakyu.app/
0 1 objects s3://ramune/
207.7685146331787M 39 objects s3://storage.accelf.net/
--------
170.4010071810335G Total

オブジェクトストレージ総容量の取得を開始します

データベースのバックアップ作業が完了しました
取得開始:201812040550

バックアップに成功しました。メディアストレージに転送します
取得開始:201812040550

データベースのバックアップ作業を開始します
取得開始:201812040550

おーん
ねま

This account is not set to public on notestock.

定期的にキューが詰まっている…

This account is not set to public on notestock.

今夜はアラートでねれなさそうだ…

ねっか

@resinnrinn ねていいとおもふ

再試行に積まれてるから無意味では…w

バッテリー残量:5 % #G8441 #Battery

森林の気合いを感じてる

@resinnrinn うん捌けそうにないね(増えてる)

@resinnrinn とりあえず放っときゃ捌けそうだから寝たら？

@resinnrinn 直接繋いだほうが速いのでは？という

@resinnrinn bounser逆にコネクションもぐもぐしてる説

無理やり減らそうにもdbが受け止めらんない

あ(増える再試行

@resinnrinn /sidekiq

まーたコネクションプール食いつぶしてるな

わーおwwこりゃすげぇ

なかなか迫力あるな…

@resinnrinn がんばって…

@resinnrinn 流石に放置できんでしょ…

@resinnrinn うんまぁ激しいことになってるな…

@resinnrinn 動くまでがんばえ…

@resinnrinn 70くらいで限界来てる気がするけどなー

現在残っているタスク : 121件 #remaintasks

@resinnrinn どっかで最大接続数絞ってたりしない？

@resinnrinn 起動しないってことある？

@resinnrinn dbへのコネクションが多すぎてやられてたところまでは掴んでるんだが

Today's Activity

トゥート数：50136(122)
フォロー数：251(-2)
フォロワー数：263(0) (FF比：1.048)
TPD：385.662(-2.043)
アカウント開設から130日でした。お疲れ様でした。 #ars42525

ダメだ、dbに繋がんねぇ