みんなゴメンね。たぶんMastodonの新しいバージョンだと，一部DBクエリが極端に遅くなる場合があって，その解析をしてます。

うーん。調べれば調べるほどこれが再発しているようにしか見えないのだが･･･。
https://github.com/tootsuite/mastodon/issues/11643

単にindexがバグってるだけでは説

さすがに名前戻した

のんさん寝たかな

あ，やっぱり寝てる！

@LeLievre 引退しないで

@LeLievre ダウト！

1:05より緊急メンテします。

どうだ！

業務連絡： PgHeroのQueriesリセットしました。

ダメだ〜〜〜〜〜

比較的最近のトゥートでも出てるな。

レスポンス結構良くなってるんだけど，これ単に皆寝たから負荷下がってるだけなのか，本当に良くなったのか，不明

まあ今日は寝ようかな。。

いまは軽いと思うが…

うおー、3.0.0rc1！

流石につながらないはないと思うけど…

@yuhina 申し訳ないのですが、その情報だけだとわたしができることはないのです。。

【お知らせ】DBの問題については今日も引き続き調査します。一部の方にはご不便をおかけして申し訳ないです。
一方、たくさんの申告をいただいておりますが、「重い」だけですと何も状況がわからず、その把握にものすごい稼働を取られています。手元での再現もできていません。そのため、個別のレスポンスは当面差し控えさせてください。また、報告いただける方は、何がどうなっているかという事情をキャプチャした動画投稿と、詳しい環境（v4 or v6接続、事象の回線の依存有無、発生するWebページURLまたはクライアント画面、発生アカウント、OS名とOSバージョン、端末名、ブラウザ名またはクライアント名とそのバージョン、コンテンツブロッカーの有無、おおよその再現率）を明記いただき、わたし宛にreplyを頂けると幸いです。その際は、ご申告者様のアクセスログ等を閲覧させていただくことご了承ください。ご迷惑おかけしますがよろしくおねがいします。 #handon_info

@kuroshiba https://blog.regonn.tokyo/programmer/2017/08/31/youtube-live-comment-bouyomi-san.html だよ

正直、稀に遅いクエリがあるのは事実なんだけど、他はいつも通りなので、そんなにずっと重いというのは考えづらいのですよね。クライアントが古くてサポートされてないAPIコールしてるとか、キャッシュとか、サーバー以外の原因もあると考えるしかないんですよね。現段階では。

リプライで伝える日本語力がなかった…

ごままさんの挙動、v4フォールバック待ちに見えるよね

@gomama もし時間あればで良いのだけど、v6無効で試してみてもらえると嬉しい……

当該クエリ、2回目以降は10ms〜20msで終わってるんだよなあ。

@gomama administrator / admin

@gomama かわいそう

わいえふさん551、100個買っといて

来ないよ

@seibe べい

はんドンはんドンにょっきっき！1はんドン！

むにき氏しかやってくれない、人望がない

自覚症状なしか

芦屋ではたけのこニョッキしないの

Eugenが，例の「少しでもスクロールしていたらTLが自動更新されない」変更に関するアンケートを採っています。気になっている方，是非投票を。
https://mastodon.social/@Gargron/102833436547113620

更新： https://status.handon.highemerly.net/

@gomama macとかから curl -v https://handon.club してもらえると切り分けられそう

@manamimic 3.0でSlow mode（日本語では「手動更新モード」という）のが追加されていまして，それでだけ有効にしてくれればいいのですがね。

わたしよりわいえふさんの方がせんべい病深刻だと思う

@hiroakichan おっけー、ありがとね

@yuhina ありがとう。了解です。

さっきの例の「〇件の新着」が出る問題，今の仕様変更を歓迎する人が多そう。予想通りなんだけどね。。
100%想像だし偏見だど，日本は「勘弁してくれ」って言ってる人が多い印象ではあるのだけど，海外の人はまあ歓迎するだろうなあ。。

◯件の新着問題、万一戻らなかったらうちは独自で戻すからご安心ください

どうしてもそうしたい人は「手動更新モード」使って。

実は今すぐにでも戻したいんだけど、まず今の問題直さないと切り分けられなくなっちゃうので、その後にね。

😭

This account is not set to public on notestock.

犬だから服いらないんじゃない？

全裸くろしばくんが見れるのはイカ合宿だけ！

fac合宿

わいえふさんはわいえふさんっぽい顔してる、わかる

@kuroshiba イカ合宿ってそういう………

みきさんおやすみ

深夜部合宿、やばそう

ごまま家行ってフィールドサポートするか？

@yuhina 明日なら…

はんドンはインフラなので，解析よりは復旧が優先かなと判断しつつある

Bump 3.0.0rc1はコミットされてるけど，tagはプッシュされていない。更に，3.0.0rc1のコミット後に新しいコミットが追加されてる。
tagはどこにつくんだろう。今のHEAD？

SPAM一掃したつもり。

あ。
ProofProvider::Keybase::ExpectedProofLiveError:

図らずも運営ガイドラインに目次が付いて読みやすくなっている。。
https://handon.club/about/more

座右の銘は，みんな仲良くです。

はんドンクラブ利用規約の「みんな仲良く」というのは，全員馴れ合えという意味ではなく，喧嘩しないで（するくらいならリムーブ／サイレント／ブロックしろ）という意味です。

【運営情報】Mastodon3.0の新機能を使って，はんドンクラブがドメインブロックしているサーバのリストおよび理由を公開しました。以下URLの最下部にあります。まだ日本語化されていませんがそのうち日本語化されるでしょう。。。
https://handon.club/about/more
#handon_info

（DBが重い原因が分からなすぎて現実逃避してたなんて言えない）

あの家には が居るのか

本件，ユーザへの障害情報の告知がおろそかになっていた点を反省したので，いろんなチャネルで告知した。

JPHって何？これ？https://kakaku.com/item/J0000025488/

遅刻する人には1時間前くらいの集合時間伝えとかないと

バリバリバリバリせんべいマン

あ、発作が

@seibe 病気なんです

@seibe せいべ語の変換器？

@seibe すごい、ドラえもんもビックリ

@seibe せんべいえもんのひみつ道具の鉄琴出して〜

@seibe せんべいえもん…

おもちさん，体が駅になってしまったのか･･･

くろしばさん暇ならDB増強手伝って

@kuroshiba 負荷かけないで

@kuroshiba ごめんへら笑うからやめて

緊急メンテします。2分ほど全部止まります。

復帰

クリー！ｗｗｗｗｗ

あかん，クリー！ちょっとツボった

もうメンテ終わりました。

クリー！痔アヌ路言う

@toshi_a クリー！

クリー！ってカレーせんべい！ってことか

@toshi_a おいしそう

@okamiya

のんさんいてよかった。。

This account is not set to public on notestock.

ブーストのテストしてる

のんさんすごい。神。

神のんさんが神パッチを書いてくれるので私は飯を食べます

イカ合宿大阪支部，1人でやるか

イカ合宿大阪支部，はんさんの家で，はんさん一人で実施。

@yuhina 一理どころか1億理くらいある

ただ大阪じゃない

はんさんは一人でガチマやるよ

ぺろぺろ〜

ドスケベです

セブンの冷凍の麻婆豆腐買ってみたんだけど，これ，すげーうまくね･･･？丸美屋不要じゃね･･･？

これ冷凍って言われずに出してもバレんぞ

@non117 基本的にmaster branchのものは動かなくて良いと思ってる節がある

業務連絡： devで正常に動きそうです。

おっけ。本番投入行けそう。

わいえふさんゆのい

14:35〜，10分程度緊急メンテナンスします。全サービス止めます。すいません。

ゴメン開始延期する　14:40〜

メンテ突入準備出来ました。予定通り14:40よりちょっとだけ止めます。うまくいけば数分です。

動作テスト１

This account is not set to public on notestock.

わいえふさんごめん，あなたのトゥートをテストに使ってる

@non117 まだ使われてるね

ああ。これよくないぞ。

ごめん

動作テスト１

動作テスト

むちゃくちゃ重い

ちょっとまって。完全にいろいろおかしい。。

きっつ

ちょっとマジ疲れすぎてるわ

@terapon はい！​​​​​​​​

みんなオフ充してるが私もだいぶ充実した休日を送ってるぞ

合宿むっちゃ楽しそうやん…

人妻のアップルパイ

こーひーでものむか。

@kuroshiba あとでね

factorioやりてえ

ケーキ食べたいな。買ってくるか。

いや。外出るのめんどくせえわ。

んーどうしよ。

のろけを観測した

せいべ寝ろ

ぐへへ　ケーキ2個買ってきたぞ

夜ご飯の代わりだから

ぐへへ

めんだこ

みむさままだ深夜じゃないよ

わからんけどべつにいいよ

LINEでパッチファイルが送られてきた

慎重に作業したいのでちょっとゆっくりやります。

神のんパッチ，サービス中断ほぼ無しで行けるが，INDEX再生成したいお気持ちもあるので10分くらい止めてゆっくりやる気持ちになった。

10分後くらいからメンテします。

いや。手順書作りにもうちょっとかかるな。

すいません。まだ手順書作成中です。

はい。18:50からメンテします。10分くらいのよてい。

じゃあね。

動作テスト１

お？治ったのでは？？？
各位，重い方いないか，ご確認ください。

This account is not set to public on notestock.

これ大勝利では？？？？のんさん神では？？？

これは直ったでしょ

次は「〇件の新着」のリバートだな。

【業務連絡】直ったかどうか確認したいのでみなさんたくさんトゥートしてください。特にふぁぼとブーストをたくさんしてください。

< コーヒー飲んでたらパッチ送られてきた

@zero_zaki_ghost え？？

これが･･･皆さんの･･･本気･･･

ごめんトゥートもたくさんしていいよ

【鯖缶各位への業務連絡】master追従している場合，SELECT時に（おそらく）意図しないINDEXが選択されるようになっており，弊サーバでパフォーマンスの大幅劣化がありました。解決法を現在本番環境でテスト中ですが，DBが非力な方はアップデート待った方が良いかもしれません。

なりウオホイ

なるほどせんべい！

営業さん以外が「なるほどですね！」って言うの見たことない。だいたい分かってない。

pawooのSPAM，手でBANしてたんだけど，もうそういうレベルじゃないな。。

あ〜〜71話〜〜〜〜

71話を見た側の人間なんで〜

relationshipsだけどdisable_at IS NULLが効いてると思うからreblogが一番影響あったんだと思う

おいしそうだ。

今日だけで100くらいスパム退治してるな。

Update。 https://status.handon.highemerly.net/

@yuhina どうさよ

チキンおいしそう･･･

「を付ける」 ってのはなんの訳だろうと思ったら「With」だった。

1枚目：黄色線がDBサーバのCPU利用率。19:00頃に問題箇所を修正（19:00以降高くなっているのは負荷テストをしていたせいで，たぶんそろそろもっと落ち着く）。
2枚目： slow query。HTL読み込み時に必要なstatus関係クエリが全て遅く，selectの完了に5秒〜60秒程度要していた。これが今はどんなに時間かかっても1秒以下に。

Hanako project，愛情を精一杯かけるため手動で消してる

しかし間違って生ログ貼らなくて良かった。

@mayaeh おっ，すごい！ありがとうございます。

いつでも良いと思うよ〜

めんだこ太郎，TOEIC5億点くらい取ってそう

よし。はんドンとしては，レスポンス低下のチケットクローズします。
今回はほぼ全てのんさん のおかげで解決しました！ありがとう

うちはpostgre11.5です。

うち固有の問題に思えないんだけど，なんで他で出ないんだろうなあ･･･。DBサイズやpostgresql.confやスペックによるんかな。。。

@non117 全く出てない見たいね。謎。

ムネハーーーン

@seibe

@Eucritical

検索もだいたい正常に動いてそう。ハッシュタグ検索だけはちょっと遅いかな？

@LeLievre

@LeLievre

@kuroshiba 今忙しい

@S_iRe_N @kuroshiba また今度ね･･･

@manamimic ほんとだ何でだろう･･･。ちょっと確認しておきます。

@kuroshiba ていうか8人だから私行っても余るんじゃないの

#test_nowplaying

@manamimic 他のハッシュタグはうまくいくみたいで不思議です。。。

@kuroshiba 今忙しいからもうちょっとしたら行くから

例の「〇件の新着」だけどLTL，HTL以外に通知のところも消し去って良いかな

@manamimic 切り分け出来てませんが，最初が英語大文字だとNGのように見えます

factorioしたい･･･

@toku2 @manamimic お二人のおっしゃってる「検索で出てくる」「出てこない」の定義が分からないですが，①Webの投稿欄上の検索窓で出てくるかどうか ②Webでトゥート中のハッシュタグをクリックした際に画面右に出てくるかどうか のどちらの話をされているか教えて頂けないでしょうか。

dev

せいべさん暇ならdevでトゥートしてみてくれない？

@highemerly テスト

@toku2 ありがとうございます。①は添付のようにならない，という意味で宜しいでしょうか。また，お手数ですが，https://handon.club/server-info.html で表示される接続サーバ名を教えて頂けないでしょうか。
何れもこれから解析してみます！

@toku2 ありがとうございます。

使いやすいです #Tootoise

とりあえず，「〇件の新着」問題の修正を本番投入します。「〇件の新着」が良かったのに〜って方は，設定から「手動更新モード」にしておいてください。

あれ？

ゴメン。Streamingがバグってった。

ん

「〇件の新着」辞めて常時更新，たぶん投入できたと思う。

いや，devでも大文字いける

今日の鯖缶業はこれにて終了します。ありがとうございました。

@maricar9710 昨日行った･･･

プリプリ

@maricar9710 はい。おいしいです。

@kuroshiba いまならいいよ。ディスコ？

みんながいちゃいちゃしてるのを聞いてる

This account is not set to public on notestock.

みきさんのチャクチ失敗を報告したのが一番のファインプレーだった

Hanakooooooooooうるさい。