icon

みんなゴメンね。たぶんMastodonの新しいバージョンだと,一部DBクエリが極端に遅くなる場合があって,その解析をしてます。

icon

うーん。調べれば調べるほどこれが再発しているようにしか見えないのだが・・・。
github.com/tootsuite/mastodon/

Web site image
LTL is not displayed after applying #11623 in some instance · Issue #11643 · mastodon/mastodon
icon

単にindexがバグってるだけでは説

icon

さすがに名前戻した

icon

のんさん寝たかな

icon

あ,やっぱり寝てる!

icon

@LeLievre 引退しないで

icon

@LeLievre ダウト!

icon

1:05より緊急メンテします。

icon

どうだ!

icon

業務連絡: PgHeroのQueriesリセットしました。

icon

ダメだ〜〜〜〜〜

icon

比較的最近のトゥートでも出てるな。

icon

レスポンス結構良くなってるんだけど,これ単に皆寝たから負荷下がってるだけなのか,本当に良くなったのか,不明

icon

まあ今日は寝ようかな。。

icon

いまは軽いと思うが…

icon

うおー、3.0.0rc1!

icon

流石につながらないはないと思うけど…

icon

@yuhina 申し訳ないのですが、その情報だけだとわたしができることはないのです。。

icon

【お知らせ】DBの問題については今日も引き続き調査します。一部の方にはご不便をおかけして申し訳ないです。
一方、たくさんの申告をいただいておりますが、「重い」だけですと何も状況がわからず、その把握にものすごい稼働を取られています。手元での再現もできていません。そのため、個別のレスポンスは当面差し控えさせてください。また、報告いただける方は、何がどうなっているかという事情をキャプチャした動画投稿と、詳しい環境(v4 or v6接続、事象の回線の依存有無、発生するWebページURLまたはクライアント画面、発生アカウント、OS名とOSバージョン、端末名、ブラウザ名またはクライアント名とそのバージョン、コンテンツブロッカーの有無、おおよその再現率)を明記いただき、わたし宛にreplyを頂けると幸いです。その際は、ご申告者様のアクセスログ等を閲覧させていただくことご了承ください。ご迷惑おかけしますがよろしくおねがいします。

icon

正直、稀に遅いクエリがあるのは事実なんだけど、他はいつも通りなので、そんなにずっと重いというのは考えづらいのですよね。クライアントが古くてサポートされてないAPIコールしてるとか、キャッシュとか、サーバー以外の原因もあると考えるしかないんですよね。現段階では。

icon

リプライで伝える日本語力がなかった…

icon

ごままさんの挙動、v4フォールバック待ちに見えるよね

icon

@gomama もし時間あればで良いのだけど、v6無効で試してみてもらえると嬉しい……

icon

当該クエリ、2回目以降は10ms〜20msで終わってるんだよなあ。

icon

@gomama administrator / admin

icon

@gomama かわいそう

icon

わいえふさん551、100個買っといて

icon

来ないよ

icon

@seibe べい

icon

はんドンはんドンにょっきっき!1はんドン!

icon

むにき氏しかやってくれない、人望がない

icon

自覚症状なしか

icon

芦屋ではたけのこニョッキしないの

icon

Eugenが,例の「少しでもスクロールしていたらTLが自動更新されない」変更に関するアンケートを採っています。気になっている方,是非投票を。
mastodon.social/@Gargron/10283

Web site image
Eugen Rochko (@Gargron@mastodon.social)
icon

@gomama macとかから curl -v handon.club してもらえると切り分けられそう

Web site image
handon.club
icon

@manamimic 3.0でSlow mode(日本語では「手動更新モード」という)のが追加されていまして,それでだけ有効にしてくれればいいのですがね。

icon

わたしよりわいえふさんの方がせんべい病深刻だと思う

icon

@hiroakichan おっけー、ありがとね

icon

@yuhina ありがとう。了解です。

icon

さっきの例の「〇件の新着」が出る問題,今の仕様変更を歓迎する人が多そう。予想通りなんだけどね。。
100%想像だし偏見だど,日本は「勘弁してくれ」って言ってる人が多い印象ではあるのだけど,海外の人はまあ歓迎するだろうなあ。。

icon

◯件の新着問題、万一戻らなかったらうちは独自で戻すからご安心ください

icon

どうしてもそうしたい人は「手動更新モード」使って。

icon

実は今すぐにでも戻したいんだけど、まず今の問題直さないと切り分けられなくなっちゃうので、その後にね。

icon

😭

2019-09-22 10:07:31 のえるの投稿 noellabo@fedibird.com
icon

他、master追従系のサーバでは既に有効になっていますが、タイムラインがスクロールしている状態だと新規の投稿の追加が保留されて、クリックして続きを読めるようになっています。

どこから未だ読んでない部分なのかわかって便利な反面、これまでとは使い勝手が変わってしまいます。

元のと、どっちがいいでしょうね? というEugenさんからの問いかけがこちらです。
mastodon.social/@Gargron/10283

なお、これとは別に、いつでも自動追加されない(保留される)手動更新モードというのも追加されています。

Web site image
Eugen Rochko (@Gargron@mastodon.social)
x new items
Attach image
2019-09-22 09:55:16 Eugen Rochkoの投稿 Gargron@mastodon.social
icon

このアカウントは、notestockで公開設定になっていません。

icon

犬だから服いらないんじゃない?

icon

全裸くろしばくんが見れるのはイカ合宿だけ!

icon

fac合宿

icon

わいえふさんはわいえふさんっぽい顔してる、わかる

icon

@kuroshiba イカ合宿ってそういう………

icon

みきさんおやすみ

icon

深夜部合宿、やばそう

icon

ごまま家行ってフィールドサポートするか?

icon

@yuhina 明日なら…

icon

はんドンはインフラなので,解析よりは復旧が優先かなと判断しつつある

icon

Bump 3.0.0rc1はコミットされてるけど,tagはプッシュされていない。更に,3.0.0rc1のコミット後に新しいコミットが追加されてる。
tagはどこにつくんだろう。今のHEAD?

icon

SPAM一掃したつもり。

icon

あ。
ProofProvider::Keybase::ExpectedProofLiveError:

icon

図らずも運営ガイドラインに目次が付いて読みやすくなっている。。
handon.club/about/more

icon

座右の銘は,みんな仲良くです。

icon

はんドンクラブ利用規約の「みんな仲良く」というのは,全員馴れ合えという意味ではなく,喧嘩しないで(するくらいならリムーブ/サイレント/ブロックしろ)という意味です。

icon

【運営情報】Mastodon3.0の新機能を使って,はんドンクラブがドメインブロックしているサーバのリストおよび理由を公開しました。以下URLの最下部にあります。まだ日本語化されていませんがそのうち日本語化されるでしょう。。。
handon.club/about/more

icon

(DBが重い原因が分からなすぎて現実逃避してたなんて言えない)

icon

あの家には :mendako: が居るのか

icon

本件,ユーザへの障害情報の告知がおろそかになっていた点を反省したので,いろんなチャネルで告知した。

icon

JPHって何?これ?kakaku.com/item/J0000025488/

Web site image
タイガー魔法瓶 炊きたて JPH-A100 価格比較
icon

遅刻する人には1時間前くらいの集合時間伝えとかないと

icon

バリバリバリバリせんべいマン

icon

あ、発作が

icon

@seibe 病気なんです

icon

@seibe せいべ語の変換器?

icon

@seibe すごい、ドラえもんもビックリ

icon

@seibe せんべいえもんのひみつ道具の鉄琴出して〜

icon

@seibe せんべいえもん…

icon

おもちさん,体が駅になってしまったのか・・・

icon

くろしばさん暇ならDB増強手伝って

icon

@kuroshiba 負荷かけないで

icon

@kuroshiba ごめんへら笑うからやめて

icon

緊急メンテします。2分ほど全部止まります。

icon

復帰

icon

クリー!wwwww

icon

あかん,クリー!ちょっとツボった

icon

もうメンテ終わりました。

icon

クリー!痔アヌ路言う

icon

@toshi_a クリー! :senbei:

icon

クリー!ってカレーせんべい!ってことか

icon

@toshi_a おいしそう

icon

のんさんいてよかった。。

2019-09-22 13:00:21 せいべの投稿 seibe@handon.club
icon

このアカウントは、notestockで公開設定になっていません。

icon

ブーストのテストしてる

icon

のんさんすごい。神。

icon

神のんさんが神パッチを書いてくれるので私は飯を食べます

icon

イカ合宿大阪支部,1人でやるか

icon

イカ合宿大阪支部,はんさんの家で,はんさん一人で実施。

icon

@yuhina 一理どころか1億理くらいある

icon

ただ大阪じゃない

icon

はんさんは一人でガチマやるよ

icon

ぺろぺろ〜

icon

ドスケベです

icon

セブンの冷凍の麻婆豆腐買ってみたんだけど,これ,すげーうまくね・・・?丸美屋不要じゃね・・・?

icon

これ冷凍って言われずに出してもバレんぞ

icon

@non117 基本的にmaster branchのものは動かなくて良いと思ってる節がある

icon

業務連絡: devで正常に動きそうです。

icon

おっけ。本番投入行けそう。

icon

わいえふさんゆのい

icon

14:35〜,10分程度緊急メンテナンスします。全サービス止めます。すいません。

icon

ゴメン開始延期する 14:40〜

icon

メンテ突入準備出来ました。予定通り14:40よりちょっとだけ止めます。うまくいけば数分です。

icon

動作テスト1

2019-09-22 14:47:08 わいえふ :han:の投稿 y_f_@handon.club
icon

このアカウントは、notestockで公開設定になっていません。

icon

わいえふさんごめん,あなたのトゥートをテストに使ってる

icon

@non117 まだ使われてるね

icon

ああ。これよくないぞ。

icon

ごめん

icon

動作テスト1

icon

動作テスト

icon

むちゃくちゃ重い

icon

ちょっとまって。完全にいろいろおかしい。。

icon

きっつ

icon

ちょっとマジ疲れすぎてるわ

icon

@terapon はい!​:str_arigato:​​:str_arigato:​​:str_kashikoma:​​:str_kashikoma:

icon

みんなオフ充してるが私もだいぶ充実した休日を送ってるぞ

icon

合宿むっちゃ楽しそうやん…

icon

人妻のアップルパイ

icon

こーひーでものむか。

icon

@kuroshiba あとでね

icon

factorioやりてえ

icon

ケーキ食べたいな。買ってくるか。

icon

いや。外出るのめんどくせえわ。

icon

んーどうしよ。

icon

のろけを観測した

icon

せいべ寝ろ

icon

ぐへへ ケーキ2個買ってきたぞ

icon

夜ご飯の代わりだから

icon

ぐへへ

Attach image
icon

めんだこ

icon

みむさままだ深夜じゃないよ

icon

わからんけどべつにいいよ

icon

LINEでパッチファイルが送られてきた

icon

慎重に作業したいのでちょっとゆっくりやります。

icon

神のんパッチ,サービス中断ほぼ無しで行けるが,INDEX再生成したいお気持ちもあるので10分くらい止めてゆっくりやる気持ちになった。

icon

10分後くらいからメンテします。

icon

いや。手順書作りにもうちょっとかかるな。

icon

すいません。まだ手順書作成中です。

icon

はい。18:50からメンテします。10分くらいのよてい。

icon

じゃあね。

icon

動作テスト1

icon

お?治ったのでは???
各位,重い方いないか,ご確認ください。

2019-09-22 19:01:09 せいべの投稿 seibe@handon.club
icon

このアカウントは、notestockで公開設定になっていません。

icon

これ大勝利では????のんさん神では???

icon

これは直ったでしょ

Attach image
Attach image
icon

次は「〇件の新着」のリバートだな。

icon

【業務連絡】直ったかどうか確認したいのでみなさんたくさんトゥートしてください。特にふぁぼとブーストをたくさんしてください。

icon

:sabakan: < コーヒー飲んでたらパッチ送られてきた

icon

これが・・・皆さんの・・・本気・・・

Attach image
icon

ごめんトゥートもたくさんしていいよ

icon

【鯖缶各位への業務連絡】master追従している場合,SELECT時に(おそらく)意図しないINDEXが選択されるようになっており,弊サーバでパフォーマンスの大幅劣化がありました。解決法を現在本番環境でテスト中ですが,DBが非力な方はアップデート待った方が良いかもしれません。

icon

なりウオホイ

icon

なるほどせんべい!

icon

営業さん以外が「なるほどですね!」って言うの見たことない。だいたい分かってない。

icon

pawooのSPAM,手でBANしてたんだけど,もうそういうレベルじゃないな。。

icon

あ〜〜71話〜〜〜〜

icon

71話を見た側の人間なんで〜

icon

relationshipsだけどdisable_at IS NULLが効いてると思うからreblogが一番影響あったんだと思う

icon

おいしそうだ。

icon

今日だけで100くらいスパム退治してるな。

icon

@yuhina どうさよ

icon

チキンおいしそう・・・

icon

「を付ける」 ってのはなんの訳だろうと思ったら「With」だった。

Attach image
Attach image
icon

1枚目:黄色線がDBサーバのCPU利用率。19:00頃に問題箇所を修正(19:00以降高くなっているのは負荷テストをしていたせいで,たぶんそろそろもっと落ち着く)。
2枚目: slow query。HTL読み込み時に必要なstatus関係クエリが全て遅く,selectの完了に5秒〜60秒程度要していた。これが今はどんなに時間かかっても1秒以下に。

Attach image
Attach image
icon

Hanako project,愛情を精一杯かけるため手動で消してる

icon

しかし間違って生ログ貼らなくて良かった。

icon

@mayaeh おっ,すごい!ありがとうございます。

icon

いつでも良いと思うよ〜

icon

めんだこ太郎,TOEIC5億点くらい取ってそう

icon

よし。はんドンとしては,レスポンス低下のチケットクローズします。
今回はほぼ全てのんさん :fuwaneko: のおかげで解決しました!ありがとう :mendako_colorful:

icon

うちはpostgre11.5です。

icon

うち固有の問題に思えないんだけど,なんで他で出ないんだろうなあ・・・。DBサイズやpostgresql.confやスペックによるんかな。。。

icon

@non117 全く出てない見たいね。謎。

icon

ムネハーーーン

icon

検索もだいたい正常に動いてそう。ハッシュタグ検索だけはちょっと遅いかな?

icon

@kuroshiba 今忙しい

icon

@S_iRe_N @kuroshiba また今度ね・・・

icon

@manamimic ほんとだ何でだろう・・・。ちょっと確認しておきます。

icon

@kuroshiba ていうか8人だから私行っても余るんじゃないの

icon

@manamimic 他のハッシュタグはうまくいくみたいで不思議です。。。

icon

@kuroshiba 今忙しいからもうちょっとしたら行くから

icon

例の「〇件の新着」だけどLTL,HTL以外に通知のところも消し去って良いかな

icon

@manamimic 切り分け出来てませんが,最初が英語大文字だとNGのように見えます

icon

factorioしたい・・・

icon

@toku2 @manamimic お二人のおっしゃってる「検索で出てくる」「出てこない」の定義が分からないですが,①Webの投稿欄上の検索窓で出てくるかどうか ②Webでトゥート中のハッシュタグをクリックした際に画面右に出てくるかどうか のどちらの話をされているか教えて頂けないでしょうか。

icon

dev

icon

せいべさん暇ならdevでトゥートしてみてくれない?

icon

@highemerly テスト

icon

@toku2 ありがとうございます。①は添付のようにならない,という意味で宜しいでしょうか。また,お手数ですが,handon.club/server-info.html で表示される接続サーバ名を教えて頂けないでしょうか。
何れもこれから解析してみます!

Server infomation page - handon.club
Attach image
icon

@toku2 ありがとうございます。

icon

使いやすいです

icon

とりあえず,「〇件の新着」問題の修正を本番投入します。「〇件の新着」が良かったのに〜って方は,設定から「手動更新モード」にしておいてください。

icon

あれ?

icon

ゴメン。Streamingがバグってった。

icon

icon

「〇件の新着」辞めて常時更新,たぶん投入できたと思う。

icon

いや,devでも大文字いける

Attach image
icon

今日の鯖缶業はこれにて終了します。ありがとうございました。

icon

@maricar9710 昨日行った・・・

icon

プリプリ

icon

@maricar9710 はい。おいしいです。

icon

@kuroshiba いまならいいよ。ディスコ?

icon

みんながいちゃいちゃしてるのを聞いてる

2019-09-22 21:52:57 サイレンの投稿 S_iRe_N@handon.club
icon

このアカウントは、notestockで公開設定になっていません。

icon

みきさんのチャクチ失敗を報告したのが一番のファインプレーだった

icon

Hanakooooooooooうるさい。

icon

オタサーの姫ならぬオタサーの幼女がかわいがられている様子を見てる

icon

大分うまく動いてる,神

icon

イカ合宿,やらしい写真を撮影し始めた・・・

icon

おなかすいた

icon

:mendako: 尊い

icon

接続サーバによって投稿欄の下 変更出来るよ

icon

ぶち切りした

icon

各位 私の分まで楽しんでください!

icon

スパムにフォローされる実害ってなんだろう。

icon

pawoo.netの一連のスパム,うちでブロックしてる数だけで160アカウントくらいあった。pawooさん大変だ。。

icon

factorioしたい

icon

おなかすいた

icon

ねむたい

icon

風呂入りたい

icon

え,せいべさん一緒にfactorioしてくれるの

icon

せんべいbot,名前に :senbei: 入れてるだけでは空reply飛んでこないので,ちゃんとトゥート本文を認識して空replyしているらしい