まぁまぁ頑張った。

さて、さらなる経費削減策を考えるか……。

@0418 真理

このアカウントは、notestockで公開設定になっていません。

このアカウントは、notestockで公開設定になっていません。

このアカウントは、notestockで公開設定になっていません。

#fedibird ちょっと後ろで走らせていたプロセスがデータベース接続を飽和させたようで、500エラーなどが出ていたかと思います。さきほど対処しました。

ご心配お掛けしました。

@Yashima tootleって、なんか使っているうちにタイムライン取得できなくなっちゃうことあるよね。tootleを終了させて再起動すると直ったりする。あれいったいなんなんだろう……。 #tootle #fedibird

#fedibird ちょっとdb系メンテ入るねー。

@Yashima おはようございます！

DBサーバ側に問題があった感じなので、swap増強して、負荷を与えてテスト中です。メモリちょっと足りなかったかなー。

このアカウントは、notestockで公開設定になっていません。

美味しそう

@panorama_box 固定トゥートを5つぐらい設定すれば……できませんね

@squid999 あなたには根性があるわ！
私と一緒に国立競技場をめざしましょう！（虹野沙希）

ｵﾊｲｵ

@squid999 さしずめ鯖缶道ですかね。v3.1.2にアップデートしましょう！

このアカウントは、notestockで公開設定になっていません。

ちょっとキューが詰まってるわね。回復途上。 #fedibird

@sakasato おはよーう！

#fedibird お知らせ入れようと思ったら終わってしまった……。

ここ2時間ばかり、少々重めのタスクを走らせて負荷試験的なことをしておりました。私自身はあまり確認できなかったのですが、やはり相応に重かったようですね……。

データベースサーバの、おそらくメモリ不足から動作不安定になることがあったようなので、swapを増強しつつ、一定の負荷をかけつつ様子をみておりました。効果があって安定したようです。先程は待機が6,000ぐらい積まれるところまで詰まりましたが、エラーにならず捌ききってくれました。

あとは、私が余計なことをしなければ安定するでしょうw

Subway Tooterが対応してくれていることもあり、Mastodonのお知らせ、きちんと機能するという実感を持ちました。

もとより全員に伝えることはできないワケですが、アクティブの一定割合を超えれば実用性があると判断できます。絵文字リアクションもなかなか役に立っています。

#fedibird 第二弾。メディア削除のタスクを走らせ始めました。concurrency=1で実行しているのもあり、CPU使用率は12%前後ですね。

挙動がおかしいとか、重い！など気がついたことがありましたら教えてください。

@hikaribit iOS勢が自分で作るしかないですねぇ……。

私のMastodonデータベース移設作業ですが、移設先をレプリケーションのスタンバイサーバにしてから切り替えることがほとんどです。

旧鯖のpostgresql.confに
listen_addresses = '*'
synchronous_commit = off
max_wal_senders = 3
wal_level = replica
hot_standby = on

pg_hba.confに
host replication replication_user xx.xx.xx.xx/32 md5

ufw allow from xx.xx.xx.xx to any port 5432 proto tcp

などと準備しておいて、新鯖で

pb_basebackup -h yy.yy.yy.yy -D /var/lib/postgresql/12/main -U replication_user -R -P

pg_ctl start

.env.productionを新鯖に書き換え、鯖とめて、

pg_ctl promote

でDB本番移行。鯖再開という感じです。

#fedibird ひとまず中断。ちょっと別の方法を試してみます。

@syuilo @sakasato ハッシュタグに許容する文字は実装により様々で、なんと空白を含むものもあります。

実装間で互換性が無い場合、ハッシュタグとして認識されなかったり、エラーになって投稿が受け取れないこともあります。

ハッシュタグを狭い範囲で用いたり、飾りとしてつける分にはどんなものを使ってもいいのですが、情報をより広く伝え、絞り込む目的で使う場合は、共通して使えるものを選ぶのが無難です。

Mastodonはその点、比較的保守的な実装になっています。

replication_userを事前に作成しておくのを説明してないな……。まぁ、イメージがわかればOKということで。

psql -c "CREATE ROLE replication_user LOGIN REPLICATION PASSWORD 'xxxxxxxxx'";

レプリケーションやDB鯖移設、難しくないよ、というお話でした。

以前、そのへんを少し丁寧に書いたヤツはこちら。
https://noellabo.qrunch.io/entries/xvEfTs4zVrTzqSM7

うーん、データベースサーバのCPUパワー不足だな、これは……。 #fedibird

#fedibird DB鯖上でmedia removeしてみるテスト中。

#fedibird ちょっとしばらくmedia remove動かしておくので、体感速度とかエラーでてないかとか、見られる人みといて。

このアカウントは、notestockで公開設定になっていません。

内容によってはかなり重いなー。待機キューが積み上がってきたので中止。 #fedibird

#fedibird 待機キューの詰まり方がなんかおかしいな？ 引用関係のコードに問題があるかもしれん。要確認。

#fedibird 引用した投稿のidを保持するフィールドにインデックスが設定されていなかったことが高負荷の原因と思われるため、対処しました。

処理の98%を占めるスロークエリ……。

@ars42525 おめでとう！ おつかれさま！

@mamemomonga メチャクチャほっとした……。おつかれさま！

@kuroringo ​​

このアカウントは、notestockで公開設定になっていません。

おささんが増殖した……

#fedibird さて、また懲りずにmedia removeするよ。今度はメインサーバの一つからやる。

PleromaがActivityやObjectをJSONのまま保持して使うので、それでUI側が死んだりしてやっかいだった……。

リレーは、pub-relay(mastodon)がCrystal、pub-relay-proto(mastodon)がRuby、ActivityRelay(Pleroma)がPython、Activity-Relay(雪餅)がGo、ランランさんのがNode.js

#fedibird ガンガンまわしてるけど、特に重くないね。やはりインデックスか……。

みそみそ〜

てす

pgbouncerhero導入しようと思ったけどやめた。やるとしても、単独で立てよう。

#にょろりはともだち

おっとプルリクするの忘れてた

@wakin quote_idにインデックスつけました。
https://github.com/wakin-/mastodon/pull/46

普段はインデックスなくても大差ないですが、アカウント削除などstatusの大量削除が行われると死ぬほど遅くてヤバイです。

@NPC はじめまして！ #fedibird

@peachxraspberry iOSのPWA？

@peachxraspberry ありゃー。

菱餅！

のじゃろりざなくさんだ

おいなりさんだ

ミロおいしい！！ ミロおいしい！！

自鯖の中なら言える

@weep 突如現れたLTLのあるsyuiloが管理者のMisskey。MisskeyHost（村上さんのホスティングサービス）で提供されている。

このアカウントは、notestockで公開設定になっていません。

test2

よし、大丈夫かな……。

masterで発生していた、新規にログインできない問題、解決しましたね。
https://github.com/tootsuite/mastodon/pull/13177

昨日私が流した情報に誤りがあり、puma 4.3.3にて解決していたようです。

puma 4.3.3を使用することでMastodonでも無事にログインできるようになりました。

HTTPヘッダへのインジェクション対策を行った際に、改行の取り扱いに問題があり、クッキーのヘッダを壊してしまうことが原因だったようです。テストケースが甘くて気がつかなかったみたいですね。
https://github.com/puma/puma/issues/2132

@mitarashi3799 まったくログインできなくなる奴だから、たぶん別の話だと思うよ！

毎日、開発中の最新使ってるようなサーバだけの問題。

#fedibird 昨日行っていたメディア削除は無事に完了し、700GB超だった容量が230GBほどになりました。たぶん月額$12〜$13ぐらいの節約になるかな。

そして今朝から、データベースのリードレプリカを有効にしました。

Fedibirdのデータベースは、独立した2つのVPS上にあって、それぞれ、マスターと、それの複製（レプリカ）になっています。

これまでは、マスターだけを更新・参照していて、レプリカは非常時に備えて待機しているだけでした。

これを、更新をマスターに、参照をレプリカに対して行うように設定しました。

この運用方法は、2台のサーバで手分けして対応するようになるので、1台あたりの負担が軽くなるメリットがあります。

同期レプリケーションが必須になった分、更新の完了に少し時間がかかるようになっていますが、体感できるほどではないと思います。

同期レプリケーションは、postgresql.confに

synchronous_commit = remote_apply

などの設定が必要です。

常時バックアップのレプリカであれば、非同期の方がパフォーマンス面で有利なので、offの方が良いでしょう。

リードレプリカの設定については、Mastodonの公式ドキュメントに記載があります。
https://docs.joinmastodon.org/admin/scaling/#read-replicas

ソースコード上の config/database.yml にdb設定を直接書くわけにはいかないので、ウチではこんな風に変更しています。環境変数を使って、.env.productionにデータベース接続を記述します。pgheroも設定しておいた方がいいですね。
https://github.com/fedibird/mastodon/commit/32abc914c589ca2e3be3c952aeeeea2fe6aaebd9

@estpls やったらヨソに届かなくなりますからねぇ。

@estpls これで40k以下になってます
https://media-misskey.noellabo.jp/files/ee974eb8-0041-4b16-ad2a-66142171b0f1.png

@estpls 透過素材
https://media-misskey.noellabo.jp/files/4c8322a4-edae-49a2-81b8-8e0b25287531.png

@squid999 そもそもBest-Friends.chatがやってる。AWSの費用明細みるべし。

@syuilo 👍

まめもさんがコレになっていた。ご愁傷様です……。
QT: https://fedibird.com/@noellabo/103742625819965813

春の解約まつり、もうちょっとだけ続くんじゃ……

このアカウントは、notestockで公開設定になっていません。

@syuilo メッチャ美味しそう……

#おなかがすきましたね

タイムラインの購読は、RSSやFedibirdでやるんやで。

このアカウントは、notestockで公開設定になっていません。

このアカウントは、notestockで公開設定になっていません。

このアカウントは、notestockで公開設定になっていません。

Slow Queryを目撃すると、改善したくなるな……。あとにせねば。

@mtms ここ

汲み取りのトイレといえば、ハエ取り紙であるよ。

今日の優先事項は、$40の鯖を一つ減らすことだな……。やっぺやっぺ。

Mastodonのこと、もう少し記事に残そう……。

@mayaeh お知らせありがとうございます！

あれこれやっているときに、pumaのissueをちゃんと見つけられていれば……。

もう、ちょっと暗い場所だと、発光しているスマホの画面ですら、メガネ外さないとよく見えないのだよ……。

このアカウントは、notestockで公開設定になっていません。

このアカウントは、notestockで公開設定になっていません。

リレーとかoutboxガン無視よねw

猫の集会みたいな奴

#fedibird 深夜にごそごそメンテしてましたが、ElasticSearchというMastodonの全文検索のエンジンになっているサービスが落ちており、大量の未処理ジョブを抱えていたのを解消させておりました。

あわせて、sidekiqのスレッド数の調整など細かな調整を行いました。

もうサーバ動作の方は落ち着いているかと思います。

@squid999 おはよー。

@mirai

このアカウントは、notestockで公開設定になっていません。

このアカウントは、notestockで公開設定になっていません。

めっちゃ美味しそう

このアカウントは、notestockで公開設定になっていません。

@magnesite こういうの好き。活動的な子。

@mamemomonga 🎉🎉🎉

結局SlowQueryのことを考えている。最適化楽しすぎる。

このアカウントは、notestockで公開設定になっていません。

@NPC 現在認識されている、同一メッセージでパターン化されたスパムアカウントは処置しました。

通報機能を使って、理由を記載の上、報告いただけると助かります。 #fedibird

@frfr 遅い理由はわかったので、ちょっと強引にスピードアップしてみたよ。
https://github.com/fedibird/mastodon/commit/54a602d548cb93b9f54ccb254f87663ede089454

やり方がめっちゃ汚いのと、ブロックしてる人が多かったりするとちゃんと表示されない弱点があって、何か対処考えようと思ってるけど、とりあえず実用上はほぼ問題なさそう。

ハッシュタグタイムラインの取得クエリが遅いのは、該当のハッシュタグが使われている件数が一定以上多い場合にwork_memを超えてしまい、Bitmap Index Scanした後にexactではなくlossyで処理されて、Bitmap Heap Scan のRecheckが走ってしまうため。

何を言っているかわからないと思うのでw、詳しい人が説明してくれてる記事をみて……。
https://taityo-diary.hatenablog.jp/entry/2018/07/07/071928

work_memはそうそう大きくできないので、frfrとかabyss_fun、theboss_techのような件数の多いタグに対応するのは難しい。

んで、私が今回とったアプローチは、通常は最後に行うページング用のパラメータを、事前にハッシュタグを抽出する際に適用して処理対象件数を減らすというもの。とりあえず200件だけ取得してあとは無視するようにしたので、取得した200件がロック対象だった場合にタイムラインそれ以上遡れないという問題がある。

まぁ何にしても快適にはなった。

ただ、ちょっとこれを公式にぶち込むのはあんまりなので、もっと洗練させたい。

@p_q こっちもやっていかないとねー。Default settingは、set :quiet とか set :json ってしておくと、毎回オプションつけなくても既定値になる奴。set :json:off って感じで解除。:quietにしとくと、実行結果をリプライしてこなくなる。

Qiita丼からまとめて来てた。sidekiq詰まってた感じだねぇ。

めっちゃ遅いハッシュタグ #frfr は代表格だけど、ウチで一番多いのは rssfeed

ビターキャラメルのセット、お得以外の何物でも無いぞ。 #ncr

@nelsoncoffeeroaster あいあいさ

@frfr デフォルトハッシュタグ適用のサーバ向け
https://github.com/fedibird/dtp-mstdn-jp/commit/834240223021c87074ccdec5170de824fc5794c1

#theboss_tech タグは、新参のFedibirdで見るより古参のDTP-Mstdn.jpで見た方がいいんですが、今回ハッシュタグの高速化を図ったので、すぐに表示されるようになりました。軽い。

DTP鯖でみる #theboss_tech
https://dtp-mstdn.jp/tags/theboss_tech

スパム退治のやつ。ふざけて文言を真似しているアカウントも容赦なく削除される。危険。

Account.where('note like ?', '%i am playful person. I would like to make your dreams and hidden fantasies comes true.%').map{ |account| SuspendAccountService.new.call(account, reserve_email: false) }

にせはらさんだ

未成年をビア鯖に招待するのは気がひけるのでアレ

このアカウントは、notestockで公開設定になっていません。

イロイッカイズツ

@sublimer Nelson Coffee Roasterは、仙台にあるコーヒー豆屋さんで、Pawooがメイン。マストドンユーザーによく知られていて、通販で多くの人が利用しています。ここのコーヒー豆は美味しいです。
http://nelsonbeans.com/

三上洋さんはmstdn.jpアカウントがメインのジャーナリスト。
https://ja.wikipedia.org/wiki/%E4%B8%89%E4%B8%8A%E6%B4%8B

艦これ好きでいつもコメダにいるダメな感じのおじさんキャラでありながら、Twitterやマストドンの住人で界隈に詳しく、記事を書いたりテレビに映っているメディアの人でもある。偉ぶらず、いじらせてくれる、愛されキャラ。

でち

フジイユウジさんセットの山口農園、超美味いよ。

また髪の話してる

このアカウントは、notestockで公開設定になっていません。

このアカウントは、notestockで公開設定になっていません。

このアカウントは、notestockで公開設定になっていません。

風邪っぽい症状が出てきたので、リモートワークにしようっと。

@kamisuke おはよ！

@ymd 君の名は
（ショートネーム下さい）

@ymd

#fedibird WebUIで、単独で絵文字を投稿すると拡大される奴（はんどんから拝借）を適用してあります。クライアントアプリでは、 tootoiseでも同様になります。

#fedibird のハッシュタグタイムラインの取得を高速化しました。 #rssfeed とか #news 、 #frfr #abyss_fun などの激重タグが、他のタグと同様の速度で表示されます。

……まぁ、普通に見えるだけなので、困っていなかった人は、特に嬉しくないかもしれません……。

（ブロックしまくっている人は、取得するハッシュタグ件数を絞り込んだ副作用で、ブロックしている人の投稿を取り除くことで取得データが空になってしまうことがあり、正しく表示できない場合があります）

ごち鯖も日に日に gochisou_photo タグが激重になっていくから、高速化しないとヤバイんだけど、現在の実装はあまりおすすめできないにょろ〜。

（なので、本家にはプルリクしてない）

副作用のないスマートな実装にせねば……。

顔の圧が強い

@momongachan @popn_ja CSS読み直し。ブラウザをリロードするであります。

はんどんのコミットはこれね。

鯖缶陣は、下の二つを設定画面のカスタムCSSに書けば動くよ。
https://github.com/tootsuite/mastodon/commit/50e1a18f00d5af8a664cf9e100bc369d2b117d4d

Thanks! @highemerly

@momongachan 青い鳥おおきい……

:only-child だから、リンクになる要素（aタグ）とか他の兄弟要素がなければヒットするのかな……。

あと、アイコンを押す（アクティブにする）と、とても大きく表示されるよw

@momongachan 大きくなるのはカスタム絵文字で、ならないのはUnicodeの絵文字ですね……。

拡大する対象をちょっと広げてみた。様子見。

外の風が強い。新幹線の音みたいだわ……

このアカウントは、notestockで公開設定になっていません。

@noel カレーboost bot です、こんにちは！

毎食カレーでもいいよね。いろんなもの食べたいけど、カレーはいつでもOK。

@aquarla お、来るようになりましたか……。ウチも最近くるようになりました。

@mirai まずfsckから……

Illustrator、ソースコード見ながらデバッグしたら捗るだろうなぁ。 #dtp

「き」って入れると「霧島ひなた」ってサジェストしてくれるATOKと暮らしているよ。「きん」は金と勤労感謝の日だね。

@futsunooppai 🎉

近所のフードコートにオムライスやさんが入っていた時は、ちょこちょこ食べに行けて幸せだったなぁ。メッチャ太るけどw

ぴっぴ

なんか急に花粉症様症状が……

クラリチンを買いに行かねばならないので、買いに行くためのクラリチンを……

親心

もろもろ調整がきいて、サーバが安定した気配。 #fedibird

このアカウントは、notestockで公開設定になっていません。

いまだに足下にチラッと何かが見えると、猫が通過したかな？ って思う。

@magnesite 服装しっかりしてる上に、結構似合っててイイネ。

このアカウントは、notestockで公開設定になっていません。

@magnesite カーゴパンツっていうのか……格好良いぜ。上体もこれなら涼しくていいよね！

@syuilo

そういや3なきあとたきざわ先生どこいったんだべ。

最後余計

今日のお昼はコンビニのバターチキンカレーでした。
（写真は別の日に食べたカレー。容器同じ）

みなさん #おなかがすきましたね

このアカウントは、notestockで公開設定になっていません。

iBook G3 クラムシェルとか思い出している

愛の妖精ぷりんてぃんを思い出している

Delphi使いならPascalに馴染みあるだろうけど、Delphiって何ですかって時代かな……。

あれ、リマインダーどこいったっけな？（本末転倒）

@ars42525 そういや、わせたんどこでプログラミング覚えたのん？

はぁ、俺...NOELかもしれん...
#はぁ俺

蘇、ツチノコじみてるな……

@ars42525 Minecraftあらためて凄いな……。G+も、惜しい……。

もくもく会なう

@Wavedasher なぜかわからないけど、よく出なくなるのよね。そのうちなおるんだけど。

@kunimi53chi めっちゃ懐かしい……

このアカウントは、notestockで公開設定になっていません。

かふん

ああ、こころのこえがもれてしまう

@syuilo 入社直後に有給くれるの？ すごい。

@syuilo さすがや。

多くの会社は、有給をなるべく出したくないので、半年後から10日っていうのが普通だからねー。

@syuilo 法律で決まっている最低条件だよ。

このアカウントは、notestockで公開設定になっていません。

このアカウントは、notestockで公開設定になっていません。

このアカウントは、notestockで公開設定になっていません。

Fediverseあるある
『サーバ閉鎖のお知らせで、初めて存在を知る』

このアカウントは、notestockで公開設定になっていません。

ﾆｮﾛﾘ ﾆｮﾛﾘ

ねむい ねむい ねむい ねむい
ねむい ねむい ねむい ねむい
ﾃﾗねむい
ﾃﾗねむい
ねむいので早く寝たい

（当時よく聴いていた。ねむい）

６人の初音ミクにオリジナル曲を歌わせてみた
https://www.nicovideo.jp/watch/sm1187304

暇な人じゃなくて、忙しくて有能な人に仕事振るよね。

YU-NO

このアカウントは、notestockで公開設定になっていません。

昨日、花粉症の症状が酷かったのは、あの風のせいか……。

@sakasato ちょっと気に入っているのであります。

ｸﾆﾐｺﾝﾃｨ