00:00:39
icon

あけおめなのだわ

07:33:49
2020-05-22 02:24:54 Posting -ˏˋ weepjp ˎˊ- weep@fedibird.com
icon

This account is not set to public on notestock.

08:00:25
2020-05-21 23:43:47 Posting :nonke:​​団地妻10円セール​:homoo: 204504bySE@homoo.social
icon

Mastodon鯖を速くしたいときに踏みがちな罠(SidekiqとWeb) - Qiita
qiita.com/204504bySE/items/be5

無限にマサカリが飛んできそうだけどとりあえず書いた。

Web site image
Mastodon鯖を速くしたいときに踏みがちな罠(SidekiqとWeb) - Qiita
08:34:47
2020-05-22 08:32:26 Posting 画眩 ggagen@pawoo.net
icon

This account is not set to public on notestock.

08:34:49
2020-05-22 08:32:32 Posting 画眩 ggagen@pawoo.net
icon

This account is not set to public on notestock.

09:44:52
icon

しぃちゃんの言うように、リソースの少ないサーバでは、CPUコア数にあわせて、スレッドを絞ってプロセス数でカバーが良いと思います。

Sidekiqのスレッドが効果を発揮するのは処理速度の異なるジョブを平行で実行する時で、例えば20のサーバにDeliveryWorkerが走る時に、pushキューのスレッドが20あると、5つのサーバが凄く遅くても、残りの15はすぐ終了して空きが確保されるので有利というのはあります。

フォローインポートの際は、50あっても塞がるので、どのみち詰まりますw

pullキューは、もともと優先順位を一番低く設定してあって、これを利用して、いくつかの優先順位の低いワーカーがpullを利用するようになっています。

たとえば、投稿を削除する時は、フォロワーへの削除依頼(Delete Activity)はpushキューで処理されますが、リプライやブーストされた相手先サーバへはあまり急ぐ必要がないのでpullキューを使って配送するという戦略をとっています。(DeliveryWorkerはpushですが、LowPriorityDeliveryWorkerはpullを使う)
QT: homoo.social/@204504bySE/10420

Web site image
:homoo:​active moderat​ion (@204504bySE@homoo.social)
09:45:21
2020-05-22 08:57:39 Posting 銀猫さん :mastodon_oops: silverscat_3@fedibird.com
icon

This account is not set to public on notestock.

09:54:33
icon

で、プロセスとキューの振り分けには色々あるけど、ウチはdefault+mailers、push、pullが、VPSを2つ使ってトータル12プロセス。これだと優先順位が付かないので、defaultを優先するために3つめのVPSでdefaultのプロセスだけ立ち上げておこうかと思っている。

defaultが動いていればサーバ内での処理は全て安定して動くので、他が詰まっていても快適に使える。

best-friends.cahtはdefault+mailersを受け持つサーバ、push+pullを受け持つサーバ(extra)の2系統に分けて、必要に応じてそれぞれ増減させる手法だったかな。

10:03:41
icon

pumaの方は、2台のVPS(先程のsidekiqと同居)にWEB_CONCURRENCY=4 がそれぞれ置かれていて、別の入口になるサーバから、HAProxyでラウンドロビンしている。(ロードバランサー)

最近、その外側にCloudflareが加わっている。これはあっても無くても良い。以前はCloudflareでロードバランシングしていたんだけど、そこそこ金が掛かるので切り替えた。

pumaとsidekiqは、ともにPostgreSQLに接続するので、pgbouncerで接続数を制御するのと、PostgreSQLを2台動かしてレプリケーションし、読み出しだけで良いアクセスについてはレプリカ側にアクセスさせている(リードレプリカという手法)。

(オーバースペックなのでこのへんは真似しなくて良いです)

10:19:06
2020-05-22 10:05:38 Posting ロージー / ハト rosylilly@best-friends.chat
icon

This account is not set to public on notestock.

10:21:06
icon

@rosylilly おぉ……知見だ……。

一般に、ボトルネックは解消すると別の場所に移動するので、動かしながらどこでバランスするか見極めておかないといけませんね。

10:21:11
2020-05-22 10:21:06 Posting のえる noellabo@fedibird.com
icon

@rosylilly おぉ……知見だ……。

一般に、ボトルネックは解消すると別の場所に移動するので、動かしながらどこでバランスするか見極めておかないといけませんね。

10:22:01
2020-05-22 06:41:56 Posting 77ti 77_analfeeloldman@mstdn.tamag.org
icon

This account is not set to public on notestock.

10:26:40
icon

振り分けはmakara任せデスヨ

いまチューニングしてるのはフォローインポートで、勝利条件は、じぇいフォローインポートを受け止めきること。

10:43:26
icon

サーバ構成図を簡単に描く知見が得られないので省略()

はVPSを多めに使っているけど、別のサーバと共有して、他の予算をFedibirdにまわして辻褄を合わせている感じ。別に全サーバの負荷が高いわけではないので、もったいないのである。

共有しているのは、MastodonがFedibirdを含めて6サーバ(うち2つはそろそろ消える)、Misskey 1、Prismo 1+1(dev)、リレー 2+1(dev)。負荷が高いのはFedibirdだけ。

PleromaとPixelFedの試験鯖、discourceは、別のVPS。

11:08:01
icon

※「レターパックで○○を送れ」は全て詐欺です。

11:09:04
icon

鯖缶がDMを覗き見できないようにしたいよね、というやつ

11:46:51
icon

@ebi 我々がぶーぶー言って取り下げになることもあるよw

12:04:54
2020-05-22 11:48:18 Posting カフェキチ先輩 rkugaki_1011@pawoo.net
icon

This account is not set to public on notestock.

12:13:14
icon

共有しているサーバ・サービスの合計額が約3万円。

稼働サービス10+αなので、ひとつあたりは3,000円以下ってこと。

(実際はFedibirdの比重が大きいから、少なくとも2万円はかかってるけどね)

12:15:28
2020-05-22 12:08:16 Posting 🦀 ギリギリカニマンジュウ(無毒) ken__tokyo@mstdn.jp
icon

This account is not set to public on notestock.

12:18:57
icon

共有してないサーバがあるので、もう少しサーバを減らしたい。

12:19:39
2020-05-22 12:17:56 Posting じぇい souji@mstdn.jp
icon

This account is not set to public on notestock.

13:46:05
icon

@nzws 対応させるPRなげとくよ(遅いわ)

13:50:32
13:50:54
2020-05-22 13:06:06 Posting がくかんせつしょう Heislandmine@heislandmine.work
icon

This account is not set to public on notestock.

13:51:56
2020-05-22 13:51:38 Posting ふねへえ Funehee@fedibird.com
icon

This account is not set to public on notestock.

13:54:37
icon

@nzws chewy:upgradeの代わりにtootctl search deployを使う感じだよ。内部でupgradeとsyncを呼び出している。並列実行数を指定できるので、スピードアップが図れるよ。

13:56:09
icon

プルリクしようとすると、急にコードの品質あげたくなるよねw

13:58:49
icon

@nzws 一つ注意しておこう。Elasticsearchってバージョンにメッチャうるさくて、プラグインも全部同一バージョン用じゃないと動かないし、本体を0.1でもあげると戻せなくなるから注意な。

14:04:26
icon

@mayaeh @nzws apt-mark hold elasticsearch しておくと良い。

14:27:40
2020-05-22 14:02:33 Posting かるめ higahako@mstdn.kemono-friends.info
icon

これは100円ちょっとのカシミールカレー

Attach image
14:56:23
icon

@nzws どうにかなるよ。基本的に数字揃えてやればいい。ビルドめんどいだけ……。

15:52:55
2020-05-22 15:24:06 Posting 銀猫さん :mastodon_oops: silverscat_3@fedibird.com
icon

This account is not set to public on notestock.

15:54:56
2020-05-22 15:18:41 Posting 眠くなったら走る nacika@oransns.com
icon

This account is not set to public on notestock.

15:57:02
icon

そうか、今日はKKK……

15:59:11
icon

トニー、力がでないよ

16:02:58
icon

@Yaaaa トニー・ザ・タイガー!!

16:06:35
icon

リンク貼るなよ、絶対貼るなよ

ってCutls Pさんが誘っている……。

16:11:31
icon

のな=野菜

16:20:31
icon

どこからきたのかごくろうさんね

16:23:35
icon

:t_nemui:

16:24:26
icon

豆屋㌠

16:37:54
icon

緑の悪魔マナマナを思い出した(忘れた方が良い)

16:41:08
icon

家庭不

16:41:16
2020-05-22 16:40:24 Posting красная икра ikuradon@comm.cx
icon

LaTeXがラテフならばKaTeXはカテフになるのか…?

16:43:51
icon

どんな重たいヤツが飛んできたのだろう……

16:44:25
icon

Let's 顎関節

17:32:45
2020-05-22 17:06:50 Posting 猫月あゆむ nekozuki_2525@mstdn.nekozuki.me
icon

This account is not set to public on notestock.

17:35:29
2020-05-22 17:12:52 Posting ネイティオ✅ twotwo@mstdn.jp
icon

This account is not set to public on notestock.

18:14:49
icon

このまま君だけを奪い去りたい

18:15:06
icon

知見だ

18:18:16
2020-05-22 12:27:15 Posting blank🍳 blank71@fedibird.com
icon

This account is not set to public on notestock.

18:29:29
2020-05-22 18:29:22 Posting 鳥唐 TorikaraHNM@gochisou.photo
icon

金曜日だからカレー

Attach image
18:42:30
icon

KKK!

18:43:15
2020-05-22 18:42:30 Posting がにょ🍻 ganyo@mstdn.beer
icon

This account is not set to public on notestock.

18:51:00
icon

@Yukiya WriteFreelyとPlumeが代表的なとこ

18:56:48
19:02:42
2019-10-20 22:07:47 Posting のえる noellabo@fedibird.com
icon

すわぴぴ久しぶりに見た気がする。

19:02:45
2019-12-16 14:30:07 Posting のえる noellabo@fedibird.com
icon

どんすわつながらぬ。

19:02:47
2019-12-18 20:22:54 Posting のえる noellabo@fedibird.com
icon

なんかどんすわ帰ってこないな。すわぴぴどこいった?

19:02:50
2020-05-14 15:07:07 Posting のえる noellabo@fedibird.com
icon

@suwa3 どんすわカムバック

19:04:11
icon

@nzws みえたらおかしいな?

19:05:27
icon

@nzws フォロー、ブースト、ブックマーク

19:06:17
icon

@nzws あ、メンションもか。

19:07:35
icon

@nzws あ、ごめん、ファボでした。

19:11:11
icon

@nzws ウチではへんなのひっかからないなぁ。メンションも含めて何も関係ないハズの投稿がひっかかってしまってる?

19:14:08
icon

@nzws 少なくとも意図した動作じゃないな……あとでrails consoleでいくつか調べて欲しいことがあるので、その出てきちゃうstatus idおさえておいて。

19:16:00
icon

@nzws どんねじで実行しないとわからんと思う!

19:17:49
icon

@nzws なるほど。OK

19:25:19
2020-05-22 19:08:08 Posting 飯作りむーさん futsunomeshi@mastodon.kitchen
icon

This account is not set to public on notestock.

19:27:07
icon

@ars42525 タイムライン上では(未収載の投稿)って出るようにしてあって、投稿詳細で中身がみえるようにしてあります。そっちはどう?

19:27:35
icon

19:28:42
icon

@ars42525 ホームは普通にみえるか。

これ連合。

Attach image
19:29:18
icon

夜を食べるのだわ

19:43:02
icon

夜を食べたのだわ

20:06:22
icon

@ars42525 基準は、URLを貼ったときと同じになるようにすること。隠したい意図で未収載使っちゃダメでしょっていうのはある。

自分から「みてみて!」ってプッシュしないけど、誰かにプルされた見える、というポジション。

20:07:01
icon

タデちゃんが流れてきた……タデちゃん……

20:10:57
2020-05-22 20:08:22 Posting あっきぃ akkiesoft@social.mikutter.hachune.net
icon

カレー!

Attach image
20:22:57
icon

@ars42525 意識してLTL使うサーバのイメージを浮かべないとダメだw

未収載って控え目にするだけで、公開なんだよね。たぶん本当は公開範囲じゃなくて、push配送範囲。

誰かに再公開されたくないなら、プライベートにするべきだと思う。

公開されたくないなら、未収載にする意味ってなんだろう?

LTLやFTLにブーストやリプライが載らないことを考えると、引用投稿自体がLTLに載っちゃダメって考え方もある。

まぁ、いろいろあるけど、URLを書いた場合と同じにするっていうのが、wakinさんと話した中で決めた基準なんだよね、結局。

20:26:42
2020-05-22 20:14:32 Posting 🌄 kamiyama@mstdn.beer
icon

This account is not set to public on notestock.

20:30:45
icon

ベベヨ

20:31:17
icon

ソックスハンター

20:35:43
2020-05-22 19:43:32 Posting ぱる🎨🔞パルえろワールド pal576@pawoo.net
icon

This account is not set to public on notestock.

20:35:51
2020-05-22 19:43:28 Posting 三宅 yuzsa9ra@mstdn.jp
icon

This account is not set to public on notestock.

20:40:22
2020-05-22 19:15:26 Posting oriental@mstdn.jp oriental@mstdn.jp
icon

This account is not set to public on notestock.

20:51:11
icon

自分の管理下のサーバを立てられて、公開されているソースコードを元に自由に改造できること。

Twitterと何かが違うとしたら、そこ以外にはないかな。

Twitterが細かい公開範囲をサポートしたり、ActivityPubでの接続をサポートすることだってできる。ストリーミングを復活させたり、APIを解放したっていい。Fediverseが脅威なら、同質化戦略がとれるのです。

20:53:03
2020-05-22 20:48:11 Posting としこ 1045shookit@gingadon.com
icon

This account is not set to public on notestock.

20:53:20
icon

@1045shookit カレーだ :ota:

21:42:53
2020-05-22 21:42:03 Posting TOCATTI TOCATTI@gingadon.com
icon

This account is not set to public on notestock.

21:44:01
2020-05-22 21:38:15 Posting 天理ちゃん X@heislandmine.work
icon

This account is not set to public on notestock.

21:44:29
2020-05-22 21:36:13 Posting 天理ちゃん X@heislandmine.work
icon

This account is not set to public on notestock.

21:56:41
2020-05-22 21:56:33 Posting 音無おでっち🎨 🔞 🐄@ audio_oekaki@pawoo.net
icon

This account is not set to public on notestock.