00:00:39
icon

あけおめなのだわ

07:33:49
2020-05-22 02:24:54 -ˏˋ weepjp ˎˊ-님의 게시물 weep@fedibird.com
icon

This account is not set to public on notestock.

08:00:25
2020-05-21 23:43:47 :nonke:​​団地妻10円セール​:homoo:님의 게시물 204504bySE@homoo.social
icon

Mastodon鯖を速くしたいときに踏みがちな罠(SidekiqとWeb) - Qiita
qiita.com/204504bySE/items/be5

無限にマサカリが飛んできそうだけどとりあえず書いた。

Web site image
Mastodon鯖を速くしたいときに踏みがちな罠(SidekiqとWeb) - Qiita
08:34:47
2020-05-22 08:32:26 画眩님의 게시물 ggagen@pawoo.net
icon

This account is not set to public on notestock.

08:34:49
2020-05-22 08:32:32 画眩님의 게시물 ggagen@pawoo.net
icon

This account is not set to public on notestock.

09:44:52
icon

しぃちゃんの言うように、リソースの少ないサーバでは、CPUコア数にあわせて、スレッドを絞ってプロセス数でカバーが良いと思います。

Sidekiqのスレッドが効果を発揮するのは処理速度の異なるジョブを平行で実行する時で、例えば20のサーバにDeliveryWorkerが走る時に、pushキューのスレッドが20あると、5つのサーバが凄く遅くても、残りの15はすぐ終了して空きが確保されるので有利というのはあります。

フォローインポートの際は、50あっても塞がるので、どのみち詰まりますw

pullキューは、もともと優先順位を一番低く設定してあって、これを利用して、いくつかの優先順位の低いワーカーがpullを利用するようになっています。

たとえば、投稿を削除する時は、フォロワーへの削除依頼(Delete Activity)はpushキューで処理されますが、リプライやブーストされた相手先サーバへはあまり急ぐ必要がないのでpullキューを使って配送するという戦略をとっています。(DeliveryWorkerはpushですが、LowPriorityDeliveryWorkerはpullを使う)
QT: homoo.social/@204504bySE/10420

Web site image
:homoo:​active moderat​ion (@204504bySE@homoo.social)
09:45:21
2020-05-22 08:57:39 銀猫さん :mastodon_oops:님의 게시물 silverscat_3@fedibird.com
icon

This account is not set to public on notestock.

09:54:33
icon

で、プロセスとキューの振り分けには色々あるけど、ウチはdefault+mailers、push、pullが、VPSを2つ使ってトータル12プロセス。これだと優先順位が付かないので、defaultを優先するために3つめのVPSでdefaultのプロセスだけ立ち上げておこうかと思っている。

defaultが動いていればサーバ内での処理は全て安定して動くので、他が詰まっていても快適に使える。

best-friends.cahtはdefault+mailersを受け持つサーバ、push+pullを受け持つサーバ(extra)の2系統に分けて、必要に応じてそれぞれ増減させる手法だったかな。

10:03:41
icon

pumaの方は、2台のVPS(先程のsidekiqと同居)にWEB_CONCURRENCY=4 がそれぞれ置かれていて、別の入口になるサーバから、HAProxyでラウンドロビンしている。(ロードバランサー)

最近、その外側にCloudflareが加わっている。これはあっても無くても良い。以前はCloudflareでロードバランシングしていたんだけど、そこそこ金が掛かるので切り替えた。

pumaとsidekiqは、ともにPostgreSQLに接続するので、pgbouncerで接続数を制御するのと、PostgreSQLを2台動かしてレプリケーションし、読み出しだけで良いアクセスについてはレプリカ側にアクセスさせている(リードレプリカという手法)。

(オーバースペックなのでこのへんは真似しなくて良いです)

10:19:06
2020-05-22 10:05:38 ロージー / ハト님의 게시물 rosylilly@best-friends.chat
icon

This account is not set to public on notestock.

10:21:06
icon

@rosylilly おぉ……知見だ……。

一般に、ボトルネックは解消すると別の場所に移動するので、動かしながらどこでバランスするか見極めておかないといけませんね。

10:21:11
2020-05-22 10:21:06 のえる님의 게시물 noellabo@fedibird.com
icon

@rosylilly おぉ……知見だ……。

一般に、ボトルネックは解消すると別の場所に移動するので、動かしながらどこでバランスするか見極めておかないといけませんね。

10:22:01
2020-05-22 06:41:56 77ti님의 게시물 77_analfeeloldman@mstdn.tamag.org
icon

This account is not set to public on notestock.

10:26:40
icon

振り分けはmakara任せデスヨ

いまチューニングしてるのはフォローインポートで、勝利条件は、じぇいフォローインポートを受け止めきること。

10:43:26
icon

サーバ構成図を簡単に描く知見が得られないので省略()

はVPSを多めに使っているけど、別のサーバと共有して、他の予算をFedibirdにまわして辻褄を合わせている感じ。別に全サーバの負荷が高いわけではないので、もったいないのである。

共有しているのは、MastodonがFedibirdを含めて6サーバ(うち2つはそろそろ消える)、Misskey 1、Prismo 1+1(dev)、リレー 2+1(dev)。負荷が高いのはFedibirdだけ。

PleromaとPixelFedの試験鯖、discourceは、別のVPS。

11:08:01
icon

※「レターパックで○○を送れ」は全て詐欺です。

11:09:04
icon

鯖缶がDMを覗き見できないようにしたいよね、というやつ

11:46:51
icon

@ebi 我々がぶーぶー言って取り下げになることもあるよw

12:04:54
2020-05-22 11:48:18 カフェキチ先輩님의 게시물 rkugaki_1011@pawoo.net
icon

This account is not set to public on notestock.

12:13:14
icon

共有しているサーバ・サービスの合計額が約3万円。

稼働サービス10+αなので、ひとつあたりは3,000円以下ってこと。

(実際はFedibirdの比重が大きいから、少なくとも2万円はかかってるけどね)

12:15:28
2020-05-22 12:08:16 🦀 ギリギリカニマンジュウ(無毒)님의 게시물 ken__tokyo@mstdn.jp
icon

This account is not set to public on notestock.

12:18:57
icon

共有してないサーバがあるので、もう少しサーバを減らしたい。

12:19:39
2020-05-22 12:17:56 じぇい님의 게시물 souji@mstdn.jp
icon

This account is not set to public on notestock.

13:46:05
icon

@nzws 対応させるPRなげとくよ(遅いわ)

13:50:32
13:50:54
2020-05-22 13:06:06 がくかんせつしょう님의 게시물 Heislandmine@heislandmine.work
icon

This account is not set to public on notestock.

13:51:56
2020-05-22 13:51:38 ふねへえ님의 게시물 Funehee@fedibird.com
icon

This account is not set to public on notestock.

13:54:37
icon

@nzws chewy:upgradeの代わりにtootctl search deployを使う感じだよ。内部でupgradeとsyncを呼び出している。並列実行数を指定できるので、スピードアップが図れるよ。

13:56:09
icon

プルリクしようとすると、急にコードの品質あげたくなるよねw

13:58:49
icon

@nzws 一つ注意しておこう。Elasticsearchってバージョンにメッチャうるさくて、プラグインも全部同一バージョン用じゃないと動かないし、本体を0.1でもあげると戻せなくなるから注意な。

14:04:26
icon

@mayaeh @nzws apt-mark hold elasticsearch しておくと良い。

14:27:40
2020-05-22 14:02:33 かるめ님의 게시물 higahako@mstdn.kemono-friends.info
icon

これは100円ちょっとのカシミールカレー

Attach image
14:56:23
icon

@nzws どうにかなるよ。基本的に数字揃えてやればいい。ビルドめんどいだけ……。

15:52:55
2020-05-22 15:24:06 銀猫さん :mastodon_oops:님의 게시물 silverscat_3@fedibird.com
icon

This account is not set to public on notestock.

15:54:56
2020-05-22 15:18:41 眠くなったら走る님의 게시물 nacika@oransns.com
icon

This account is not set to public on notestock.

15:57:02
icon

そうか、今日はKKK……

15:59:11
icon

トニー、力がでないよ

16:02:58
icon

@Yaaaa トニー・ザ・タイガー!!

16:06:35
icon

リンク貼るなよ、絶対貼るなよ

ってCutls Pさんが誘っている……。

16:11:31
icon

のな=野菜

16:20:31
icon

どこからきたのかごくろうさんね

16:23:35
icon

:t_nemui:

16:24:26
icon

豆屋㌠

16:37:54
icon

緑の悪魔マナマナを思い出した(忘れた方が良い)

16:41:08
icon

家庭不

16:41:16
2020-05-22 16:40:24 красная икра님의 게시물 ikuradon@comm.cx
icon

LaTeXがラテフならばKaTeXはカテフになるのか…?

16:43:51
icon

どんな重たいヤツが飛んできたのだろう……

16:44:25
icon

Let's 顎関節

17:32:45
2020-05-22 17:06:50 猫月あゆむ님의 게시물 nekozuki_2525@mstdn.nekozuki.me
icon

This account is not set to public on notestock.

17:35:29
2020-05-22 17:12:52 ネイティオ✅님의 게시물 twotwo@mstdn.jp
icon

This account is not set to public on notestock.

18:14:49
icon

このまま君だけを奪い去りたい

18:15:06
icon

知見だ

18:18:16
2020-05-22 12:27:15 blank🍳님의 게시물 blank71@fedibird.com
icon

This account is not set to public on notestock.

18:29:29
2020-05-22 18:29:22 鳥唐님의 게시물 TorikaraHNM@gochisou.photo
icon

金曜日だからカレー

Attach image
18:42:30
icon

KKK!

18:43:15
2020-05-22 18:42:30 がにょ🍻님의 게시물 ganyo@mstdn.beer
icon

This account is not set to public on notestock.

18:51:00
icon

@Yukiya WriteFreelyとPlumeが代表的なとこ

18:56:48
19:02:42
2019-10-20 22:07:47 のえる님의 게시물 noellabo@fedibird.com
icon

すわぴぴ久しぶりに見た気がする。

19:02:45
2019-12-16 14:30:07 のえる님의 게시물 noellabo@fedibird.com
icon

どんすわつながらぬ。

19:02:47
2019-12-18 20:22:54 のえる님의 게시물 noellabo@fedibird.com
icon

なんかどんすわ帰ってこないな。すわぴぴどこいった?

19:02:50
2020-05-14 15:07:07 のえる님의 게시물 noellabo@fedibird.com
icon

@suwa3 どんすわカムバック

19:04:11
icon

@nzws みえたらおかしいな?

19:05:27
icon

@nzws フォロー、ブースト、ブックマーク

19:06:17
icon

@nzws あ、メンションもか。

19:07:35
icon

@nzws あ、ごめん、ファボでした。

19:11:11
icon

@nzws ウチではへんなのひっかからないなぁ。メンションも含めて何も関係ないハズの投稿がひっかかってしまってる?

19:14:08
icon

@nzws 少なくとも意図した動作じゃないな……あとでrails consoleでいくつか調べて欲しいことがあるので、その出てきちゃうstatus idおさえておいて。

19:16:00
icon

@nzws どんねじで実行しないとわからんと思う!

19:17:49
icon

@nzws なるほど。OK

19:25:19
2020-05-22 19:08:08 飯作りむーさん님의 게시물 futsunomeshi@mastodon.kitchen
icon

This account is not set to public on notestock.

19:27:07
icon

@ars42525 タイムライン上では(未収載の投稿)って出るようにしてあって、投稿詳細で中身がみえるようにしてあります。そっちはどう?

19:27:35
icon

19:28:42
icon

@ars42525 ホームは普通にみえるか。

これ連合。

Attach image
19:29:18
icon

夜を食べるのだわ

19:43:02
icon

夜を食べたのだわ

20:06:22
icon

@ars42525 基準は、URLを貼ったときと同じになるようにすること。隠したい意図で未収載使っちゃダメでしょっていうのはある。

自分から「みてみて!」ってプッシュしないけど、誰かにプルされた見える、というポジション。

20:07:01
icon

タデちゃんが流れてきた……タデちゃん……

20:10:57
2020-05-22 20:08:22 あっきぃ님의 게시물 akkiesoft@social.mikutter.hachune.net
icon

カレー!

Attach image
20:22:57
icon

@ars42525 意識してLTL使うサーバのイメージを浮かべないとダメだw

未収載って控え目にするだけで、公開なんだよね。たぶん本当は公開範囲じゃなくて、push配送範囲。

誰かに再公開されたくないなら、プライベートにするべきだと思う。

公開されたくないなら、未収載にする意味ってなんだろう?

LTLやFTLにブーストやリプライが載らないことを考えると、引用投稿自体がLTLに載っちゃダメって考え方もある。

まぁ、いろいろあるけど、URLを書いた場合と同じにするっていうのが、wakinさんと話した中で決めた基準なんだよね、結局。

20:26:42
2020-05-22 20:14:32 🌄님의 게시물 kamiyama@mstdn.beer
icon

This account is not set to public on notestock.

20:30:45
icon

ベベヨ

20:31:17
icon

ソックスハンター

20:35:43
2020-05-22 19:43:32 ぱる🎨🔞パルえろワールド님의 게시물 pal576@pawoo.net
icon

This account is not set to public on notestock.

20:35:51
2020-05-22 19:43:28 三宅님의 게시물 yuzsa9ra@mstdn.jp
icon

This account is not set to public on notestock.

20:40:22
2020-05-22 19:15:26 oriental@mstdn.jp님의 게시물 oriental@mstdn.jp
icon

This account is not set to public on notestock.

20:51:11
icon

自分の管理下のサーバを立てられて、公開されているソースコードを元に自由に改造できること。

Twitterと何かが違うとしたら、そこ以外にはないかな。

Twitterが細かい公開範囲をサポートしたり、ActivityPubでの接続をサポートすることだってできる。ストリーミングを復活させたり、APIを解放したっていい。Fediverseが脅威なら、同質化戦略がとれるのです。

20:53:03
2020-05-22 20:48:11 としこ님의 게시물 1045shookit@gingadon.com
icon

This account is not set to public on notestock.

20:53:20
icon

@1045shookit カレーだ :ota:

21:42:53
2020-05-22 21:42:03 TOCATTI님의 게시물 TOCATTI@gingadon.com
icon

This account is not set to public on notestock.

21:44:01
2020-05-22 21:38:15 天理ちゃん님의 게시물 X@heislandmine.work
icon

This account is not set to public on notestock.

21:44:29
2020-05-22 21:36:13 天理ちゃん님의 게시물 X@heislandmine.work
icon

This account is not set to public on notestock.

21:56:41
2020-05-22 21:56:33 音無おでっち🎨 🔞 🐄@님의 게시물 audio_oekaki@pawoo.net
icon

This account is not set to public on notestock.