icon

あけおめなのだわ

2020-05-22 02:24:54 -ˏˋ weepjp ˎˊ-の投稿 weep@fedibird.com
icon

このアカウントは、notestockで公開設定になっていません。

2020-05-21 23:43:47 :nonke:​お嬢様ずん団地妻​:homoo:の投稿 204504bySE@homoo.social
icon

Mastodon鯖を速くしたいときに踏みがちな罠(SidekiqとWeb) - Qiita
qiita.com/204504bySE/items/be5

無限にマサカリが飛んできそうだけどとりあえず書いた。

Web site image
Mastodon鯖を速くしたいときに踏みがちな罠(SidekiqとWeb) - Qiita
2020-05-22 08:32:26 画眩の投稿 ggagen@pawoo.net
icon

このアカウントは、notestockで公開設定になっていません。

2020-05-22 08:32:32 画眩の投稿 ggagen@pawoo.net
icon

このアカウントは、notestockで公開設定になっていません。

icon

しぃちゃんの言うように、リソースの少ないサーバでは、CPUコア数にあわせて、スレッドを絞ってプロセス数でカバーが良いと思います。

Sidekiqのスレッドが効果を発揮するのは処理速度の異なるジョブを平行で実行する時で、例えば20のサーバにDeliveryWorkerが走る時に、pushキューのスレッドが20あると、5つのサーバが凄く遅くても、残りの15はすぐ終了して空きが確保されるので有利というのはあります。

フォローインポートの際は、50あっても塞がるので、どのみち詰まりますw

pullキューは、もともと優先順位を一番低く設定してあって、これを利用して、いくつかの優先順位の低いワーカーがpullを利用するようになっています。

たとえば、投稿を削除する時は、フォロワーへの削除依頼(Delete Activity)はpushキューで処理されますが、リプライやブーストされた相手先サーバへはあまり急ぐ必要がないのでpullキューを使って配送するという戦略をとっています。(DeliveryWorkerはpushですが、LowPriorityDeliveryWorkerはpullを使う)
QT: homoo.social/@204504bySE/10420

Web site image
:homoo:​active moderat​ion (@204504bySE@homoo.social)
2020-05-22 08:57:39 銀猫さん :mastodon_oops:の投稿 silverscat_3@fedibird.com
icon

このアカウントは、notestockで公開設定になっていません。

icon

で、プロセスとキューの振り分けには色々あるけど、ウチはdefault+mailers、push、pullが、VPSを2つ使ってトータル12プロセス。これだと優先順位が付かないので、defaultを優先するために3つめのVPSでdefaultのプロセスだけ立ち上げておこうかと思っている。

defaultが動いていればサーバ内での処理は全て安定して動くので、他が詰まっていても快適に使える。

best-friends.cahtはdefault+mailersを受け持つサーバ、push+pullを受け持つサーバ(extra)の2系統に分けて、必要に応じてそれぞれ増減させる手法だったかな。

icon

pumaの方は、2台のVPS(先程のsidekiqと同居)にWEB_CONCURRENCY=4 がそれぞれ置かれていて、別の入口になるサーバから、HAProxyでラウンドロビンしている。(ロードバランサー)

最近、その外側にCloudflareが加わっている。これはあっても無くても良い。以前はCloudflareでロードバランシングしていたんだけど、そこそこ金が掛かるので切り替えた。

pumaとsidekiqは、ともにPostgreSQLに接続するので、pgbouncerで接続数を制御するのと、PostgreSQLを2台動かしてレプリケーションし、読み出しだけで良いアクセスについてはレプリカ側にアクセスさせている(リードレプリカという手法)。

(オーバースペックなのでこのへんは真似しなくて良いです)

2020-05-22 10:05:38 ロージー / ハトの投稿 rosylilly@best-friends.chat
icon

このアカウントは、notestockで公開設定になっていません。

icon

@rosylilly おぉ……知見だ……。

一般に、ボトルネックは解消すると別の場所に移動するので、動かしながらどこでバランスするか見極めておかないといけませんね。

2020-05-22 10:21:06 のえるの投稿 noellabo@fedibird.com
icon

@rosylilly おぉ……知見だ……。

一般に、ボトルネックは解消すると別の場所に移動するので、動かしながらどこでバランスするか見極めておかないといけませんね。

2020-05-22 06:41:56 77tiの投稿 77_analfeeloldman@mstdn.tamag.org
icon

このアカウントは、notestockで公開設定になっていません。

icon

振り分けはmakara任せデスヨ

いまチューニングしてるのはフォローインポートで、勝利条件は、じぇいフォローインポートを受け止めきること。

icon

サーバ構成図を簡単に描く知見が得られないので省略()

はVPSを多めに使っているけど、別のサーバと共有して、他の予算をFedibirdにまわして辻褄を合わせている感じ。別に全サーバの負荷が高いわけではないので、もったいないのである。

共有しているのは、MastodonがFedibirdを含めて6サーバ(うち2つはそろそろ消える)、Misskey 1、Prismo 1+1(dev)、リレー 2+1(dev)。負荷が高いのはFedibirdだけ。

PleromaとPixelFedの試験鯖、discourceは、別のVPS。

icon

※「レターパックで○○を送れ」は全て詐欺です。

icon

鯖缶がDMを覗き見できないようにしたいよね、というやつ

icon

@ebi 我々がぶーぶー言って取り下げになることもあるよw

2020-05-22 11:48:18 カフェキチ先輩の投稿 rkugaki_1011@pawoo.net
icon

このアカウントは、notestockで公開設定になっていません。

icon

共有しているサーバ・サービスの合計額が約3万円。

稼働サービス10+αなので、ひとつあたりは3,000円以下ってこと。

(実際はFedibirdの比重が大きいから、少なくとも2万円はかかってるけどね)

2020-05-22 12:08:16 🦀 ギリギリカニマンジュウ(無毒)の投稿 ken__tokyo@mstdn.jp
icon

このアカウントは、notestockで公開設定になっていません。

icon

共有してないサーバがあるので、もう少しサーバを減らしたい。

2020-05-22 12:17:56 じぇいの投稿 souji@mstdn.jp
icon

このアカウントは、notestockで公開設定になっていません。

icon

@nzws 対応させるPRなげとくよ(遅いわ)

2020-05-22 13:06:06 がくかんせつしょうの投稿 Heislandmine@heislandmine.work
icon

このアカウントは、notestockで公開設定になっていません。

2020-05-22 13:51:38 ふねへえの投稿 Funehee@fedibird.com
icon

このアカウントは、notestockで公開設定になっていません。

icon

@nzws chewy:upgradeの代わりにtootctl search deployを使う感じだよ。内部でupgradeとsyncを呼び出している。並列実行数を指定できるので、スピードアップが図れるよ。

icon

プルリクしようとすると、急にコードの品質あげたくなるよねw

icon

@nzws 一つ注意しておこう。Elasticsearchってバージョンにメッチャうるさくて、プラグインも全部同一バージョン用じゃないと動かないし、本体を0.1でもあげると戻せなくなるから注意な。

icon

@mayaeh @nzws apt-mark hold elasticsearch しておくと良い。

2020-05-22 14:02:33 ハーピーコハクチョウの投稿 higahako@mstdn.kemono-friends.info
icon

これは100円ちょっとのカシミールカレー

Attach image
icon

@nzws どうにかなるよ。基本的に数字揃えてやればいい。ビルドめんどいだけ……。

2020-05-22 15:24:06 銀猫さん :mastodon_oops:の投稿 silverscat_3@fedibird.com
icon

このアカウントは、notestockで公開設定になっていません。

2020-05-22 15:18:41 なちか@ダイエットサプリは食前に飲めの投稿 nacika@oransns.com
icon

このアカウントは、notestockで公開設定になっていません。

icon

そうか、今日はKKK……

icon

トニー、力がでないよ

icon

@Yaaaa トニー・ザ・タイガー!!

icon

リンク貼るなよ、絶対貼るなよ

ってCutls Pさんが誘っている……。

icon

のな=野菜

icon

どこからきたのかごくろうさんね

icon

豆屋㌠

icon

緑の悪魔マナマナを思い出した(忘れた方が良い)

icon

家庭不

2020-05-22 16:40:24 красная икраの投稿 ikuradon@comm.cx
icon

LaTeXがラテフならばKaTeXはカテフになるのか…?

icon

どんな重たいヤツが飛んできたのだろう……

icon

Let's 顎関節

2020-05-22 17:06:50 猫月あゆむの投稿 nekozuki_2525@mstdn.nekozuki.me
icon

このアカウントは、notestockで公開設定になっていません。

2020-05-22 17:12:52 ネイティオ✅の投稿 twotwo@mstdn.jp
icon

このアカウントは、notestockで公開設定になっていません。

icon

このまま君だけを奪い去りたい

icon

知見だ

2020-05-22 12:27:15 blank🍳の投稿 blank71@fedibird.com
icon

このアカウントは、notestockで公開設定になっていません。

2020-05-22 18:29:22 鳥唐の投稿 TorikaraHNM@gochisou.photo
icon

金曜日だからカレー

Attach image
icon

KKK!

2020-05-22 18:42:30 がにょ🍻の投稿 ganyo@mstdn.beer
icon

このアカウントは、notestockで公開設定になっていません。

icon

@Yukiya WriteFreelyとPlumeが代表的なとこ

2019-10-20 22:07:47 のえるの投稿 noellabo@fedibird.com
icon

すわぴぴ久しぶりに見た気がする。

2019-12-16 14:30:07 のえるの投稿 noellabo@fedibird.com
icon

どんすわつながらぬ。

2019-12-18 20:22:54 のえるの投稿 noellabo@fedibird.com
icon

なんかどんすわ帰ってこないな。すわぴぴどこいった?

2020-05-14 15:07:07 のえるの投稿 noellabo@fedibird.com
icon

@suwa3 どんすわカムバック

icon

@nzws みえたらおかしいな?

icon

@nzws フォロー、ブースト、ブックマーク

icon

@nzws あ、メンションもか。

icon

@nzws あ、ごめん、ファボでした。

icon

@nzws ウチではへんなのひっかからないなぁ。メンションも含めて何も関係ないハズの投稿がひっかかってしまってる?

icon

@nzws 少なくとも意図した動作じゃないな……あとでrails consoleでいくつか調べて欲しいことがあるので、その出てきちゃうstatus idおさえておいて。

icon

@nzws どんねじで実行しないとわからんと思う!

icon

@nzws なるほど。OK

2020-05-22 19:08:08 飯作りむーさんの投稿 futsunomeshi@mastodon.kitchen
icon

このアカウントは、notestockで公開設定になっていません。

icon

@ars42525 タイムライン上では(未収載の投稿)って出るようにしてあって、投稿詳細で中身がみえるようにしてあります。そっちはどう?

icon

icon

@ars42525 ホームは普通にみえるか。

これ連合。

Attach image
icon

夜を食べるのだわ

icon

夜を食べたのだわ

icon

@ars42525 基準は、URLを貼ったときと同じになるようにすること。隠したい意図で未収載使っちゃダメでしょっていうのはある。

自分から「みてみて!」ってプッシュしないけど、誰かにプルされた見える、というポジション。

icon

タデちゃんが流れてきた……タデちゃん……

2020-05-22 20:08:22 あっきぃの投稿 akkiesoft@social.mikutter.hachune.net
icon

カレー!

Attach image
icon

@ars42525 意識してLTL使うサーバのイメージを浮かべないとダメだw

未収載って控え目にするだけで、公開なんだよね。たぶん本当は公開範囲じゃなくて、push配送範囲。

誰かに再公開されたくないなら、プライベートにするべきだと思う。

公開されたくないなら、未収載にする意味ってなんだろう?

LTLやFTLにブーストやリプライが載らないことを考えると、引用投稿自体がLTLに載っちゃダメって考え方もある。

まぁ、いろいろあるけど、URLを書いた場合と同じにするっていうのが、wakinさんと話した中で決めた基準なんだよね、結局。

2020-05-22 20:14:32 🌄の投稿 kamiyama@mstdn.beer
icon

このアカウントは、notestockで公開設定になっていません。

icon

ベベヨ

icon

ソックスハンター

2020-05-22 19:43:32 ぱる🎨🔞パルえろワールドの投稿 pal576@pawoo.net
icon

このアカウントは、notestockで公開設定になっていません。

2020-05-22 19:43:28 三宅の投稿 yuzsa9ra@mstdn.jp
icon

このアカウントは、notestockで公開設定になっていません。

2020-05-22 19:15:26 oriental@mstdn.jpの投稿 oriental@mstdn.jp
icon

このアカウントは、notestockで公開設定になっていません。

icon

自分の管理下のサーバを立てられて、公開されているソースコードを元に自由に改造できること。

Twitterと何かが違うとしたら、そこ以外にはないかな。

Twitterが細かい公開範囲をサポートしたり、ActivityPubでの接続をサポートすることだってできる。ストリーミングを復活させたり、APIを解放したっていい。Fediverseが脅威なら、同質化戦略がとれるのです。

2020-05-22 20:48:11 としこの投稿 1045shookit@gingadon.com
icon

このアカウントは、notestockで公開設定になっていません。

icon

@1045shookit カレーだ :ota:

2020-05-22 21:42:03 TOCATTIの投稿 TOCATTI@gingadon.com
icon

このアカウントは、notestockで公開設定になっていません。

2020-05-22 21:38:15 天理ちゃんの投稿 X@heislandmine.work
icon

このアカウントは、notestockで公開設定になっていません。

2020-05-22 21:36:13 天理ちゃんの投稿 X@heislandmine.work
icon

このアカウントは、notestockで公開設定になっていません。

2020-05-22 21:56:33 音無おでっち🎨 🔞 🐄@の投稿 audio_oekaki@pawoo.net
icon

このアカウントは、notestockで公開設定になっていません。