00:17:03 @noellabo@fedibird.com
icon

今日は重複レコードの対処で終わってしまった……。まぁ、こういうのも大事なり。

たぶん、ThibGさんが安全な修復方法(重複アカウントのマージ)を提示してくれるはず……ぱたり。

00:30:26 @noellabo@fedibird.com
2020-07-27 22:53:47 Posting 天理ちゃん X@heislandmine.work
icon

This account is not set to public on notestock.

01:07:45 @noellabo@fedibird.com
icon

これ、普通は発生しないんですが、Mastodonのデータベースから不用意にインデックスを削除したとか、何かそういう理由で、重複レコードが出来てしまうことがあります。

今回、Mastodon v3.2.0へのマイグレーションで、accountsテーブルのusernameとdomainを小文字に変換してユニーク制約のついたインデックスを張り直すっていうのがあるんですが、そこでいくつかの管理者がエラーになったようで、issueがあがっています。
github.com/tootsuite/mastodon/

トラブルシューティングなので、マイグレーション書き換えたり、SQL飛ばしたり、rails console使ったり、色々やってます。状況としてはマジヤベーんですが、結構面白いですw

教訓としては、ユニークインデックス張る前に、チェックぐらいは入れた方がよさそう、というところです……。

Web site image
Db migration to 3.2.0 fails · Issue #14443 · mastodon/mastodon
01:26:50 @noellabo@fedibird.com
2020-05-05 16:15:43 Posting らりお・ザ・何らかの🈗然㊌ソムリエ lo48576@mastodon.cardina1.red
icon
Web site image
Mastodon 腐った DB 矯正メモ (2020-05-05) by らりお
Web site image
らりお・ザ・何らかの🈗然㊌ソムリエ (@lo48576@mastodon.cardina1.red)
Web site image
らりお・ザ・何らかの🈗然㊌ソムリエ (@lo48576@mastodon.cardina1.red)
Web site image
らりお・ザ・何らかの🈗然㊌ソムリエ (@lo48576@mastodon.cardina1.red)
06:41:18 @noellabo@fedibird.com
2020-07-28 05:21:57 Posting かにせんべい kani_senbei@heislandmine.work
icon

This account is not set to public on notestock.

06:43:29 @noellabo@fedibird.com
2020-07-28 04:53:11 Posting 銀灰色 storyyakata@fedibird.com
icon

This account is not set to public on notestock.

06:51:54 @noellabo@fedibird.com
2020-07-28 03:11:17 Posting 膣内洗濯機おまんまん野郎 jpx@pawoo.net
icon

This account is not set to public on notestock.

07:01:58 @noellabo@fedibird.com
2020-07-28 01:31:54 Posting かにせんべい kani_senbei@heislandmine.work
icon

This account is not set to public on notestock.

07:05:03 @noellabo@fedibird.com
icon

@kamisuke おはよう、王

07:27:04 @noellabo@fedibird.com
icon

Mastodonのサーバを管理されている方へ

PgHero(管理から入れるPostgreSQLのダッシュボード)で、Duplicate Indexesを指摘されたり、Space(テーブルやインデックスの使用容量の一覧)でインデックスにUNUSEDがついていたりすると思いますが、

_人人人人人人人人人_
> インデックスを <
> 削除しないで! <
 ̄Y^Y^Y^Y^Y^Y^Y^Y^Y^ ̄

インデックスを含めたデータベースのスキーマは、Mastodon本体のソースコードの中で、RailsのActive Recordの仕組みを使って変更を管理しています。その管理されている状態と一致しなくなると、いずれかの時点でdb:migrateできなくなって詰みます。

また、インデックスは、データベースの検索を高速にするだけでなく、同じキーを持つデータが重複しないようにする役割もあります。

滅多に使われないインデックスでも、それが無くなるとデータベースの整合性が壊れます。

データベース構造の変更は、本家のGithubにissueをあげたり、pull-requestを経て行いましょう。

07:29:41 @noellabo@fedibird.com
icon

突然の死

07:32:48 @noellabo@fedibird.com
icon

そんなこと言って、勝手にテーブル生やしたり改造しまくってますけどね!!

07:41:10 @noellabo@fedibird.com
2020-07-28 01:07:45 Posting のえる noellabo@fedibird.com
icon

これ、普通は発生しないんですが、Mastodonのデータベースから不用意にインデックスを削除したとか、何かそういう理由で、重複レコードが出来てしまうことがあります。

今回、Mastodon v3.2.0へのマイグレーションで、accountsテーブルのusernameとdomainを小文字に変換してユニーク制約のついたインデックスを張り直すっていうのがあるんですが、そこでいくつかの管理者がエラーになったようで、issueがあがっています。
github.com/tootsuite/mastodon/

トラブルシューティングなので、マイグレーション書き換えたり、SQL飛ばしたり、rails console使ったり、色々やってます。状況としてはマジヤベーんですが、結構面白いですw

教訓としては、ユニークインデックス張る前に、チェックぐらいは入れた方がよさそう、というところです……。

Web site image
Db migration to 3.2.0 fails · Issue #14443 · mastodon/mastodon
07:47:47 @noellabo@fedibird.com
icon

こちらの件、続報としましては、
fedibird.com/@noellabo/1045866

同じ名前のアカウントが重複してしまって、整合性が破綻しているので、そのままでは修復不能になっていました。

そこで、主要開発者の一人(ThibGさん)が、おかしくなった状態を再統合するためのRubyのコードを書いて、論理的に修復を図る形でなんとか解決に向かっています。

怖いですねえ、恐ろしいですねえ

それではissueをご期待ください。さよなら、さよなら、さよなら・・・

Web site image
のえる (@noellabo@fedibird.com)
08:10:41 @noellabo@fedibird.com
2020-07-28 07:59:07 Posting 画眩 ggagen@pawoo.net
icon

This account is not set to public on notestock.

08:10:45 @noellabo@fedibird.com
2020-07-28 07:59:14 Posting 画眩 ggagen@pawoo.net
icon

This account is not set to public on notestock.

08:27:14 @noellabo@fedibird.com
icon

いま問題が起きている人の全員が、手動でインデックスを削除しちゃったことが原因だったらいいんですが、

_人人人人人人人人人人人_
> なにもしてないのに <
> 壊れた       <
 ̄Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^ ̄

だとヤバイですよね……。

08:50:13 @noellabo@fedibird.com
icon

mastodon.cloudも、最初の管理者の手元の段階でデータベースぶっ壊れで、引き継ぐときに直すの大変だったって話。

masto.hostとかHostdonとか、自分で管理していたサーバのDBを預けて、管理してもらうスタートの仕方をする場合あるけど、壊れてるDB引き継いじゃうと大変だよね……。

10:46:50 @noellabo@fedibird.com
icon

@kedama @zundan アクセス元は、

・自鯖(サーバプロセス)
・自鯖(WebUI)
・他鯖のWeb
・リモートサーバ(連合先)
・クライアントアプリ

かな。

CORS意識するのはWebUIを表示するブラウザぐらいで、他はみてないと思う()

クライアントアプリは、他鯖の画像を自鯖から取得せずにリモートを直接みにいっちゃうものが結構ある(けどCORS……)。PleromaやMisskey、キャッシュしないで直接見に行かせちゃう場合あるんじゃないかな。

プロキシが間に入る場合は、S3のヘッダを隠して、プロキシがヘッダを付け直す感じ?
docs.joinmastodon.org/admin/op

proxy_hide_header 'Access-Control-Allow-Origin';
proxy_hide_header 'Access-Control-Allow-Methods';
proxy_hide_header 'Access-Control-Allow-Headers';

add_header 'Access-Control-Allow-Origin' '*'

10:51:53 @noellabo@fedibird.com
icon

@kedama @zundan 他鯖のWebってのが、PleromaとかMisskey。これはブラウザによる参照なので影響受ける可能性ある。そもそもMastodonの新オーディオプレイヤーとか関係ないから、今回は大丈夫だけど、何かでひっかかることはあるかもしれない。

むしろ、ブロックした方がいい案件という話もある。

直接参照だとユーザーがいつアクティブなのかトラッキングできてしまうので、それを防ぐ意味もありまする。

11:03:28 @noellabo@fedibird.com
icon

@kedama @zundan Mastodonは、人知れずMediaProxyのエントリがあって、再取得が必要なメディアのstatusではプロキシのURLを返しています。

ユーザーがプロキシにアクセスすると、RedownloadMediaWorkerを走らせて再取得を行って、本来のローカルURLにリダイレクトするという処理を行います。

この仕組みで、media removeで消しちゃったり、壊れている画像をクリックしても、ローカルのURLが返るようになっています。

クライアントアプリは、このへんを無視して、リモートを直接見に行くものがあります。

ユーザーとしては画像がちゃんと表示されて嬉しかったりするんですが、どんな画像を読まされるかわからないのと、トラッキング防止になりません。逆に、本体が対応していないメディア形式でも読めたりします。

11:08:31 @noellabo@fedibird.com
icon

鬼のふぐり♪(流行性痴呆症に良く効く)

11:22:31 @noellabo@fedibird.com
icon

@kunimi53chi mstdn.jpとtakumi.funはマルチポストだよね。 @itsumonotakumi だけフォローさせてもらってるけど。

11:26:17 @noellabo@fedibird.com
icon

@kunimi53chi Pawooもあったか、そういえば。

takumi.funって色々設定厳し目で運用してたと思うけど、実は弾かれてる?

11:27:18 @noellabo@fedibird.com
icon

ゴルゴムの仕業じゃしかたない(しかたない)

12:51:48 @noellabo@fedibird.com
icon

そうするとむしろ、Achiさんのイラスト無しサイン色紙とか持っていたら価値が高いかもしれない……

13:59:43 @noellabo@fedibird.com
2020-07-27 20:13:27 Posting よぅ :c_anlucea: kedama@foresdon.jp
icon

This account is not set to public on notestock.

14:02:24 @noellabo@fedibird.com
icon

お昼食べよう、めいめい

14:06:58 @noellabo@fedibird.com
icon

もうだめだー(◞‸◟)

14:20:41 @noellabo@fedibird.com
icon

@citron_limone 7日ログインせずに留守にすると、HTLとリストを消してしまうのです……。

14:28:07 @noellabo@fedibird.com
icon

ねむい以外の感情がない

14:28:53 @noellabo@fedibird.com
2020-07-28 14:28:34 Posting :menme_siosio:しゅいろ:menme_siosio: syuilo@misskey.io
icon

This account is not set to public on notestock.

14:29:28 @noellabo@fedibird.com
2020-07-28 14:25:43 Posting estpls estpls@mstdn.beer
icon

This account is not set to public on notestock.

14:29:30 @noellabo@fedibird.com
2020-07-28 14:26:18 Posting h3poteto h3poteto@pleroma.io
icon

眠かったので寝た

14:32:18 @noellabo@fedibird.com
2020-07-28 14:30:35 Posting 霧島ひなた@admin✅ Kirishimalab21@kirishima.cloud
icon

This account is not set to public on notestock.

14:35:56 @noellabo@fedibird.com
2020-07-28 14:35:38 Posting めいめい mei23@misskey.m544.net
icon

This account is not set to public on notestock.

14:37:04 @noellabo@fedibird.com
icon

その日、人類は思い出した

ねむい

14:42:11 @noellabo@fedibird.com
icon

風が語りかけます。

ねむい、ねむすぎる!

15:01:15 @noellabo@fedibird.com
icon

ぜんぶ夜更かしのせいだ。

16:16:27 @noellabo@fedibird.com
icon

@rosylilly 動かしてますよ!

16:17:35 @noellabo@fedibird.com
icon

@rosylilly 正直、比較できてないですね!w

16:20:51 @noellabo@fedibird.com
icon

mastodon.socialが9.6から脱せてないので……

16:28:12 @noellabo@fedibird.com
icon

腕組みでアオリ

17:41:17 @noellabo@fedibird.com
2020-07-28 17:37:33 Posting しにがみ :shinigami: Reaper@yakumo.foundation
icon

This account is not set to public on notestock.

17:51:30 @noellabo@fedibird.com
icon

母なるにょろり :nyorori:

17:56:01 @noellabo@fedibird.com
icon

なろう現実 つらいやつだ

17:57:21 @noellabo@fedibird.com
icon

少女祈祷中……

18:09:09 @noellabo@fedibird.com
icon

寒すぎてサムになった

18:10:39 @noellabo@fedibird.com
icon

さーて、issueのサザエさんは?

18:18:40 @noellabo@fedibird.com
icon

取り付け騒ぎ?

18:29:24 @noellabo@fedibird.com
icon

凍える色を纏った海の中
全てを忘れ、全てを忘れられる
夢を見た

18:33:11 @noellabo@fedibird.com
icon

WebUIかな()

18:36:38 @noellabo@fedibird.com
icon

小判のことよ

18:37:42 @noellabo@fedibird.com
icon

めいめいおはよう!

20:20:45 @noellabo@fedibird.com
icon

夜を食べたのだわ

20:22:56 @noellabo@fedibird.com
2020-07-28 20:06:54 Posting としこ 1045shookit@gingadon.com
icon

This account is not set to public on notestock.

20:31:50 @noellabo@fedibird.com
icon

@sublimer Eugenさんが書いてくれた新しいドキュメントで docs.joinmastodon.org/admin/op が設定例ですが、

proxy_hide_header 'Access-Control-Allow-Origin';
proxy_hide_header 'Access-Control-Allow-Methods';
proxy_hide_header 'Access-Control-Allow-Headers';

という感じで、オブジェクトストレージ側の出力を隠した上で、

add_header 'Access-Control-Allow-Origin' '*';

としていますね。

20:36:49 @noellabo@fedibird.com
icon

らぎつねさんの新種かと思った
> でちやなぎ
QT: mstdn.beer/@estpls/10459102212

Web site image
estpls (@estpls@mstdn.beer)
20:39:17 @noellabo@fedibird.com
2020-07-28 19:11:10 Posting まさらっき masarakki@best-friends.chat
icon

This account is not set to public on notestock.

20:44:02 @noellabo@fedibird.com
2020-07-28 18:48:36 Posting 🍰 kkcake kkcake@ms.kvche.ch
icon

食べてたカレーはこれ(どうでもいい情報) 素材を生かしたカレー ジンジャードライキーマ 180g(1人前) 通販 | 無印良品 https://www.muji.com/jp/ja/store/cmdty/detail/4550002850050

RE:
https://ms.kvche.ch/notes/8a9bksdr0q

Web site image
素材を生かしたカレー ジンジャードライキーマ | 無印良品
【これは大変なことやと思うよ】ms.kvche.ch 跡地【これは教育やろなぁ】
20:49:05 @noellabo@fedibird.com
icon

20:49:52 @noellabo@fedibird.com
2020-07-27 23:44:50 Posting Es Es@misskey.io
icon

This account is not set to public on notestock.

20:50:12 @noellabo@fedibird.com
20:51:59 @noellabo@fedibird.com
2020-07-27 11:58:59 Posting のえる noellabo@fedibird.com
icon

カバオくん、お父さんの入れ歯めっかった?

20:56:14 @noellabo@fedibird.com
icon

シャーボット(Harbotみたいだ)

20:58:36 @noellabo@fedibird.com
icon

カレー先輩s

21:13:02 @noellabo@fedibird.com
icon

ニコニコ動画(Die Neue These)

21:21:30 @noellabo@fedibird.com
icon

@aries .rbだけ書き換えならprecompile必要ないんじゃない?

21:24:16 @noellabo@fedibird.com
icon

検索コードもそろそろ手を入れたいなー

21:25:21 @noellabo@fedibird.com
icon

自鯖は良い。改造し放題だ。

21:36:45 @noellabo@fedibird.com
icon

究極的には

・自分でノードを所有できる
・ソースコードを変更できる

ことが、Fediverseの強み。

それ以外のことは、比較してもあまり意味はないよ。

21:38:16 @noellabo@fedibird.com
icon

さばぼに、私はロージーリリーです、まさらっきですって認めさせれば……

21:39:36 @noellabo@fedibird.com
icon

sidekiq捌き職人の朝は早い

21:42:16 @noellabo@fedibird.com
icon

best-friends.chat級(ベ級)

21:48:36 @noellabo@fedibird.com
icon

@aries いや、先頭から件数絞っているから、クライアントでは無理。

Elasticsearchのスコアリングで順番決める方向にしたんでしょう。

21:50:59 @noellabo@fedibird.com
icon

お金を払えばタダ

21:51:44 @noellabo@fedibird.com
icon

ほかってくるのだわ

22:19:10 @noellabo@fedibird.com
icon

ほかってきたのだわ

22:22:06 @noellabo@fedibird.com
icon

トゥートゥー:トゥートゥー
(22:22)

23:36:02 @noellabo@fedibird.com
icon

:chasmo:

23:39:19 @noellabo@fedibird.com
icon

TikTokFedだろ

23:54:04 @noellabo@fedibird.com
icon

@yamo これ……www

@h3poteto この件、ご確認願います。
dtp-mstdn.jp/@yamo/10459200034

Web site image
やも🇯🇵DTP鯖🐸 (@yamo@dtp-mstdn.jp)
23:59:40 @noellabo@fedibird.com
icon

何かを見た