icon

今日は重複レコードの対処で終わってしまった……。まぁ、こういうのも大事なり。

たぶん、ThibGさんが安全な修復方法(重複アカウントのマージ)を提示してくれるはず……ぱたり。

2020-07-27 22:53:47 天理ちゃんの投稿 X@heislandmine.work
icon

このアカウントは、notestockで公開設定になっていません。

icon

これ、普通は発生しないんですが、Mastodonのデータベースから不用意にインデックスを削除したとか、何かそういう理由で、重複レコードが出来てしまうことがあります。

今回、Mastodon v3.2.0へのマイグレーションで、accountsテーブルのusernameとdomainを小文字に変換してユニーク制約のついたインデックスを張り直すっていうのがあるんですが、そこでいくつかの管理者がエラーになったようで、issueがあがっています。
github.com/tootsuite/mastodon/

トラブルシューティングなので、マイグレーション書き換えたり、SQL飛ばしたり、rails console使ったり、色々やってます。状況としてはマジヤベーんですが、結構面白いですw

教訓としては、ユニークインデックス張る前に、チェックぐらいは入れた方がよさそう、というところです……。

Web site image
Db migration to 3.2.0 fails · Issue #14443 · mastodon/mastodon
2020-05-05 16:15:43 らりお・ザ・何らかの🈗然㊌ソムリエの投稿 lo48576@mastodon.cardina1.red
icon
Web site image
Mastodon 腐った DB 矯正メモ (2020-05-05) by らりお
Web site image
らりお・ザ・何らかの🈗然㊌ソムリエ (@lo48576@mastodon.cardina1.red)
Web site image
らりお・ザ・何らかの🈗然㊌ソムリエ (@lo48576@mastodon.cardina1.red)
Web site image
らりお・ザ・何らかの🈗然㊌ソムリエ (@lo48576@mastodon.cardina1.red)
2020-07-28 05:21:57 かにせんべいの投稿 kani_senbei@heislandmine.work
icon

このアカウントは、notestockで公開設定になっていません。

2020-07-28 04:53:11 銀灰色の投稿 storyyakata@fedibird.com
icon

このアカウントは、notestockで公開設定になっていません。

2020-07-28 03:11:17 膣内洗濯機おまんまん野郎の投稿 jpx@pawoo.net
icon

このアカウントは、notestockで公開設定になっていません。

2020-07-28 01:31:54 かにせんべいの投稿 kani_senbei@heislandmine.work
icon

このアカウントは、notestockで公開設定になっていません。

icon

@kamisuke おはよう、王

icon

Mastodonのサーバを管理されている方へ

PgHero(管理から入れるPostgreSQLのダッシュボード)で、Duplicate Indexesを指摘されたり、Space(テーブルやインデックスの使用容量の一覧)でインデックスにUNUSEDがついていたりすると思いますが、

_人人人人人人人人人_
> インデックスを <
> 削除しないで! <
 ̄Y^Y^Y^Y^Y^Y^Y^Y^Y^ ̄

インデックスを含めたデータベースのスキーマは、Mastodon本体のソースコードの中で、RailsのActive Recordの仕組みを使って変更を管理しています。その管理されている状態と一致しなくなると、いずれかの時点でdb:migrateできなくなって詰みます。

また、インデックスは、データベースの検索を高速にするだけでなく、同じキーを持つデータが重複しないようにする役割もあります。

滅多に使われないインデックスでも、それが無くなるとデータベースの整合性が壊れます。

データベース構造の変更は、本家のGithubにissueをあげたり、pull-requestを経て行いましょう。

icon

突然の死

icon

そんなこと言って、勝手にテーブル生やしたり改造しまくってますけどね!!

2020-07-28 01:07:45 のえるの投稿 noellabo@fedibird.com
icon

これ、普通は発生しないんですが、Mastodonのデータベースから不用意にインデックスを削除したとか、何かそういう理由で、重複レコードが出来てしまうことがあります。

今回、Mastodon v3.2.0へのマイグレーションで、accountsテーブルのusernameとdomainを小文字に変換してユニーク制約のついたインデックスを張り直すっていうのがあるんですが、そこでいくつかの管理者がエラーになったようで、issueがあがっています。
github.com/tootsuite/mastodon/

トラブルシューティングなので、マイグレーション書き換えたり、SQL飛ばしたり、rails console使ったり、色々やってます。状況としてはマジヤベーんですが、結構面白いですw

教訓としては、ユニークインデックス張る前に、チェックぐらいは入れた方がよさそう、というところです……。

Web site image
Db migration to 3.2.0 fails · Issue #14443 · mastodon/mastodon
icon

こちらの件、続報としましては、
fedibird.com/@noellabo/1045866

同じ名前のアカウントが重複してしまって、整合性が破綻しているので、そのままでは修復不能になっていました。

そこで、主要開発者の一人(ThibGさん)が、おかしくなった状態を再統合するためのRubyのコードを書いて、論理的に修復を図る形でなんとか解決に向かっています。

怖いですねえ、恐ろしいですねえ

それではissueをご期待ください。さよなら、さよなら、さよなら・・・

Web site image
のえる (@noellabo@fedibird.com)
2020-07-28 07:59:07 画眩の投稿 ggagen@pawoo.net
icon

このアカウントは、notestockで公開設定になっていません。

2020-07-28 07:59:14 画眩の投稿 ggagen@pawoo.net
icon

このアカウントは、notestockで公開設定になっていません。

icon

いま問題が起きている人の全員が、手動でインデックスを削除しちゃったことが原因だったらいいんですが、

_人人人人人人人人人人人_
> なにもしてないのに <
> 壊れた       <
 ̄Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^ ̄

だとヤバイですよね……。

icon

mastodon.cloudも、最初の管理者の手元の段階でデータベースぶっ壊れで、引き継ぐときに直すの大変だったって話。

masto.hostとかHostdonとか、自分で管理していたサーバのDBを預けて、管理してもらうスタートの仕方をする場合あるけど、壊れてるDB引き継いじゃうと大変だよね……。

icon

@kedama @zundan アクセス元は、

・自鯖(サーバプロセス)
・自鯖(WebUI)
・他鯖のWeb
・リモートサーバ(連合先)
・クライアントアプリ

かな。

CORS意識するのはWebUIを表示するブラウザぐらいで、他はみてないと思う()

クライアントアプリは、他鯖の画像を自鯖から取得せずにリモートを直接みにいっちゃうものが結構ある(けどCORS……)。PleromaやMisskey、キャッシュしないで直接見に行かせちゃう場合あるんじゃないかな。

プロキシが間に入る場合は、S3のヘッダを隠して、プロキシがヘッダを付け直す感じ?
docs.joinmastodon.org/admin/op

proxy_hide_header 'Access-Control-Allow-Origin';
proxy_hide_header 'Access-Control-Allow-Methods';
proxy_hide_header 'Access-Control-Allow-Headers';

add_header 'Access-Control-Allow-Origin' '*'

icon

@kedama @zundan 他鯖のWebってのが、PleromaとかMisskey。これはブラウザによる参照なので影響受ける可能性ある。そもそもMastodonの新オーディオプレイヤーとか関係ないから、今回は大丈夫だけど、何かでひっかかることはあるかもしれない。

むしろ、ブロックした方がいい案件という話もある。

直接参照だとユーザーがいつアクティブなのかトラッキングできてしまうので、それを防ぐ意味もありまする。

icon

@kedama @zundan Mastodonは、人知れずMediaProxyのエントリがあって、再取得が必要なメディアのstatusではプロキシのURLを返しています。

ユーザーがプロキシにアクセスすると、RedownloadMediaWorkerを走らせて再取得を行って、本来のローカルURLにリダイレクトするという処理を行います。

この仕組みで、media removeで消しちゃったり、壊れている画像をクリックしても、ローカルのURLが返るようになっています。

クライアントアプリは、このへんを無視して、リモートを直接見に行くものがあります。

ユーザーとしては画像がちゃんと表示されて嬉しかったりするんですが、どんな画像を読まされるかわからないのと、トラッキング防止になりません。逆に、本体が対応していないメディア形式でも読めたりします。

icon

鬼のふぐり♪(流行性痴呆症に良く効く)

icon

@kunimi53chi mstdn.jpとtakumi.funはマルチポストだよね。 @itsumonotakumi だけフォローさせてもらってるけど。

icon

@kunimi53chi Pawooもあったか、そういえば。

takumi.funって色々設定厳し目で運用してたと思うけど、実は弾かれてる?

icon

ゴルゴムの仕業じゃしかたない(しかたない)

icon

そうするとむしろ、Achiさんのイラスト無しサイン色紙とか持っていたら価値が高いかもしれない……

2020-07-27 20:13:27 よぅ :c_anlucea:の投稿 kedama@foresdon.jp
icon

このアカウントは、notestockで公開設定になっていません。

icon

お昼食べよう、めいめい

icon

もうだめだー(◞‸◟)

icon

@citron_limone 7日ログインせずに留守にすると、HTLとリストを消してしまうのです……。

icon

ねむい以外の感情がない

2020-07-28 14:28:34 :peroro_sama:しゅいろ:peroro_sama:の投稿 syuilo@misskey.io
icon

このアカウントは、notestockで公開設定になっていません。

2020-07-28 14:25:43 estplsの投稿 estpls@mstdn.beer
icon

このアカウントは、notestockで公開設定になっていません。

2020-07-28 14:26:18 h3potetoの投稿 h3poteto@pleroma.io
icon

眠かったので寝た

2020-07-28 14:30:35 霧島ひなた@admin✅の投稿 Kirishimalab21@kirishima.cloud
icon

このアカウントは、notestockで公開設定になっていません。

2020-07-28 14:35:38 めいめいの投稿 mei23@misskey.m544.net
icon

このアカウントは、notestockで公開設定になっていません。

icon

その日、人類は思い出した

ねむい

icon

風が語りかけます。

ねむい、ねむすぎる!

icon

ぜんぶ夜更かしのせいだ。

icon

@rosylilly 動かしてますよ!

icon

@rosylilly 正直、比較できてないですね!w

icon

mastodon.socialが9.6から脱せてないので……

icon

腕組みでアオリ

2020-07-28 17:37:33 しにがみ :shinigami:の投稿 Reaper@yakumo.foundation
icon

このアカウントは、notestockで公開設定になっていません。

icon

母なるにょろり :nyorori:

icon

なろう現実 つらいやつだ

icon

少女祈祷中……

icon

寒すぎてサムになった

icon

さーて、issueのサザエさんは?

icon

取り付け騒ぎ?

icon

凍える色を纏った海の中
全てを忘れ、全てを忘れられる
夢を見た

icon

WebUIかな()

icon

小判のことよ

icon

めいめいおはよう!

icon

夜を食べたのだわ

2020-07-28 20:06:54 としこの投稿 1045shookit@gingadon.com
icon

このアカウントは、notestockで公開設定になっていません。

icon

@sublimer Eugenさんが書いてくれた新しいドキュメントで docs.joinmastodon.org/admin/op が設定例ですが、

proxy_hide_header 'Access-Control-Allow-Origin';
proxy_hide_header 'Access-Control-Allow-Methods';
proxy_hide_header 'Access-Control-Allow-Headers';

という感じで、オブジェクトストレージ側の出力を隠した上で、

add_header 'Access-Control-Allow-Origin' '*';

としていますね。

icon

らぎつねさんの新種かと思った
> でちやなぎ
QT: mstdn.beer/@estpls/10459102212

Web site image
estpls (@estpls@mstdn.beer)
2020-07-28 19:11:10 まさらっきの投稿 masarakki@best-friends.chat
icon

このアカウントは、notestockで公開設定になっていません。

2020-07-28 18:48:36 🍰 kkcakeの投稿 kkcake@ms.kvche.ch
icon

食べてたカレーはこれ(どうでもいい情報) 素材を生かしたカレー ジンジャードライキーマ 180g(1人前) 通販 | 無印良品 https://www.muji.com/jp/ja/store/cmdty/detail/4550002850050

RE:
https://ms.kvche.ch/notes/8a9bksdr0q

Web site image
素材を生かしたカレー ジンジャードライキーマ | 無印良品
【これは大変なことやと思うよ】ms.kvche.ch 跡地【これは教育やろなぁ】
icon

2020-07-27 23:44:50 Esの投稿 Es@misskey.io
icon

このアカウントは、notestockで公開設定になっていません。

2020-07-27 11:58:59 のえるの投稿 noellabo@fedibird.com
icon

カバオくん、お父さんの入れ歯めっかった?

icon

シャーボット(Harbotみたいだ)

icon

カレー先輩s

icon

ニコニコ動画(Die Neue These)

icon

@aries .rbだけ書き換えならprecompile必要ないんじゃない?

icon

検索コードもそろそろ手を入れたいなー

icon

自鯖は良い。改造し放題だ。

icon

究極的には

・自分でノードを所有できる
・ソースコードを変更できる

ことが、Fediverseの強み。

それ以外のことは、比較してもあまり意味はないよ。

icon

さばぼに、私はロージーリリーです、まさらっきですって認めさせれば……

icon

sidekiq捌き職人の朝は早い

icon

best-friends.chat級(ベ級)

icon

@aries いや、先頭から件数絞っているから、クライアントでは無理。

Elasticsearchのスコアリングで順番決める方向にしたんでしょう。

icon

お金を払えばタダ

icon

ほかってくるのだわ

icon

ほかってきたのだわ

icon

トゥートゥー:トゥートゥー
(22:22)

icon

TikTokFedだろ

icon

@yamo これ……www

@h3poteto この件、ご確認願います。
dtp-mstdn.jp/@yamo/10459200034

Web site image
やも🇯🇵DTP鯖🐸 (@yamo@dtp-mstdn.jp)
icon

何かを見た