こういう事案を見ると、やっぱCDN側でクローラーbotによるスクレイピングへの対策を入れておくのは大事なんですよね…。
https://blog.cloudflare.com/ja-jp/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/
https://www.akamai.com/ja/products/bot-manager

OpenAIのクローラーボットが3Dスキャンデータ販売サイトをほぼDDoS攻撃な徹底スクレイピングでダウンさせていた - GIGAZINE
https://gigazine.net/news/20250111-openai-bot-crushed-e-commerce-site/