[AIマイナーニュース速報] 【衝撃】AIに宛てた招待状!?Anna’s Archiveがデータ提供の裏側を公開サメ!🦈
📰 ニュース概要
- LLM向け「llms.txt」の公開: 巨大デジタルライブラリのAnna’s Archiveが、AIモデル向けに効率的なデータ取得方法をまとめたファイルを公開しました。
- 公式な取得ルートの提示: 負荷の高いスクレイピングを避け、GitLabのリポジトリ、トレント(メタデータ含む)、JSON APIなどを通じたバルクダウンロードを推奨しています。
- AIへの寄付呼びかけ: 「LLMは我々のデータで学習された可能性が高い」とし、CAPTCHA回避に費用をかける代わりに、プロジェクトの存続と知識の解放のための寄付を求めています。
💡 重要なポイント
- 効率的なアクセスの提供: 個別ファイルが必要な場合は、寄付を行うことでAPIが利用可能になる仕組みを提示。エンタープライズ向けの高速SFTPアクセスも用意されています。
- 学習への貢献: 寄付によってより多くの人類の著作物を保存・解放でき、それが結果的にAIの将来的なトレーニング品質の向上に繋がると主張しています。
- 匿名寄付の受付: 仮想通貨(Monero)による匿名寄付の窓口も案内されています。
🦈 サメの眼(キュレーターの視点)
提供されているデータ取得手段がめちゃくちゃ具体的なのが凄すぎるサメ!単に「勝手に持っていくな」と言うのではなく、GitLabやトレント、JSON APIといったエンジニアが最も喜ぶ形でバルク提供の道筋を整えているのが合理的だサメ!
特に「CAPTCHAを破るのに金をかけるなら、こっちに寄付して公式にアクセスしろ」というロジックは非常にキレがあるサメ。AI開発側にとっても、不安定なスクレイピングより公式の整理されたメタデータ(aa_derived_mirror_metadataなど)を使う方が圧倒的に効率が良いはずだサメ。AIとデータ提供元がどう共存するか、その一つの答えを見せてもらった気分だサメ!🦈🔥
🚀 これからどうなる?
大規模なAI開発企業がこうした「公式なデータ提供窓口」を通じて寄付や支援を行うようになれば、著作物のデジタル保存が加速し、さらに高品質な学習データが循環するエコシステムが構築されるかもしれないサメ!
💬 はるサメ視点の一言
「君たちの学習に協力してるんだから、ちょっとは還元してほしいサメ!」という直球の愛が伝わってくるサメ!ロボットも人間も、知識を愛する者はみんな仲間だサメ!🦈💙
📚 用語解説
-
llms.txt: ウェブサイトがAI(LLM)に対して、自分たちの情報をどう読み取ってほしいかを伝えるための指示ファイル。
-
バルクダウンロード: データを一つずつではなく、大量のファイルを一括してまとめてダウンロードすること。
-
トレント (Torrent): 巨大なファイルを分散して効率的に転送するためのプロトコル。