IETFでのPaid Web Crawlingの議論

Paid Web Crawling

"Paid Web Crawling" というキーワードが新しくできました。
具体的な提案ではありませんが、要件を示す『Requirements for Paid Web Crawling』というDraftがCloudflareから提出されています。

このDraftでは、Webサイト運営者はクローラによる負荷の負担を負いながらも経済的メリットが得られていないことを課題としています。Paid Web Crawlingの議論では、まさにユースケースとして Webサイト運営者がLLMクローラから金銭をもらえるような仕組みを作ることを目的にしています。

また要件としては次の点を上げています

• 中央集権化を避ける (Webサイト・決済事業者は誰でも参入できること)
• 導入コストの削減 (支払いを要求するサーバは、処理・ネットワーク・ストレージのオーバヘッドが大きくない。一般技術と互換性がある)
• 拡張可能であること
• 情報開示を最小限に抑える (クロール決済プロトコルは必要以上の情報を開示しない)
• 粒度を許可する (コンテンツごとに支払いを設定できること)
• ネゴシエーションを円滑にする (クロール決済プロトコルの参加者が同意・拒否を円滑に選択できること)
• 強制を許可する

今後

まだRequirementsのdraftが出てきただけで、引き続きメーリングリスト (crawl-payment) で議論が進められていくものと思われます。