AI画像の悪用はインフラ問題でもある

AI画像の悪用は、しばしばポリシーの問題として語られます。何が許可されるのか？何が禁止されるのか？例外ケースは誰が確認するのか？誰かが有害なものを生成したらどうなるのか？

これらの問いは重要です。しかし、それらはシステムの一部にすぎません。

悪用はインフラの問題でもあります。有害な出力が自動的に公開URLでホストされるなら、被害はより速く広がります。リンクが期限切れにならなければ、削除（テイクダウン）は弱くなります。生成された画像が多くのシステムにコピーされれば、削除は難しくなります。プロンプトやアップロードが広く保持されていれば、調査によって無関係なユーザーが露出する可能性もあります。モデレーションが公開共有の後にしか行われないなら、被害はすでに「外に出て」しまっています。

スタックの形が、被害の拡大範囲（ブラスト半径）を決めます。プライベートで短寿命の生成フローは、恒久リンクを持つ公開ギャラリー型プロダクトとはリスクが異なります。すべての出力を保存するシステムは、出力を直接返し、デフォルトではほとんど保持しないシステムとは、削除に関する義務が異なります。共有機能を備えたプラットフォームは、プライベートな顧客ワークフロー向けに構築されたAPIとは、悪用の入口（アビューズ・サーフェス）が異なります。

これは、プライベートなインフラなら悪用が解決するという意味ではありません。悪意ある行為者は存在します。合意のない画像、嫌がらせ、なりすまし、搾取には、深刻な予防と対応が必要です。しかしインフラは、悪用を「しやすくも、しにくくも」できます。保存量を減らし、公開配布を制限し、アクセスを期限切れにし、削除を実効的にすることができます。

プロダクトチームは、プライバシー対策と同じように、悪用対策を設計段階から組み込むべきです。アップロード制限、プロンプトフィルタ、出力スキャン、レート制限、通報フロー、テイクダウン経路、署名付きURL、短い保持期間、監査ログはすべて相互に作用します。それらを別々の惑星のように扱うと、スキャンダルを引き起こすのに十分な「穴」が生まれます。

また、尊厳の問題もあります。悪用への対応は、すべてのユーザーのプライベートな創作物を監視アーカイブに変えてしまうような形であってはなりません。「安全」のために無実のコンテンツを永遠に保持しなくても、的を絞ったレビューや安全対策を設計できます。「安全」という言葉が、より良い広報のための保存の言い訳になってはいけません。

最良のAI画像システムは、有害な用途を難しくし、公開での拡散を遅くし、削除をより完全にし、一般的なプライベート利用をより露出しにくくします。それはポリシー作業と同じくらい、インフラ作業でもあります。

悪用の防止は、モデレーション設定のチェックボックスではありません。キュー、バケット、URL、ギャラリー、ログ、そして削除経路にあります。地味な場所。重要な場所です。

Further reading: ディープフェイクの取り締まりからプロダクトチームが学べること, 合意のないAI画像が、私たち全員のルールを変えた, and AI画像を当局が今見ている.