ディープフェイク摘発から学ぶべきこと

ディープフェイクの摘発は、単なる法的な話ではありません。蛍光灯の下で学ぶべきプロダクトの教訓でもあります。

教訓は、「悪用の経路」がインフラ要件になる、ということです。もし製品が人物のリアルな画像を生成できるなら、製品には、誤用を防ぐ仕組み、通報への対応、危険なコンテンツの削除、そして必要以上にセンシティブな素材を保持しないための仕組みが必要です。

TAKE IT DOWN Act（「それを取り下げる法」）は、同意のない親密な画像と対象プラットフォームを狙ったものであり、地球上のあらゆる個人向け画像ツールを対象にしているわけではありません。しかし、その構造は示唆に富んでいます。片側では犯罪化、もう片側ではプラットフォーム側の削除手続きです。プロダクトチームは後半に注目すべきです。通報と削除は設計課題です。

AI画像ツールは、「有害な出力がどこに存在し得るか」を尋ねるべきです。出力はホスト型のギャラリーに置かれますか？ユーザーは公開リンクを共有できますか？サムネイルはキャッシュされますか？削除されたコンテンツは復元できますか？重複したデータが生成されたり保存されたりしますか？誰かが出力を通報したとき、何が起きますか？削除後に残る記録は何ですか？

プライバシーの観点ともつながっています。より少ないプライベートなコンテンツしか保持しない製品は、後から削除すべき対象が減ります。デフォルトでホスト型ギャラリーを持たない製品は、不正利用のためのアーカイブも小さくなります。コンテンツに依存しない運用上の記録を保持する製品であれば、デフォルトであらゆる有害な出力を保存しなくても、利用状況を調査できます。

これらは安全性ポリシーの代替にはなりません。強いコンテンツルール、ユーザーによる施行、通報フロー、人によるレビューが必要な製品もあります。しかし、ポリシーだけでプロダクトの形が伴わなければ弱くなります。製品が悪用を簡単にし、対応を難しくするなら、ポリシーはただの壁紙にバッジを貼っただけです。

ディープフェイクの摘発は、謙虚さも教えてくれます。多くのチームは、生成画像ツールを創造的なおもちゃだと思っていましたが、被害者、立法者、規制当局が「現実のように見える合成メディアは実害を生み得る」と明確にしたことで、その認識が覆りました。プロダクト計画は、そうした現実から始めるべきであり、ローンチ後に気づくべきではありません。

プロダクトチームの持ち帰りは率直です。悪用への対応を、悪用に関するプレスリリースより先に作りましょう。

詳しく読む：GovInfoの TAKE IT DOWN Act 公開法ページ、 同意のないAI画像が、誰にとってもルールを変えた、および あなたのAIギャラリーが負債になり得る理由。