AIモデルはプライベート画像を記憶できるのか？

はい、AIモデルはプライベート画像を記憶できます。いいえ、それは、あなたがAIサービスにアップロードしたすべての画像が、自動的に永遠にモデルへ吸収されるという意味ではありません。どちらの文も重要です。

最も強い公開エビデンスは、通常の単発の推論リクエストではなく、学習済みの画像生成モデルに関する研究にあります。 Extracting Training Data from Diffusion Models で、Carliniらは、拡散モデルが個々の学習例を記憶し、生成時にときに認識可能なコピーを出力しうることを示しました。抽出された例には、人物の写真やロゴが含まれていました。

この発見は重要です。なぜなら、安心を誘う神話を打ち砕くからです。学習データが常に無害な統計の“スープ”に溶けて消えるとは限りません。場合によっては、モデルが特定の画像をプライバシーや著作権の観点で問題になるほど十分に保持し、しかも非常に現実的に、非常に早い段階で問題化しうるのです。

リスクは条件に依存します。重複した例、過学習、データセットのサイズ、モデルの能力、学習手順、プロンプト、そしてフィルタリングのすべてが関係します。幅広い公開データで学習した巨大モデルは、20人の従業員のプロフィール写真を使って小さなモデルを微調整し、照明効果まで含めて実用的に“暗唱”できるようになるケースとは同じではありません。

プロダクトチームにとって重要な区別は、推論と学習です。ユーザーが画像をアップロードして出力を生成するために使い、そのプロバイダーがそのアップロードを学習に利用しないのであれば、記憶のリスクは、その画像が学習や微調整のデータセットに入る場合とは同じではありません。だからこそ「私たちはあなたのアップロードを学習に使いません」という説明には意味があります。ただし、それはプライバシーの全ストーリーではありません。

他のリスクも依然として存在します。悪用監視のログ、アプリケーションの状態、一時ファイル、サポートへのアクセス、CDNのストレージ、プロンプト履歴、そしてギャラリーに保存された出力です。サービスは、アップロードの学習は回避していると真実を述べられても、別の場所でユーザーのコンテンツを過剰に保持してしまうことはありえます。プライバシーは、白衣を着た“単一のチェックボックス”ではありません。

実践的な教訓はシンプルです。権利、同意、そして学習に使うための管理がない限り、プライベート画像を学習データセットに入れないでください。推論プロダクトでは、アップロードが学習から除外されるだけでなく、ストレージ、ログ、サポートの窓口などにおいても最小化されるようにしてください。

研究は、すべてのモデルが写真の記憶装置だと言っているわけではありません。記憶が現実に起こりうるため、プライベート画像は使い捨ての学習燃料として扱うべきではない、と言っているのです。

さらなる読み物：Extracting Training Data from Diffusion Models、What developers misunderstand about model training and uploaded images、および Why “We Don’t Train on Your Data” is not enough。