Leçons tirées de la répression des deepfakes

La répression des deepfakes n’est pas seulement une histoire juridique. C’est aussi une leçon produit, sous une lumière néon.

La leçon, c’est que les voies d’abus deviennent des exigences d’infrastructure. Si un produit peut générer des images réalistes de personnes, le produit doit prévoir des moyens de prévenir les usages détournés, de répondre aux signalements, de supprimer les contenus nuisibles et d’éviter de conserver des éléments sensibles plus longtemps que nécessaire.

Le TAKE IT DOWN Act vise les images intimes non consenties et les plateformes couvertes, pas chaque outil privé d’images sur Terre. Mais sa structure reste instructive : d’un côté la criminalisation, de l’autre des procédures de retrait côté plateforme. Les équipes produit devraient remarquer la seconde moitié. Le signalement et la suppression sont des problèmes de conception.

Les outils d’images IA devraient se demander où les sorties nuisibles peuvent “vivre”. Les sorties restent-elles dans une galerie hébergée ? Les utilisateurs peuvent-ils partager des liens publics ? Des miniatures sont-elles mises en cache ? Le contenu supprimé peut-il être récupéré ? Des doublons sont-ils générés ou stockés ? Que se passe-t-il lorsqu’une personne signale une sortie ? Quels enregistrements restent après la suppression ?

L’angle confidentialité est lié. Un produit qui conserve moins de contenu privé a moins de surfaces à supprimer plus tard. Un produit sans galerie hébergée par défaut a une archive d’abus plus petite. Un produit qui conserve des enregistrements opérationnels “aveugles au contenu” peut encore enquêter sur l’usage sans préserver, par défaut, chaque sortie nuisible.

Rien de tout cela ne remplace la politique de sécurité. Certains produits ont besoin de règles de contenu solides, d’une application par les utilisateurs, de parcours de signalement et d’une revue humaine. Mais une politique sans forme produit est faible. Si le produit rend l’abus facile et la réponse difficile, la politique n’est qu’un papier peint avec un badge.

La répression des deepfakes enseigne aussi l’humilité. De nombreuses équipes ont cru que les outils d’images génératives étaient des jouets créatifs jusqu’à ce que des victimes, des législateurs et des régulateurs rendent clair que des médias synthétiques réalistes peuvent causer de vrais dommages. Les plans produit doivent partir de cette réalité, pas la découvrir après le lancement.

La leçon à retenir pour l’équipe produit est sans détour : construisez la réponse aux abus avant le communiqué de presse sur les abus.

Pour aller plus loin : la page de loi publique du GovInfo TAKE IT DOWN Act public law page, Les images IA non consenties ont changé les règles pour tout le monde, et Pourquoi votre galerie IA pourrait être un risque.