Lezioni dalla stretta sui deepfake

La stretta sui deepfake non è solo una storia legale. È una lezione di prodotto con luci al neon.

La lezione è che i percorsi di abuso diventano requisiti di infrastruttura. Se un prodotto può generare immagini realistiche di persone, il prodotto deve avere modi per prevenire gli usi impropri, rispondere alle segnalazioni, rimuovere i contenuti dannosi ed evitare di conservare materiale sensibile più a lungo del necessario.

Il TAKE IT DOWN Act è pensato per le immagini intime non consensuali e per le piattaforme coperte, non per ogni strumento privato di immagini esistente. Ma la sua struttura resta istruttiva: criminalizzazione da un lato, procedure di rimozione dall’altro, sul lato piattaforma. I team di prodotto dovrebbero notare la seconda metà. Segnalazione e rimozione sono problemi di progettazione.

Gli strumenti di immagini basati su AI dovrebbero chiedersi dove possono vivere gli output dannosi. Gli output restano in una galleria ospitata? Gli utenti possono condividere link pubblici? Le miniature vengono memorizzate in cache? I contenuti eliminati possono essere recuperati? Vengono generate o conservate duplicazioni? Cosa succede quando qualcuno segnala un output? Quali registri restano dopo la rimozione?

L’aspetto privacy è collegato. Un prodotto che conserva meno contenuti privati ha meno superfici da rimuovere in seguito. Un prodotto senza una galleria ospitata predefinita ha un archivio di abusi più piccolo. Un prodotto che conserva registri operativi “ciechi” ai contenuti può comunque investigare l’uso senza preservare di default ogni singolo output dannoso.

Niente di tutto questo sostituisce la policy di sicurezza. Alcuni prodotti hanno bisogno di regole sui contenuti solide, di enforcement da parte degli utenti, di flussi di segnalazione e di revisione umana. Ma la policy senza una forma di prodotto è debole. Se il prodotto rende l’abuso facile e la risposta difficile, la policy è solo carta da parati con un distintivo.

La stretta sui deepfake insegna anche umiltà. Molti team pensavano che gli strumenti di immagini generative fossero giocattoli creativi finché vittime, legislatori e regolatori non hanno reso chiaro che i media sintetici realistici possono causare danni reali. I piani di prodotto devono partire da questa realtà, non scoprirla dopo il lancio.

Il takeaway per il team di prodotto è netto: costruisci la risposta agli abusi prima del comunicato stampa sugli abusi.

Ulteriore lettura: la pagina di legge pubblica del GovInfo TAKE IT DOWN Act, Le immagini AI non consensuali hanno cambiato le regole per tutti, e Perché la tua galleria AI potrebbe essere una responsabilità.