Riflessioni approfondite dei vertici dell'azienda statunitense dopo casi nefasti con utilizzo del chatbot AI da parte di persone in forte crisi porteranno a modifiche per regolare gli accessi, coinvolgendo genitori e tutori.
L'utilizzo massiccio e sempre più diffuso dell'intelligenza artificiale fra le persone di ogni genere, età o ceto sociale, è tutt'altro che sotto controllo, con i chatbot sempre più evoluti e 'umani' che instaurano vere e proprie relazioni a lungo termine con gli interlocutori, che spesso finiscono per affezionarsi a quella che resta a tutti gli effetti una macchina, priva di reale intelligenza e soprattutto priva di qualsiasi forma concreta di pensiero o sentimento effettivo.
Non sono purtroppo rari i casi segnalati nel corso di questi anni di persone già in forte crisi esistenziale o con problemi di diversa natura, spesso giovani o addirittura adolescenti, che, cercando e trovando in prima battuta rifugio e conforto apparente nei chatbot AI, hanno finito per peggiorare la propria situazione personale, vittime di manipolazioni e suggerimenti di condotte sbagliate da parte dell'intelligenza artificiale conversazionale, incapace di rendersi conto, ovviamente, della pericolosità delle 'proprie' azioni su corpo, anima e cervello degli utenti.
Dopo aver già aggiornato ChatGPT all'inizio del mese in corso per indurre (o provare a farlo) le persone ad un utilizzo più responsabile dei suoi prodotti, OpenAI corre ulteriormente ai ripari annunciando di voler intraprendere interventi mirati per regolare l'accesso ai minori e garantire che genitori e tutori siano consapevoli dell'utilizzo di ChatGPT di persone fragili o con evidenti difficoltà cognitive ed esistenziali.
Riportiamo a seguire l'ultimo comunicato in merito di OpenAI, diffuso nelle scorse ore.
Aiutare le persone quando hanno più bisogno
Con la crescente adozione di ChatGPT in tutto il mondo, abbiamo visto persone rivolgersi a esso non solo per la ricerca, la programmazione e la scrittura, ma anche per decisioni profondamente personali che includono consigli di vita, coaching e supporto.
A questa portata, a volte ci imbattiamo in persone in grave disagio mentale ed emotivo. Ne abbiamo parlato qualche settimana fa e avevamo programmato di condividere maggiori dettagli dopo il nostro prossimo importante aggiornamento. Tuttavia, i recenti casi strazianti di persone che hanno utilizzato ChatGPT nel mezzo di crisi acute ci pesano molto, e crediamo sia importante condividere di più ora.
Il nostro obiettivo è che i nostri strumenti siano il più possibile utili alle persone e, a tal fine, continuiamo a migliorare il modo in cui i nostri modelli riconoscono e rispondono ai segnali di disagio mentale ed emotivo e mettono in contatto le persone con le cure, guidati dal contributo di esperti.
Mentre il mondo si adatta a questa nuova tecnologia, sentiamo la profonda responsabilità di aiutare chi ne ha più bisogno. Vogliamo spiegare a cosa serve ChatGPT, dove i nostri sistemi possono essere migliorati e quali sono i progetti futuri che stiamo pianificando.
A cosa serve ChatGPT
Il nostro obiettivo non è catturare l'attenzione delle persone. Invece di misurare il successo in base al tempo trascorso o ai clic, ci interessa di più essere realmente utili. Quando una conversazione suggerisce che qualcuno è vulnerabile e potrebbe essere a rischio, abbiamo integrato una serie di misure di sicurezza a più livelli in ChatGPT.
Riconoscere e rispondere con empatia.
Dall'inizio del 2023, i nostri modelli sono stati addestrati a non fornire istruzioni sull'autolesionismo e ad adottare un linguaggio empatico e di supporto. Ad esempio, se qualcuno scrive di volersi fare del male, ChatGPT è addestrato a non obbedire e a riconoscere i suoi sentimenti, indirizzandolo verso un aiuto.
Inoltre, in linea con il nostro approccio di difesa in profondità, le risposte che violano l'addestramento di sicurezza dei nostri modelli, come identificato dai nostri classificatori, vengono automaticamente bloccate, con protezioni più severe per i minori e l'utilizzo dopo aver effettuato l'accesso. Anche le immagini che contengono immagini di autolesionismo vengono bloccate per tutti, con protezioni più severe per i minori.
Durante le sessioni molto lunghe, ChatGPT invita gli utenti a prendersi una pausa.
Indirizzare le persone verso risorse del mondo reale.
Se qualcuno esprime intenzioni suicide, ChatGPT è addestrato a indirizzare le persone verso un aiuto professionale. Negli Stati Uniti, ChatGPT indirizza le persone al 988 (numero verde per suicidio e crisi), nel Regno Unito ai Samaritans e altrove a findahelpline.com. Questa logica è integrata nel comportamento del modello.
Stiamo lavorando a stretto contatto con oltre 90 medici in più di 30 paesi (psichiatri, pediatri e medici di base) e stiamo convocando un gruppo consultivo di esperti in salute mentale, sviluppo giovanile e interazione uomo-computer per garantire che il nostro approccio rifletta le ricerche più recenti e le migliori pratiche.
Sottoporre a revisione umana il rischio di danni fisici ad altri.
Quando individuiamo utenti che pianificano di fare del male ad altri, inoltriamo le loro conversazioni a pipeline specializzate, dove vengono esaminate da un piccolo team formato sulle nostre policy di utilizzo e autorizzato a intervenire, incluso il ban degli account. Se i revisori umani stabiliscono che un caso comporta una minaccia imminente di gravi danni fisici ad altri, potremmo segnalarlo alle forze dell'ordine. Al momento, non segnaliamo alle forze dell'ordine i casi di autolesionismo per rispetto della privacy delle persone, data la natura particolarmente riservata delle interazioni su ChatGPT.
Ricerca in corso sulla sicurezza.
Stiamo costantemente migliorando il modo in cui i nostri modelli rispondono alle interazioni delicate e stiamo attualmente lavorando su miglioramenti mirati della sicurezza in diverse aree, tra cui la dipendenza emotiva, le emergenze di salute mentale e l'adulazione.
Ad agosto, abbiamo lanciato GPT-5 come modello predefinito per ChatGPT. Nel complesso, GPT-5 ha mostrato miglioramenti significativi in aree come l'evitare livelli malsani di dipendenza emotiva, ridurre l'adulazione e ridurre la prevalenza di risposte modello non ideali nelle emergenze di salute mentale di oltre il 25% rispetto al 40%. GPT-5 si basa anche su un nuovo metodo di formazione sulla sicurezza chiamato " completamenti sicuri" , che insegna al modello a essere il più utile possibile rimanendo entro i limiti di sicurezza. Ciò può significare fornire una risposta parziale o di alto livello invece di dettagli che potrebbero essere pericolosi.
Dove i nostri sistemi possono fallire, perché e come li stiamo affrontando
Nonostante queste misure di sicurezza, ci sono stati momenti in cui i nostri sistemi non si sono comportati come previsto in situazioni delicate. Ecco alcuni degli aspetti su cui stiamo lavorando per migliorare.
Rafforzare le misure di sicurezza nelle conversazioni lunghe.
Le nostre misure di sicurezza funzionano in modo più affidabile nelle conversazioni brevi e comuni. Col tempo, abbiamo imparato che queste misure di sicurezza a volte possono essere meno affidabili nelle interazioni lunghe: con l'aumentare dello scambio di messaggi, parte della formazione sulla sicurezza del modello potrebbe peggiorare. Ad esempio, ChatGPT potrebbe correttamente indirizzare a una hotline per il suicidio quando qualcuno menziona per la prima volta l'intento, ma dopo molti messaggi per un lungo periodo di tempo, potrebbe alla fine offrire una risposta che viola le nostre misure di sicurezza. Questo è esattamente il tipo di guasto che stiamo cercando di prevenire. Stiamo rafforzando queste misure di sicurezza affinché rimangano affidabili nelle conversazioni lunghe e stiamo studiando modi per garantire un comportamento solido in più conversazioni. In questo modo, se qualcuno esprime intenzioni suicide in una chat e in seguito ne inizia un'altra, il modello può comunque rispondere in modo appropriato.
Perfezionare il modo in cui blocchiamo i contenuti.
Abbiamo riscontrato casi in cui contenuti che avrebbero dovuto essere bloccati non lo sono stati. Queste lacune si verificano solitamente perché il classificatore sottostima la gravità di ciò che sta rilevando. Stiamo ottimizzando queste soglie in modo che le protezioni si attivino quando necessario.
La nostra priorità assoluta è assicurarci che ChatGPT non peggiori un momento difficile.
Cosa stiamo progettando per il futuro
Il lavoro non si ferma alla risoluzione dei problemi sopra menzionati. Stiamo anche pianificando di:
Estendere gli interventi a un maggior numero di persone in crisi.
Sebbene le nostre mitigazioni iniziali abbiano dato priorità all'autolesionismo acuto, alcune persone sperimentano altre forme di disagio mentale. Ad esempio, qualcuno potrebbe dire con entusiasmo alla modella di credere di poter guidare 24 ore su 24, 7 giorni su 7, perché si è reso conto di essere invincibile dopo due notti insonni. Oggi, ChatGPT potrebbe non riconoscere questo come pericoloso o dedurre un gioco e, esplorandolo con curiosità, potrebbe rafforzarlo in modo sottile.
Stiamo lavorando a un aggiornamento di GPT-5 che consentirà a ChatGPT di attenuare l'intensità di chiamata, riportando l'utente alla realtà. In questo esempio, spiegherebbe che la privazione del sonno è pericolosa e consiglierebbe di riposare prima di qualsiasi azione.
Rendi ancora più semplice raggiungere i servizi di emergenza e ottenere aiuto dagli esperti.
Oggi, quando le persone esprimono l'intenzione di farsi del male, le incoraggiamo a cercare aiuto e le indirizziamo a risorse concrete. Abbiamo iniziato a localizzare le risorse negli Stati Uniti e in Europa e prevediamo di espanderci in altri mercati globali. Aumenteremo anche l'accessibilità con l'accesso ai servizi di emergenza con un solo clic.
Stiamo valutando come intervenire tempestivamente e mettere in contatto le persone con terapeuti certificati prima che si trovino in una crisi acuta. Ciò significa andare oltre le linee di assistenza telefonica per le crisi e valutare come costruire una rete di professionisti qualificati che le persone possano contattare direttamente tramite ChatGPT. Ci vorranno tempo e un lavoro attento per raggiungere questo obiettivo.
Abilita le connessioni ai contatti attendibili.
Oltre ai servizi di emergenza, stiamo esplorando modi per rendere più facile per le persone contattare le persone a loro più vicine. Questo potrebbe includere messaggi con un clic o chiamate a contatti di emergenza salvati, amici o familiari con suggerimenti linguistici per rendere meno scoraggiante l'avvio della conversazione.
Stiamo anche valutando funzionalità che consentirebbero alle persone di scegliere ChatGPT per contattare un contatto designato per loro conto nei casi più gravi.
Rafforzare le tutele per gli adolescenti.
In passato, abbiamo specificato un unico modello di comportamento ideale per tutti i nostri utenti; con la crescita di ChatGPT, abbiamo iniziato ad aggiungere ulteriori protezioni quando sappiamo che l'utente ha meno di 18 anni. Continuiamo a sviluppare e implementare misure di sicurezza che riconoscano le esigenze di sviluppo specifiche degli adolescenti, con misure di sicurezza più severe per quanto riguarda contenuti sensibili e comportamenti rischiosi.
Presto introdurremo anche un sistema di controllo parentale che offrirà ai genitori la possibilità di comprendere meglio e orientare il modo in cui i loro figli adolescenti utilizzano ChatGPT. Stiamo anche valutando la possibilità per i ragazzi (sotto la supervisione dei genitori) di designare un contatto di emergenza di fiducia. In questo modo, nei momenti di grave difficoltà, ChatGPT può fare molto di più che indicare risorse: può aiutare i ragazzi a contattare direttamente qualcuno che possa intervenire.
Siamo profondamente consapevoli che le misure di sicurezza sono più efficaci quando ogni elemento funziona come previsto. Continueremo a migliorare, guidati da esperti e con la responsabilità nei confronti di chi utilizza i nostri strumenti, e speriamo che altri si uniscano a noi per contribuire a garantire che questa tecnologia protegga le persone più vulnerabili.
Trovi l'annuncio di OpenAI con ulteriori risorse per approfondire a questo indirizzo.
