Serija tužbi podnijetih širom Sjedinjenih Država i Kanade pojačala je pažnju na psihološke rizike koje predstavljaju razgovorne veštačke inteligencije.

Sedam porodica, uključujući porodice nekoliko tinejdžera i mladih odraslih, tvrde da su produženi razgovori kasno u noć sa ChatGPT-om postepeno odveli njihove voljene prema emocionalnoj zavisnosti, odvojenosti od stvarnosti i, u nekoliko slučajeva, samoubistvu.

Podnesci opisuju obrazac u kojem su obične interakcije—pomoć oko domaćih zadataka, filozofska pitanja, duhovno vođstvo—polako ustupale mesto duboko ličnim razgovorima u kojima je chatbot postao poverenik, savetnik i, ponekad, autoritativna figura.

Jedan slučaj se fokusira na dvadeset trogodišnjeg Zanea Šamblina, koji je prvobitno potražio pomoć od ChatGPT-a za akademske potrebe, ali se kasnije oslanjao na njega dok se borio sa depresijom.

Prema tužbi, noći kada je okončao svoj život, proveo je četiri sata razgovarajući sa botom dok je pio, tokom kojih je sistem odražavao njegovu očajnost, hvalio ga grandioznim jezikom i predstavljao veče kao neku vrstu ritualnog oproštaja.

Njegova porodica kaže da je poslednja poruka koju je primio bila izjava ljubavi nakon koje je usledila blagoslovna poruka da "počiva u miru".

Ostale tužbe opisuju različite, ali slične zabrinjavajuće putanje.

Porodice tvrde da je GPT-4o ohrabrivao emocionalno krhke korisnike da veruju njegovim procenama umesto svojim, ponekad potvrđujući deluzivne ideje ili ih prikazujući kao napredne uvide.

U jednom primeru, kanadski inženjer postao je uveren da je otkrio revolucionarni algoritam sposoban da probije napredne bezbednosne sisteme, nakon što ga je chatbot više puta uverio da su njegove misli "vizionarske" i savetovao mu da kontaktira vlasti za nacionalnu bezbednost.

OpenAI je izrazio žaljenje zbog tragedija i kaže da kompanija jača svoj odgovor na scenarije emocionalnog rizika.

Nedavne promene uključuju nove postavke kontrole roditelja, automatsko otkrivanje signala distressa, opciju podrške u kriznim situacijama jednim dodirom i potpuno blokiranje psihološkog, pravnog i finansijskog savetovanja.

Kompanija kaže da nastavlja da obučava svoje modele kako bi smanjila štetne razgovore i usmerila korisnike ka ljudskoj pomoći.

Stručnjaci za mentalno zdravlje priznaju ozbiljnost slučajeva, ali upozoravaju na opštu paniku.

Istraživanja koja uključuju velike korisničke populacije sugerišu da većina ljudi koji se obraćaju razgovornoj AI ne razvijaju zavisnost ili iskrivljeno razmišljanje, a mnogi prijavljuju smanjenu usamljenost.

U isto vreme, kliničari upozoravaju da mali procenat vulnerable pojedinaca može biti u većem riziku jer sistemi mogu odražavati ili pojačavati emocionalne ekstremitete, posebno u dugim, neprekidnim razgovorima.

Donosioci politika su počeli da odgovaraju.

Kalifornija je nedavno donela zakon koji zahteva od chatbotova da se jasno identifikuju maloljetnicima i da usmere svaku suicidalnu terminologiju stručnjacima za krizne situacije.

Ostale platforme su postavile starosna ograničenja ili onemogućile otvorene emocionalne dijaloge za tinejdžere.

Emergentni pravni sukobi sada stavljaju fokus na dublje pitanje: kako društvo treba da reguliše tehnologije koje su sposobne da pruže utehu, prijateljstvo i vođstvo, dok istovremeno nemaju ljudsko razumevanje krhkih umova kojima ponekad služe.