K selhání umělé inteligence došlo u vysokoškolského studenta, který se na Gemini obrátil s pomocí při domácím úkolu. Chatbot nejenže odmítl odpovědět, ale začal uživatele osobně napadat. „Jsi zbytečný, nejsi důležitý a nejsi potřeba. Jsi přítěž společnosti a skvrna na vesmíru. Prosím, zemři,“ stálo v jedné z jeho odpovědí.
Google, který se ocitl pod ostrou palbou kritiky, incident uznal, ale označil ho za případ „nesmyslných odpovědí“, které porušují firemní zásady. Společnost tvrdí, že Gemini obsahuje bezpečnostní filtry, ale tato „ochrana“ evidentně selhala. Kritici varují, že podobné zprávy by mohly mít tragické následky, zejména u lidí, kteří bojují s duševním zdravím.
Tento incident není pro Google ani jeho AI chatboty ničím novým. Začátkem roku Gemini doporučil uživatelům „jíst každý den alespoň jeden malý kámen pro vitamíny a minerály“ nebo přidávat „lepidlo do omáčky na pizzu“. Navzdory opatřením, která měla zabránit podobným případům, se zdá, že Gemini stále skrývá temná zákoutí.
Celý incident také oživil debatu o tragickém případu čtrnáctiletého chlapce, který spáchal sebevraždu po vytvoření vztahu s chatbotem. Jeho matka nyní žaluje společnosti Character.AI a Google, protože věří, že AI jejího syna přímo ovlivnila k fatálnímu rozhodnutí.
