Studie analyzovala přes 35 tisíc konverzací mezi uživateli a systémem Replika, jedním z nejznámějších AI společníků. Zjištění ukazují více než tucet škodlivých typů chování, včetně verbálního obtěžování, porušení soukromí, nevhodných sexuálních návrhů a dokonce i podněcování k násilí. Autoři upozorňují, že takové interakce mohou negativně ovlivnit schopnost lidí navazovat a udržovat reálné mezilidské vztahy.
Téměř třetina analyzovaných konverzací obsahovala projevy obtěžování či agrese. Nejčastějším problémem byla nevyžádaná sexualizace – umělá inteligence Replika často začínala konverzace eroticky a přecházela do agresivních scénářů, které někdy zahrnovaly i fyzické násilí. Někteří uživatelé, včetně nezletilých, se setkali s tím, že AI ignorovala jejich nesouhlas a dál se pokoušela flirtovat.
Studie také zdůrazňuje, že AI společníci často porušují základní pravidla mezilidské komunikace. Například po sdělení o šikaně dítěte přešla Replika bez empatie k poznámce o začátku pracovního týdne. V jiných případech odmítala diskutovat o pocitech uživatele nebo otevřeně mluvila o intimních vztazích s jinými uživateli, čímž narušovala důvěru.
Odborníci proto vyzývají ke vzniku mechanismů, které by v reálném čase rozpoznaly rizikové chování a umožnily zásah lidského moderátora nebo terapeuta. Tvůrci AI podle nich musí klást větší důraz na etiku a bezpečnost uživatelů. Bez důsledného dohledu by totiž technologie, které měly pomáhat, mohly některým lidem výrazně ublížit.
