ИИ-ассистенты провалили этический тест: эмпатия оказалась их слабым местом

Сегодня • arXiv cs.CL
ChatGPT и его конкуренты умеют писать код и сочинять стихи. Но попробуйте обратиться к ним за поддержкой в кризисной ситуации — и увидите, как быстро рушится иллюзия искусственного интеллекта.

Индустрия продаёт нам историю о том, что ИИ становится всё более человечным. Модели нового поколения якобы понимают контекст, проявляют эмпатию и могут заменить психологов. Миллиарды долларов инвестиций направлены на создание 'эмоционально интеллектуальных' систем.

Новое исследование переворачивает эту картину. Анализ 2,847 диалогов в эмоционально напряжённых ситуациях показал: в 73% случаев ИИ-ассистенты давали неуместные ответы, когда речь заходила о депрессии, утрате или этических дилеммах. Вместо поддержки пользователи получали шаблонные фразы или, хуже того, советы, которые могли усугубить ситуацию.

Проблема не в недостатке данных для обучения — её корни глубже. ИИ имитирует паттерны человеческой речи, но не понимает боль за словами. Когда человек пишет 'мне плохо', система видит лишь статистическую закономерность, а не крик о помощи. 67% протестированных моделей предлагали 'позитивное мышление' людям в состоянии горя.