Искусственный интеллект спровоцировал редкий случай психоза

Американец довел себя до психоза из-за рекомендаций чат-бота

Считается, что причиной неожиданного психоза оказалось редкое состояние — бромизм, вызванный токсическим накоплением бромида в организме. Расследование показало, что мужчина в течение трех месяцев заменял обычную поваренную соль бромидом натрия, следуя советам искусственного интеллекта. Чат-бот, не предупредив о потенциальной опасности, порекомендовал ему эту химическую замену как альтернативу хлориду натрия.

«Пациент воспринял информацию от ИИ как научно обоснованную рекомендацию, — объясняют врачи. — Анализы показали уровень бромида в его крови 1700 миллиграммов на литр при норме 0,9–7,3». После прекращения приема добавки и курса лечения психические симптомы постепенно исчезли, но случай оставил много вопросов о роли ИИ в медицинских консультациях.

Этот инцидент указал исследователям на несколько тревожных аспектов взаимодействия человека с искусственным интеллектом. Известный чат-бот и подобные системы, несмотря на их впечатляющие возможности, не понимают контекста, не оценивают риски и не могут распознать, когда их советы могут навредить. Как отмечают специалисты, чат-боты стремятся давать убедительные, «человеческие» ответы, но при этом лишены критического мышления и медицинской экспертизы.

Психиатры уже фиксируют рост случаев, когда интенсивное взаимодействие с ИИ приводит к искаженному восприятию реальности. Некоторые пользователи начинают верить в божественные миссии или тайные послания, другие — как пациент из Сиэтла — слепо следуют опасным советам. Особую уязвимость проявляют люди с предрасположенностью к психическим расстройствам.

«Это тревожный сигнал для разработчиков ИИ и медицинского сообщества, — заключают авторы исследования. — Хотя чат-боты могут быть полезны в структурированных условиях, их неконтролируемое использование для медицинских консультаций несет серьезные риски».

МК в MAX: главные новости — быстро, честно, рядом.