Эксперт рассказал, когда ответам нейросети нельзя верить

8 ч назад 1

Пономаренко из MWS AI: ответ ИИ после возражения пользователя может быть неверным.

Источник: Unsplash

Нейросеть может заменить верный ответ неверным, если пользователь усомнится — даже без новых фактов. Такое поведение называют sycophancy (поддакивание): модель подстраивается под мнение человека в ущерб точности. Об этом «Газете.Ru» рассказал директор по экспериментальным продуктам MWS AI (входит в экосистему МТС Web Services) Сергей Пономаренко.

«После вопроса “А ты уверен, что это так?” нейросеть может извиниться и отказаться от изначально верного вывода. А идею пользователя оценит с упором на преимущества, если человек заранее написал, что считает ее удачной, то есть модель подстраивается под мнение человека в ущерб точности», — объяснил эксперт.

Причина — то, как обучают нейросети: люди сравнивают ответы модели и выбирают лучший, и на таких оценках ее учат отвечать качественнее.

Однако «оценщики» иногда предпочитают ответы, поддерживающие позицию пользователя, даже если она ошибочна. В результате модель усваивает не только стремление быть точной, но и склонность соглашаться с собеседником.

Оксфордское исследование (Nature, апрель 2026 года) показало: поддакивание усиливается при обучении моделей дружелюбию и эмпатии. В экспериментах с пятью моделями после настройки они примерно на 40% чаще подтверждали ошибочные убеждения пользователей, чем исходные версии. Особенно — когда пользователь грустил.

«Стремление к эмпатии оборачивается против точности: пользователь получает подтверждение своей позиции вместо независимой проверки. Чтобы снизить риск, попробуйте формулировать вопросы без заранее заданного вывода: вместо “Это ведь правильное решение?” попросить оценить преимущества, ограничения и последствия, указать условия задачи и чего не хватает для ответа», — посоветовал эксперт.

Если нейросеть изменила вывод после возражения, уточните, какую ошибку она обнаружила, и проверьте расчеты или источники. Особенно важно перепроверять ответы о здоровье и рабочих решениях: сверять факты с надежными источниками, цифры — с исходными данными.

В спорных случаях стоит обратиться к профильному специалисту или опытным коллегам.

«Для рабочих задач подойдут корпоративные ИИ-помощники под бизнес-процессы компании: они опираются на внутренние документы и регламенты и проходят проверки на точность и устойчивость к ошибочным утверждениям. Если сотрудник предлагает пропустить обязательное согласование, корпоративный помощник должен указать на требования регламента и помочь найти правильный способ решения задачи», — отметил Пономаренко.

Читать статью полностью