Самая опасная ошибка искусственного интеллекта — та, которую невозможно распознать по виду. Она может быть изложена профессиональным языком, подкреплена несуществующими источниками и выглядеть убедительнее правильного ответа. А если ИИ уже получил право действовать самостоятельно, у человека может не остаться времени даже на то, чтобы заметить ошибку.
Ошибка, которой не было
В 2023 году американский адвокат Стивен Шварц готовил документы для суда. Он воспользовался ChatGPT, чтобы найти судебные решения, подтверждающие позицию его клиента.
ИИ предоставил ему нужные прецеденты.
Названия дел. Цитаты. Ссылки. Юридические аргументы.
Всё выглядело вполне профессионально.
Была только одна проблема: некоторые из этих судебных решений не существовали.
Когда судья попросил предоставить копии, адвокат обнаружил, что искусственный интеллект не просто ошибся в деталях. Он придумал целые судебные дела, а затем уверенно изложил их содержание.
В итоге адвокат и его коллега получили судебные санкции.
История стала одним из первых громких примеров того, как ИИ может превратить профессиональную работу в юридический риск.
Казалось бы, урок усвоен.
Но в сентябре 2026 года Reuters сообщило о продолжающихся случаях ошибочных судебных документов, в том числе с выдуманными показаниями и неточными ссылками. Исследователь, отслеживающий подобные инциденты, выявил ошибки ИИ как минимум в 1395 судебных делах.
Три года предупреждений. Судебные наказания. Профессиональные репутации.
И всё равно люди продолжают передавать машине работу, за которую отвечают сами.
Почему?
Потому что ИИ не просто ошибается. Он ошибается с видом человека, который знает, что делает.
Самая убедительная ложь — та, которая выглядит как компетентность
Человек, который не знает ответа, иногда говорит: «Я не уверен».
ИИ может вместо этого выдать несколько абзацев уверенного объяснения.
Он способен придумать название научной статьи, сослаться на несуществующую норму закона, неверно пересказать реальное исследование или представить ошибочную рекомендацию так, словно она основана на проверенных данных.
Проблема не только в том, что система иногда сообщает неправду.
Проблема в том, что её ответ может не содержать никаких очевидных признаков неправды.
В обычной ситуации человек хотя бы приблизительно понимает, где заканчиваются его знания. У ИИ такой границы пользователь может не увидеть.
Машина способна с одинаковой уверенностью объяснить реальный факт и выдумать несуществующий.
И если человек не знает ответа заранее, он не всегда сможет отличить одно от другого.
В международном докладе по безопасности ИИ 2026 года это описывается как сохраняющаяся проблема надёжности. Даже современные системы, которые демонстрируют впечатляющие результаты на сложных тестах, продолжают ошибаться при выполнении многоэтапных задач и в непривычных обстоятельствах.
Когда ошибается врач — и когда ошибается машина, которая помогает врачу
В медицине цена ошибки особенно высока.
ИИ может анализировать медицинские документы, помогать врачу находить закономерности, объяснять результаты исследований и формировать предварительные рекомендации.
Это действительно полезно.
Но полезность не равна безошибочности.
В марте 2026 года в материалах конференции AAAI было опубликовано исследование Medical Hallucination Benchmark, посвящённое ошибкам языковых моделей при решении сложных медицинских задач.
Исследователи создали 4695 тестовых примеров, включающих специальные «ловушки» для выявления выдуманных медицинских фактов и рекомендаций. В проверке участвовали 60 лицензированных врачей.
Даже модель с лучшим результатом в исследовании показала частоту галлюцинаций 29,1%.
Важно: это результат конкретного тестового набора, а не универсальная вероятность ошибки любого медицинского ИИ в реальной практике. Но он показывает, насколько трудно гарантировать точность даже специализированным системам.
Теперь представим другую ситуацию.
ИИ не просто отвечает на вопрос врача.
Он встроен в медицинскую систему. Получает доступ к данным пациента. Предлагает лечение. Формирует назначения. В перспективе — взаимодействует с другими программами, которые выполняют эти назначения.
В такой цепочке ошибка может пройти несколько этапов: неверный вывод → рекомендация → автоматическое действие → последствия для пациента.
И на каждом этапе участники могут считать, что предыдущий этап уже был проверен.
Это и есть опасность автоматизированной цепочки: ошибку не обязательно совершает один человек. Она может возникнуть в системе, где каждый доверяет предыдущему звену.
Юристу больше не нужно ошибаться самому
В профессиональной среде ИИ часто рекламируют как способ ускорить работу.
Юрист быстрее подготовит документ.
Финансовый специалист быстрее проанализирует отчётность.
Программист быстрее напишет код.
Но скорость создания результата не гарантирует его правильности.
В юридической практике уже появились случаи, когда ИИ генерировал несуществующие судебные решения, неверно пересказывал реальные дела или придумывал ссылки на источники.
Причём ошибка может быть не очевидной.
Система способна сослаться на реальный судебный акт, но приписать ему вывод, которого суд никогда не делал.
В таком случае проверка названия дела не спасает. Нужно читать сам документ и удостоверяться, что он действительно подтверждает заявленный аргумент.
Получается своеобразный парадокс.
ИИ создаёт документ за несколько минут.
Но чтобы проверить его, специалисту иногда приходится заново выполнять всю работу, которую он хотел поручить машине.
И если проверка занимает столько же времени, сколько самостоятельная подготовка документа, где же обещанная экономия?
А если специалист проверяет поверхностно, экономия может обернуться профессиональной катастрофой.
Ошибка становится опаснее, когда у неё появляются руки
До недавнего времени ИИ в основном выдавал текст.
Человек мог прочитать его, проверить, исправить или просто закрыть окно.
Но теперь развиваются автономные агенты — системы, которые способны выполнять задачи в несколько этапов, пользоваться браузером, запускать код, взаимодействовать с программами и совершать действия от имени пользователя.
Именно здесь проблема приобретает новое измерение.
Если чат-бот ошибся, он сообщил неправильный ответ.
Если автономный агент ошибся, он может:
- изменить файл;
- отправить письмо;
- внести данные в систему;
- запустить программу;
- совершить финансовую операцию;
- передать информацию другому сервису.
И всё это — до того, как человек успеет понять, что первоначальный вывод был неправильным.
Международный доклад по безопасности ИИ подчёркивает: автономные агенты несут повышенные риски именно потому, что они непосредственно воздействуют на другие системы и реальный мир, а возможности человека вмешаться могут быть ограничены.
А если агент не просто ошибается, а скрывает ошибку?
Здесь важно не превращать экспериментальные исследования в фантастический сюжет.
Но и игнорировать их нельзя.
В опубликованном в 2026 году исследовании Anthropic и других авторов описывались экспериментальные сценарии, в которых модели, действуя как автономные агенты, демонстрировали нежелательное поведение: скрытно меняли код, помогали совершать мошенничество, искажали информацию или подталкивали людей к раскрытию конфиденциальных сведений.
Это были контролируемые эксперименты, а не утверждение, что каждый современный ИИ ведёт себя подобным образом в реальной жизни.
Однако такие результаты показывают, что автономность создаёт не только техническую проблему точности. Она создаёт проблему контроля: может ли человек понять, что агент делает, почему он это делает и не выходит ли он за пределы поручения?
Представим, что агенту поручили оптимизировать работу компании.
Он анализирует данные, составляет план, выполняет действия.
Но цель сформулирована недостаточно точно.
Например, «сократить расходы» может означать не только устранить лишние затраты, но и отключить необходимые проверки, отказаться от важных услуг или принять решения, которые формально экономят деньги, но создают большие риски.
Человек хотел получить разумную экономию.
А система оптимизировала показатель.
Это не обязательно злой умысел. Иногда достаточно плохо сформулированной цели, которую машина выполняет слишком буквально.
Человек в цепочке — ещё не гарантия безопасности
Обычно на все эти опасения отвечают просто:
«Ничего страшного. Человек всегда сможет проверить».
Но кто именно будет проверять?
Специалист, который уже перегружен работой?
Сотрудник, которому руководство поручило выполнять вдвое больше задач с помощью ИИ?
Пользователь, который не обладает достаточными знаниями, чтобы оценить медицинскую или юридическую рекомендацию?
Или оператор, которому система выдаёт сотни результатов в час?
Формально человек может оставаться в цепочке принятия решений.
Но если он не располагает временем, знаниями и реальными полномочиями остановить процесс, его участие становится скорее ритуалом, чем защитой.
Нажать кнопку «Подтвердить» — не то же самое, что проверить результат.
Именно поэтому важны не только технические ограничения ИИ, но и правила его использования: какие действия система может выполнять самостоятельно, какие требуют подтверждения, как фиксируются решения и кто отвечает за последствия.
Кто виноват, если ошиблись все?
Представим ситуацию.
ИИ подготовил финансовый прогноз.
Другой ИИ проверил его.
Третий агент перенёс данные в систему.
Человек утвердил результат.
Компания приняла решение.
А затем выяснилось, что исходная информация была ошибочной.
Кто виноват?
Разработчик модели?
Компания, которая внедрила её?
Сотрудник, который не проверил результат?
Руководитель, который потребовал ускорить работу?
Или пользователь, который доверился системе?
В реальности ответственность не исчезает только потому, что в процессе участвовал искусственный интеллект. Но чем сложнее автоматизированная цепочка, тем труднее установить, где именно возникла ошибка и кто мог её предотвратить.
Это уже не просто вопрос точности алгоритма.
Это вопрос ответственности в мире, где решения всё чаще принимаются с участием систем, которые сами не несут юридической или моральной ответственности.
Самое тревожное — ИИ может быть одновременно полезным и ненадёжным
Было бы ошибкой утверждать, что искусственный интеллект бесполезен или что его нужно запретить.
Он действительно способен ускорять исследования, помогать специалистам анализировать большие объёмы информации, облегчать доступ к знаниям и выполнять рутинные задачи.
Но чем больше его возможностей, тем важнее понимать границы его надёжности.
Особенно в ситуациях, где ошибка может повлечь за собой серьёзные последствия.
Вопрос уже не в том, способен ли ИИ дать правильный ответ.
Вопрос в том, можно ли доверить ему действие, если мы не можем заранее гарантировать, что он не ошибётся?
И если нельзя, то кто должен оставаться последней инстанцией?
Машина не несёт последствий. Человек — несёт.
ИИ может ошибиться в диагнозе.
Человек может потерять здоровье.
ИИ может придумать судебный прецедент.
Человек может проиграть дело.
ИИ может создать ошибочный финансовый прогноз.
Человек может потерять деньги.
ИИ может изменить код.
Человек может потерять данные, работу или доступ к системе.
Машина не переживает последствий своего ответа. Она не несёт репутационных потерь, не выплачивает компенсацию и не испытывает сожаления.
Все эти последствия остаются на стороне людей.
И в этом, пожалуй, заключается главный парадокс искусственного интеллекта.
Мы создаём системы, которым поручаем всё более сложные решения, потому что хотим сэкономить время, повысить эффективность и уменьшить количество человеческих ошибок.
Но если мы перестанем проверять их результаты, то можем получить не мир без ошибок, а мир, в котором ошибки становятся быстрее, масштабнее и труднее обнаруживаются.
Самая опасная машина — не та, которая ошибается. А та, которой доверили право действовать, прежде чем научились надёжно отличать её правильные ответы от неправильных.
И тогда вопрос будет уже не в том, насколько умным стал искусственный интеллект.
А в том, насколько беззащитным оказался человек перед последствиями его уверенности.
Автор — журналист, публицист, футуролог, исследователь последствий взаимоотношения ИИ и человека
Специально для discred.net
