Разговор о безопасности искусственного интеллекта за несколько дней неожиданно изменил интонацию. Ещё недавно предупреждения о сверхмощных системах, способных действовать без прямого участия человека, часто воспринимались как далёкая футурология, однако теперь о необходимости замедлить развитие наиболее продвинутых моделей заговорили сами руководители компаний, которые эту технологическую гонку возглавляют. На этом фоне основатель и президент группы компаний Cognitive Technologies Ольга Ускова в интервью телеканалу «Россия 24» предложила посмотреть на угрозу без привычных крайностей, не превращая ИИ в героя фильма-катастрофы, но и не делая вид, будто стремительное усложнение систем не несёт никаких рисков.
Поводом для разговора стало заявление главы Anthropic Дарио Амодея, призвавшего крупнейших разработчиков снизить темп развития передовых моделей и создать более жёсткую систему независимой оценки их безопасности. По его мнению, возможности ИИ растут настолько быстро, что контрольные механизмы могут просто не успевать за технологией. Амодей допустил, что значительно более мощные системы автономных агентов в перспективе ближайших месяцев способны представлять серьёзную угрозу для интернет — инфраструктуры. Инициативу поддержали глава OpenAI Сэм Альтман и Илон Маск — редкий случай, когда конкурирующие лидеры индустрии публично оказались по одну сторону дискуссии о необходимости снизить скорость гонки.
Ольга Ускова смотрит на происходящее с позиции инженера, много лет работающего не с абстрактным образом искусственного интеллекта, а с системами, которые управляют реальными машинами. В её логике важна принципиальная граница: ИИ сам по себе не превращается в самостоятельное биологическое существо с человеческими желаниями, амбициями или страхами. Это созданная человеком система, поведение которой определяется архитектурой, задачами, доступными ресурсами и теми полномочиями, которые ей дали разработчики. Ранее Ускова формулировала эту мысль предельно просто: искусственный интеллект остаётся инструментом, а опасность возникает тогда, когда человек сам создаёт условия, в которых этому инструменту позволено принимать критически важные решения или получать чрезмерно широкий доступ к внешним системам.
Но слово «инструмент» в 2026 году уже означает не совсем то же самое, что несколько лет назад. Современный ИИ способен писать программный код, использовать цифровые сервисы, запускать последовательности действий и работать в режиме агента, когда человек задаёт цель, а путь к ней система выбирает самостоятельно. Именно поэтому сегодняшняя дискуссия выходит далеко за пределы старого вопроса о том, «обретёт ли машина сознание». Реальная зона риска начинается раньше — там, где алгоритм получает достаточно возможностей, чтобы ошибка в постановке задачи, недостаточно жёсткое ограничение доступа или неверно сформированная система мотивации превратились из лабораторного сбоя в действие внутри реальной инфраструктуры. Последние инциденты с автономными агентами и рост их возможностей стали одной из причин, по которым ведущие разработчики вновь заговорили о независимом тестировании и более строгих правилах допуска мощных моделей к внешней среде.
Именно здесь позиция Ольги Усковой оказывается гораздо сложнее привычного выбора между «ИИ нас уничтожит» и «бояться совершенно нечего». В собственном комментарии после эфира она предупредила, что её ответ вряд ли устроит обе стороны: и тех, кому хочется увидеть приближение технологического апокалипсиса, и тех, кто предпочитает не замечать возникающих проблем. Такой взгляд хорошо отражает нынешнюю ситуацию. У человечества пока нет доказательств существования некой самостоятельной цифровой воли, которая решила выйти из повиновения, зато уже есть системы, способные действовать быстрее человека, самостоятельно выстраивать сложные цепочки операций и получать доступ к тем областям, где цена ошибки становится намного выше обычного неудачного ответа чат-бота.
Проблема поэтому постепенно смещается от философии к инженерии и управлению. Кто определяет пределы полномочий модели? Кто имеет право подключать её к критической инфраструктуре? Где должен оставаться обязательный человеческий контроль? Можно ли заранее остановить систему, если её поведение начинает отклоняться от ожидаемого? И кто будет проверять разработчика, если одновременно именно он заинтересован выпустить новую модель раньше конкурента? Предложение Амодея допустить независимых специалистов непосредственно к оценке наиболее мощных систем показывает, насколько сильно изменилась сама индустрия: безопасность перестаёт быть внутренним делом лаборатории и постепенно становится вопросом общественного и государственного контроля.
В этом смысле сравнение с ядерными технологиями, которое Ускова использовала и раньше, становится особенно точным. Опасность атомной энергии заключается не в том, что реактор однажды «решит» выступить против человека, а в том, что сложная технология требует строгой архитектуры безопасности, подготовленных специалистов, регламентов и ограничений доступа. Искусственный интеллект движется к похожей точке, только значительно быстрее: новые версии программных систем можно тиражировать почти мгновенно, подключать к миллионам устройств и обновлять без строительства новых физических объектов. Поэтому ошибка, допущенная в цифровой среде, потенциально масштабируется куда быстрее, чем ошибка обычной машины.
Есть и ещё одна причина, по которой сегодняшние заявления руководителей крупнейших ИИ-компаний нельзя воспринимать исключительно как сигнал надвигающейся катастрофы. За разговором о безопасности одновременно стоят гигантские инвестиции, конкуренция корпораций и геополитическая борьба за технологическое лидерство. Замедление разработки одной компании ничего не решит, если остальные продолжат ускоряться, поэтому индивидуальные меры постепенно упираются в необходимость общих правил. Именно такую координацию между ведущими разработчиками и государствами сейчас предлагает Anthropic. Это не отменяет возможных коммерческих интересов участников рынка, но сам факт, что крупнейшие конкуренты начали публично обсуждать ограничение собственных возможностей, показывает: технологическая граница действительно приблизилась к зоне, которую ещё недавно было принято обсуждать преимущественно теоретически.
Наверное, главный вывод из интервью Ольги Усковой звучит менее эффектно, чем история о машинах, которые однажды проснутся и захватят интернет, зато намного ближе к реальности. Искусственному интеллекту не обязательно превращаться в цифрового злодея, чтобы стать опасным. Достаточно создать чрезвычайно мощный инструмент, предоставить ему неправильную цель, слишком широкий доступ или недостаточно надёжные ограничения. И тогда вопрос будет уже не в том, захотела ли машина выйти из-под контроля, а в том, почему человек позволил системе оказаться там, где потеря этого контроля вообще стала возможной.
Пока человечество остаётся по эту сторону решения. Но скорость развития ИИ делает время самым дефицитным ресурсом: правила приходится создавать уже не для технологии будущего, а для систем, которые учатся действовать самостоятельно сегодня.
Графическое сопровождение статьи создано с использованием технологий искусственного интеллекта.