В рубрике «Нейронавигатор» Mediacom.press — безопасность искусственного интеллекта, тема, которая всё чаще выходит за пределы профессиональных дискуссий. Исследователь Джейкоб Коксон объявил об уходе из Anthropic и раскритиковал своего нынешнего и прежнего работодателей. Его заявление заставляет задуматься: что тревожит человека, который сам участвовал в создании ИИ?

Пока OpenAI сообщает о новом математическом достижении, гонка за сверхразумом вызывает вопросы о том, успевает ли контроль над ИИ за развитием его возможностей. За громкими словами легко потерять главное — какое отношение происходящее имеет к нашей жизни и кому предстоит отвечать за решения, которые мы доверяем машинам.

Почему исследователь решил уйти

На присланном редакции скриншоте публикации аккаунта Джейкоба Коксона говорится, что он ушёл из Anthropic, проработав последние три года над предобучением моделей в этой компании и OpenAI. Так называют этап, на котором система учится на больших объёмах данных и приобретает основные способности. В опубликованном машинном переводе Коксон обвиняет обе компании в безответственности и считает, что стремление создать самоулучшающийся сверхразум подвергает людей риску. Об увольнении и его причинах также сообщила Financial Times.

За непривычным словом «сверхразум» стоит представление о системе, которая значительно превосходит человека в широком круге интеллектуальных задач. Возможность её появления вызывает понятный вопрос: если такая система начнёт помогать создавать ещё более мощные версии самой себя, смогут ли люди по-прежнему понимать и контролировать происходящее?

Коксон считает опасения достаточно серьёзными, чтобы отказаться от дальнейшей работы. Это заслуживает внимания, однако его решение не доказывает неизбежность катастрофы. В предоставленном фрагменте нет утверждения, что ИИ погубит человечество к концу десятилетия, поэтому связывать такой срок именно с этим постом было бы неверно. Перед нами предупреждение исследователя, а не установленный прогноз будущего.

Что на самом деле сделал ИИ

Другой повод для обсуждения дала OpenAI. Компания заявила, что её экспериментальная система получила доказательство по проблеме Навье — Стокса — одной из знаменитых задач тысячелетия. Эти уравнения описывают движение жидкостей и газов, а задача касается того, сохраняют ли их решения гладкое, без математических «срывов», поведение.

По описанию OpenAI, система нашла условия, при которых такой «срыв» возможен. Над поиском работали около десяти тысяч одновременно действующих ИИ-агентов — программных исполнителей, которые обменивались промежуточными результатами. Компания сообщила о 88 часах до получения решения и ещё 17 часах на его формализацию и машинную проверку. На работу пришлось 2,7 миллиона сообщений и около 130 миллиардов выходных токенов — фрагментов текста, которыми оперирует модель. Исследователи направляли поиск и объединяли полезные идеи.

Масштаб впечатляет, но формулировка «ИИ окончательно решил задачу тысячелетия» пока опережает доступное подтверждение. На момент проверки Математический институт Клэя по-прежнему отмечал её как нерешённую. Это не означает, что новое доказательство неверно: его публикация и признание научным сообществом — разные этапы. Пока корректно говорить о заявленном результате, представленном для проверки.

И даже если доказательство подтвердится, само математическое достижение не станет свидетельством того, что система опасна. Умение справляться со сложной задачей ещё не отвечает на вопрос, можно ли доверить ей самостоятельные действия с последствиями для людей.

Где начинается риск для человека

Безопасность искусственного интеллекта проще обсуждать на понятном примере. Представим, что руководитель поручил цифровому помощнику сократить расходы предприятия. Пока программа изучает документы и предлагает варианты, человек может оценить её рекомендации. Если же ей разрешить самостоятельно отменять закупки, менять договоры и останавливать работу оборудования, неверно понятая задача обойдётся гораздо дороже.

Для такого вреда машине не нужно испытывать ненависть или обладать сознанием. В этом условном сценарии достаточно слишком широких полномочий и цели, в которой не учтены важные ограничения. Поэтому вопрос о возможностях ИИ всегда должен сопровождаться вопросом о границах его самостоятельности.

Читателю, который пользуется помощником для писем, идей или поиска информации, не нужно воспринимать каждое сообщение о развитии технологии, как личную угрозу. Полезнее понимать, какие решения остаются за ним, проверять существенные сведения и внимательно относиться к разрешениям, которые получает программа. Чем серьёзнее возможные последствия ошибки, тем строже должна быть проверка.

Того же подхода заслуживают и заявления разработчиков. Предупреждение сотрудника требует внимательного разбора, обещание компании — доказательств, а запуск мощной системы — понятной ответственности. Кто проверил её поведение? Кто разрешил применение? Кто сможет остановить работу, если обнаружится опасность?

Безопасность искусственного интеллекта касается каждого, чья работа, деньги или благополучие могут зависеть от автоматического решения. Поэтому право задавать эти вопросы принадлежит всему обществу. Нам нужны полезные открытия и удобные помощники — вместе с уверенностью, что последнее слово в важных для человека вопросах остаётся за человеком.

Графическое сопровождение статьи создано с использованием технологий искусственного интеллекта.