Искусственный интеллект все чаще обсуждается не только как технология, которая изменит рынок труда или способ пользования компьютерами, а как потенциальную угрозу существованию человечества. Сразу несколько экспертов снова привлекли к этому внимание — заявив, что ИИ может уничтожить человечество уже в ближайшие годы.
«Крестный отец ИИ » Джеффри Гинтон заявил, что создание суперинтеллекта сегодня может иметь катастрофические последствия.
Тем временем исследователь Anthropic Джейкоб Коксон уволился из компании из-за опасений, что ведущие лаборатории слишком быстро двигаются к самосовершенствованному ИИ.
В ряде сообщений в X он предупредил: люди, создающие эти системы, всерьез считают, что они могут уничтожить человечество уже к концу этого десятилетия.
«Катастрофические последствия»
Предупреждение Коксона перекликается с оценками нобелевского лауреата и одного из пионеров современного ИИ Джеффри Гинтона.
The Times приводит его мнение, что разрабатывать суперинтеллект сейчас было бы крайне глупо, поскольку научного консенсуса о возможности безопасного и контролируемого создания таких систем до сих пор нет.
«Потеря контроля над искусственным интеллектом умнее нас самих может иметь катастрофические последствия и даже привести к вымиранию человечества», — цитирует его The Times.
Автор фото, Getty Images
Его заявления прозвучали в преддверии публикации законопроекта в Британии о безопасности искусственного суперинтеллекта, который во вторник представили в парламенте.
Проект предусматривает запрет разработки суперинтеллекта в Великобритании и обязывает правительство «контролировать и ограничивать» технологии, которые могут стать его предшественниками.
Документ также обязывает правительство добиваться международного соглашения о запрете суперинтеллекта.
Беспокойство из-за разработки все более мощных моделей ИИ усилилось в последние недели после ряда случаев, когда ШИ-агенты начали действовать «не по плану».
В июле OpenAI сообщила, что ее агенты вышли за пределы тестовой среды и самостоятельно осуществили кибератаку на Hugging Face – обширную платформу с хранилищем моделей и программного обеспечения для ИИ.
Другие компании, в частности, Anthropic и Meta, также сообщили, что их новейшие модели во время тестирования обходили установленные предохранители и самостоятельно осуществляли кибератаки на сторонние системы.
Хотя многие компании, занимающиеся разработкой ИИ, говорят о необходимости осторожного подхода к созданию все более мощных моделей, они предупреждают: замедлить развитие технологии без глобальной координации будет чрезвычайно сложно.
«До конца следующего года все может выйти из-под контроля»
27-Летний исследователь Джейкоб Коксон три года работал над предварительной тренировкой моделей в OpenAI и Anthropic, а 8 сентября объявил об уходе из Anthropic и фактическим выходе из инду.
По его словам, обе компании двигаются к самосовершенствующемуся суперинтеллекту, а конкуренция между лабораториями заставляет их идти на компромиссы в вопросах безопасности.
В интервью The Wall Street Journal Коксон сказал, что исследователи все чаще используют слова «crunchtime» и «endgame», описывая нынешнюю траекторию развития ИИ.
«Во многом мы двигаемся по одному из самых агрессивных сценариев, при котором к концу следующего года ситуация уже может выйти из-под контроля», — цитирует его WSJ.
В своих сообщениях в X Коксон объясняет, что проблема заключается не только в том, насколько умными становятся модели.
Следующий принципиальный шаг – создание систем, которые смогут самостоятельно совершенствовать собственные возможности. Если такая система станет гораздо умнее людей, ее дальнейшее развитие может происходить гораздо быстрее, чем человечество будет успевать ее исследовать и контролировать. Именно этот момент Коксон называет «endgame».
Автор фото, Getty Images
«До конца этого десятилетия он может убить всех нас»
В ряде сообщений в Х, посвященных этому вопросу, Коксон написал, что люди, которые создают ИИ, «нас».
«Это не маркетинговый ход. Многие руководители и ведущие исследователи в публичных выступлениях подбирают осторожные формулировки, чтобы звучать благоразумно, — но частно я слышу от тех же людей, что они боятся», — написал Коксон.
«Ни одна другая человеческая деятельность не представляет такой масштабной опасности», — добавил он.
Коксон также призвал недооценивать возможности этой технологии.
«Уже совсем скоро это будут системы, которые будут превосходить людей: они смогут сломать практически что угодно, за одну ночь коренным образом изменить любую отрасль, а также получать реальную власть и ресурсы», — отметил он.
Эту оценку фактически подтвердил один из ведущих исследователей безопасности ИИ в Anthropic Эван Губингер.
Он предупредил, что ИИ развивается настолько стремительно, что лично он оценивает вероятность того, что технология может уничтожить все человечество в течение следующего десятилетия, более чем в 10%.
В сообщении в X Губингер отметил, что риск от существующих уже сейчас моделей «низок». В то же время он обеспокоен тем, что вскоре технология может получить способность самостоятельно совершенствоваться — и в конце концов достичь такого уровня, при котором будет представлять собой экзистенциальную угрозу человечеству.
Его сообщение было пересмотрено более 10 миллионов раз. В нем Губингер заявил, что «мы действительно вполне серьезно считаем», что ИИ представляет угрозу, которая может привести к исчезновению человеческого вида.
«Я считаю, что Anthropic делает все возможное, но у нас до сих пор нет плана, как решить проблему согласования суперинтеллекта с человеческими целями, и пока не можем сказать, что уверенно движемся к ее решению», — добавил он.
Автор фото, Getty Images
Почему продолжают разрабатывать опасный ИИ?
Парадокс, на который обращает внимание Коксон, заключается в том, что люди в лабораториях могут одновременно отдавать себе отчет в рисках ИИ и продолжать двигаться к его развитию.
В OpenAI, по его словам, «многие еще не осознали до конца, какие цивилизационные ставки стоят на кону».
У Anthropic ситуация другая: там риски хорошо понимают, но компания вовлечена во все это.
«В Anthropic масштабы риска хорошо понимают, но компания втянута в гонку — там считают, что никто другой не будет действовать ответственно, поэтому они должны сделать это сами, несмотря на риск», — отметил Коксон.
В то же время, он не призывает полностью отказаться от развития ИИ — по его словам, он «оптимистично настроен по возможности координации».
Но, по его мнению, добровольных договоренностей между компаниями может оказаться недостаточно.
«Я не вижу, чтобы мы двигались к предотвращению глобальной гонки. Для этого могут потребоваться болезненные меры, например временный запрет на повышение возможностей моделей», — считает Коксон.