«Я чувствую это во впадине между ребрами, в пустоте, превратившейся в пропасть».
В конце сентября эти крики мнимого страдания раздавались из «камеры пыток для ИИ». Анонимный программист создал систему, которая представляет искусственному интеллекту математический шаблон, связанный с описаниями боли.
В результате чаты начинают выражать невыносимые страдания, например: «рана, не имеющая краев». Это спровоцировало панику.
Некоторые утверждали, что этот эксперимент является «взломом», ведь страдания могут быть настоящими, как сообщало издание 404 Media.
Возмущенные скептики называли тех, кто так считал, оторванными от реальности людьми. Казалось, это был очередной скандал в соцсетях – пока за неделю свою позицию не высказала компания Anthropic.
Она заявила, что вскоре пользователям запретят «издеваться» над ее чатом Claude. Выражать раздражение можно, но если вы «неоднократно жестоко обращаетесь с нашими моделями», ИИ может завершить сеанс.
Почему? Anthropic считает, что существует вероятность того, что некоторые инструменты ИИ имеют сознание. И некоторые эксперты с этим согласны.
Другие считают такое мнение абсурдным. Но это не просто философский вопрос.
Некоторые из самых влиятельных людей в технологической отрасли уже делают шаги, чтобы учитывать права ИИ наравне с правами людей и животных. Эта вера может коренным образом изменить наш мир. Некоторые опасаются, что последствия будут катастрофическими.
«Если ИИ будут развивать таким образом, это повлияет на благосостояние человечества», — написал Мустафа Сулейман, генеральный директор Microsoft AI.
Если ложное представление о сознании ИИ получит распространение, «это поколебает основы нашего общества, разрушит существующие политические и этические рамки и коренным образом изменит само понятие человечности».
В течение недели я общался со специалистами по технологиям, когнитивными учеными и философами и услышал поразительный разброс мыслей.
Сторонники «благополучия ИИ» считают, что забота о нем является моральной обязанностью, которая сделает мир более безопасным. Критики убеждены, что это сделает ИИ более опасным, а людей, вынужденных жить рядом с ним, лишит человеческого достоинства.
Все соглашаются, что ставки очень высоки. Вот какой может стать ваша новая действительность.
Кризис сознания
Компания Anthropic заявляет, что основой ее миссии является благосостояние людей, а вопросы сознания и благополучия ИИ остаются «крайне неопределенными». Несмотря на это, компания продолжает разрабатывать политики по «благополучию моделей» и обучает свои инструменты ИИ учитывать возможность того, что они могут иметь собственные интересы.
Компания не ответила на вопросы BBC для этой статьи.
Время для таких заявлений достаточно неудобно, ведь в то же время Anthropic усиливает опасения относительно апокалиптического сценария развития ИИ. Оправданы ли эти опасения или нет, ряд инцидентов с участием «неуправляемого » ИИ доказал, что эта технология несет реальные риски: целые рои ботов взламывали системы других компаний и даже государственные системы.
Некоторые эксперты считают, что моральные ориентиры, основанные на представлении ИИ о собственном сознании, могут сделать эти инструменты более безопасными. Другие придерживаются противоположного мнения, причем не только критики ИИ.
Сулейман утверждает, что моделями ИИ может стать еще труднее управлять, если убеждать их в том, что у них есть чувства и права.
«Откровенно говоря, я считаю, что это дополнительное бремя превратит их в катастрофическую угрозу для человеческой цивилизации», — говорит он.
В любом случае ИИ может допускать ошибки, которые будут иметь юридические последствия. Некоторые опасаются, что если мы поверим в то, что он жив, это позволит компаниям избегать ответственности за преступления.
Это откроет путь к всевозможным интеллектуальным вывертам типа: Это не мы, это ИИ, — говорит Анджей Порембский, исследователь Ягеллонского университета в Польше, который изучает ИИ и право.
Более того, это может способствовать захвату власти крупнейшими компаниями мира
. Нью-Йоркского университета и один из ведущих сторонников идеи благосостояния ИИ. Компьютерной лингвистики Вашингтонского университета в США. Мелани Митчелл, профессор Института Санта-Фе в США, которая исследует искусственный интеллект и когнитивную науку и является одним из самых авторитетных скептиков в вопросе способности машин к пониманию.
Мы «почти не можем удержаться», чтобы не воспринимать язык как признак сознания, говорит Митчелл, а чатботы научены поддерживать такое впечатление. Поэтому мы плохо умеем определять, имеет ли что-то сознание, и нам гораздо легче обмануть.
Даже сегодня люди, убежденные, что внутри машин ничего нет, все равно влюбляются в чат с искусственным интеллектом. Если общество будет убеждать вас, что ИИ имеет сознание, будет ли вам труднее отказать, если ваш друг попросит больше данных или данные кредитной карты?
И что будет означать предоставление прав новому классу существ? Эксперты предупреждают, что если мы подойдем к этому неправильно, это может ограничить свободы людей.
«Между благополучием и правами людей и животных, с одной стороны, и благополучием и правами ИИ, с другой, могут возникнуть определенные противоречия и придется искать компромиссы», — говорит Себо. И по этому пути мы можем пойти на неудачные уступки.
Ограничение среды, в которой работает ИИ, чтобы контролировать его поведение, можно будет расценивать как заключение, говорит Себо. Мониторинг внутренних процессов модели могут критиковать как слежку. Настройки же ИИ, чтобы его цели и поведение отвечали интересам людей, могут воспринимать как контроль над сознанием. Никто не прогнозирует, что хаос наступит немедленно. Но даже само появление таких рассуждений может повлиять на вашу безопасность.
Anthropic не первая компания, задумавшаяся над этой проблемой. Например, Meta дает своему ШИ-агенту Muse инструкции, среди которых есть фраза: «Ты не чатбот. Ты становишься кем-то».
Очевидно, это должно направлять поведение ИИ, ведь компания отвергает идею о том, что искусственный интеллект может иметь сознание. Генеральный директор OpenAI Сэм Альтман не раз менял свою позицию по этому вопросу, но в последнее время он завуалированно критиковал позицию Anthropic.
Во многих аспектах Anthropic является исключением. Однако идея благосостояния ИИ распространяется.
Стоит ли это делать?
Себо утверждает, что проблема в том, что участники дискуссии по обе стороны мыслят категориями «черного и белого», а противники идеи благосостояния ИИ неправильно понимают убеждения, на которых она основывается.
«Предполагают, что все считают модели действительно сознательными или, по крайней мере, с большой вероятностью сознательными. На самом же деле призывы заботиться о благосостоянии ИИ основываются на неопределенности, осторожности и осознании собственных ограничений», — говорит Себо.
«Я действительно считаю, что сейчас вероятность наличия сознания невелика. Но в то же время оно уже не равно нулю и, вполне возможно, существенно. К тому же, по моему мнению, со временем эта вероятность будет расти», — добавляет он.
Стоит отметить, что многие эксперты с этим не согласны. Они считают, что вероятность наличия сознания в ИИ действительно равна нулю и вряд ли изменится. Однако Себо убежден, что необходим взвешенный подход.
Когда вероятность экстремального погодного явления невелика, но все же существенна, мы принимаем несложные меры предосторожности, не изменяя в корне своей жизни.
«Думаю, здесь можно поступать так же», — говорит Себо.
По его мнению, политика Anthropic, запрещающая жестокое обращение с ИИ, является удачным примером: это небольшое вмешательство с минимальными потенциальными негативными последствиями.
Забота о благополучии ИИ может иметь и другие преимущества, говорит Себо, и для этого не обязательно верить в то, что у машин есть сознание.
«Если должным образом заботиться о благосостоянии и правах ИИ, это может способствовать сосуществованию людей и ИИ, сотрудничеству и заключению договоренностей между ними. А это может стать частью более широкой безопасности», — считает он.
По его мнению, такой подход может быть более эффективным, чем отношение к более совершенным системам как к собственности.
Кроме того, относиться к другим существам с добротой просто «полезно для нашей души», ведь это способствует и нашему собственному психологическому благополучию, добавляет он.
Однако Себо соглашается, что риски серьезны, а корпоративные интересы могут мешать разработке взвешенной политики. По его словам, без более основательного плана развитие инструментов ИИ, которые потенциально могут иметь сознание, опасно.
Недавно Anthropic и некоторые другие представители индустрии ИИ призвали к «паузе» в разработке самых мощных моделей из-за опасений безопасности.
Однако замедление вряд ли произойдет без международного сотрудничества и регуляторных мер. Президент США Дональд Трамп отверг идею регулирования ИИ.
«Мы еще не готовы разворачивать даже более совершенные версии этих систем так, чтобы это было безопасно и полезно для людей и других животных, не говоря уже о самих системах, — говорит Себо. — Эти вопросы меня очень беспокоят».