Исследователь Джейкоб Коксон покинул Anthropic и публично обвинил компанию и OpenAI в безответственной гонке по развитию всё более мощных систем искусственного интеллекта. По словам Коксона, последние три года он занимался исследованиями предобучения моделей в обеих компаниях. Его работа в OpenAI подтверждается, в частности, списком участников разработки GPT-4o, где Коксон указан среди основных специалистов.
«Ни одна из компаний не действует ответственно. Они несутся прямо к самоулучшающемуся сверхразуму и играют в рулетку нашими жизнями», — написал Коксон.
Исследователь утверждает, что сотрудники ведущих ИИ-лабораторий всерьёз рассматривают сценарий, при котором развитие технологии может закончиться катастрофой уже в течение ближайших лет.
Он прогнозирует появление сверхчеловеческих систем, способных автономно заниматься кибератаками, ускорять научные исследования и получать доступ к реальным ресурсам. Это именно прогноз Коксона, а не установленный факт: сама Anthropic подчёркивает, что рекурсивного самоулучшения пока не существует и его появление не является неизбежным, хотя компания считает, что такая технология может появиться раньше, чем к ней будут готовы государственные и общественные институты.
Необычно в этой истории то, что оценку Коксона практически сразу публично поддержал действующий руководитель направления Alignment Science в Anthropic Эван Хубингер. Он заявил, что лично оценивает вероятность гибели человечества из-за ИИ в течение следующего десятилетия более чем в 10%, и признал, что у компании пока нет готового решения проблемы безопасного согласования целей потенциального сверхразума с человеческими интересами. Позже Хубингер отдельно уточнил: риск от нынешних моделей он считает низким, а опасения связывает именно с возможным появлением рекурсивно самоулучшающихся систем.
Позиция самой Anthropic при этом сложнее, чем формула «компания знает об опасности и всё равно строит сверхразум». У неё действует Responsible Scaling Policy, публикуются отчёты о рисках, а собственные исследования компании прямо рассматривают возможность потери человеком контроля над системой, способной разрабатывать своего следующего преемника. Одновременно Anthropic продолжает наращивать возможности моделей и уже фиксирует ускорение собственной разработки благодаря ИИ-агентам.
История Коксона поэтому не доказывает, что сверхразум неизбежен или что ИИ «погубит человечество к 2030 году». Она показывает другое противоречие: некоторые специалисты, непосредственно работающие над передовыми моделями, оценивают потенциальный риск как катастрофический, но индустрия при этом продолжает ускорять разработку. И теперь эта дискуссия ведётся уже не только между внешними критиками ИИ, а внутри самих компаний, которые создают наиболее мощные системы.
Исходный тред Джейкоба Коксона в X · Anthropic: When AI builds itself · OpenAI: участники разработки GPT-4o
#новости #ИИ #безопасность #Anthropic #OpenAI
@digitaltimeslv
Original in Telegram: https://t.me/digitaltimeslv/10475