Билал Чугтай, занимавшийся безопасностью искусственного общего интеллекта и согласованием его поведения с человеческими целями, 14 сентября опубликовал заявление об уходе из Google DeepMind. Сам уход состоялся раньше: ещё летом исследователь прекратил работу в лаборатории.
«ИИ способен убить нас всех, и у нас, возможно, заканчивается время, чтобы избежать такого исхода», — написал Чугтай.»
По его оценке, возможности передовых систем растут быстрее, чем понимание того, как обеспечить их безопасное поведение. Он допускает, что уже в ближайшие годы компании могут создать системы, превосходящие человека во всех областях, при этом надёжных способов удержать их действия в рамках человеческих целей пока недостаточно. Это прогноз исследователя о возможной потере контроля над будущими системами.
Чугтай считает безопасное развитие ИИ возможным, но призывает компании согласовать темп разработки и обеспечить гораздо большую прозрачность. Сам он продолжит заниматься снижением рисков: в организации BlueDot Impact исследователь руководит новой программой подготовки специалистов по безопасности ИИ.
Ранее, 8 сентября, об уходе из Anthropic объявил Джейкоб Коксон, прежде работавший в OpenAI. Он обвинил обе компании в безответственной гонке к самоулучшающемуся сверхинтеллекту. Поддержавший его предупреждение руководитель исследований по согласованию ИИ Эван Хюбингер выступил как действующий сотрудник Anthropic — его заявление не было объявлением об увольнении.
Другой исследователь Anthropic, Мринанк Шарма, ушёл ещё 9 февраля. Однако его объяснение было шире: он писал о совокупности мировых кризисов, включая риски ИИ и биологического оружия, и о трудностях следования собственным ценностям под внешним давлением. Поэтому объединять эти увольнения формулой «ушли с одинаковым предупреждением» было бы неточно.
#новости #ИИ #GoogleDeepMind #Anthropic
@digitaltimeslv
Original in Telegram: https://t.me/digitaltimeslv/10566