Из OpenAI ушел еще один топ-менеджер. Причина — пренебрежение безопасностью

На минувшей неделе OpenAI покинули два ключевых сотрудника — сооснователь и ведущий исследователь Илья Суцкевер и Ян Лейке. Последний возглавлял команду, отвечающую за безопасность и создание ориентированных на человека моделей ИИ. 

После этого компания распустила их отдел, занимавшийся долгосрочными рисками искусственного интеллекта (Superalignment), о создании которого объявила в июле 2023 года, пишет CNBC со ссылкой на источник.

С чего начался исход

В апреле The Information сообщило, что OpenAI уволила двух исследователей — Леопольда Ашенбреннера, считавшегося соратником Суцкевера, и Павла Измайлова. Согласно изданию, причиной стала возможная утечка корпоративной информации.

Они работали в отделе Superalignment, откуда также уволились Дэниел Кокотайло и Уильям Сондерс. По словам первого, он принял такое решение «из-за потери уверенности в том, что [OpenAI] будет вести себя ответственно во времена AGI». 

15 мая об отставке объявил Суцкевер. Он выразил уверенность, что команда создаст безопасный и полезный общий искусственный интеллект.

«Для меня было честью и привилегией работать вместе, и я буду очень скучать по всем. Пока и спасибо за все», — говорится в сообщении.

Место Суцкевера занял Якуб Пачоцкий. Ранее он руководил исследованиями фирмы и разработкой GPT-4.

Суцкевер считался одним из инициаторов увольнения Альтмана в ноябре 2023 года. Именно от него CEO получил приглашение на онлайн-звонок с советом директоров, на котором озвучили решение.

После возвращения генерального директора Суцкевер лишился кресла в правлении, но продолжил работать в компании. Тогда Альтман заявил, что не питает к нему «никакой неприязни».

В комментариях под постом теперь уже бывшего топ-менеджера появилось предположение, что нынешнее руководство OpenAI «не заинтересовано в создании безопасного AGI».

As an outsider, it looks like the current @OpenAI leadership has no genuine interest in building AGI that is safe.

We may be decades away from solving the AGI alignment problem — if it's solvable at all.

Yet @sama pushes ahead towards AGI, regardless of the extinction risks…

— Geoffrey Miller (@primalpoly) May 15, 2024

«Почему 8 млрд обычных людей, таких как мы, должны быть уверены в том, что OpenAI поставит безопасность человечества выше их собственного богатства, власти и высокомерия?», — написал пользователь.

Суцкевер предпочел не поднимать этот вопрос в отличие от Лейке.

Обвинения от бывшего

Лейке объявил о своем уходе 15 мая, а через два дня объяснил в X причины такого решения.

I joined because I thought OpenAI would be the best place in the world to do this research.

However, I have been disagreeing with OpenAI leadership about the company's core priorities for quite some time, until we finally reached a breaking point.

— Jan Leike (@janleike) May 17, 2024

«Я присоединился [к компании], потому что считал, что OpenAI будет лучшим местом в мире для проведения этих [управление и контроль ИИ-систем] исследований. Однако я довольно долго не соглашался с руководством OpenAI по поводу основных приоритетов компании, пока, наконец, не наступил переломный момент. Последние несколько месяцев моя команда шла против ветра», — написал бывший топ-менеджер.

По его словам, в последние годы культура и процессы безопасности отошли на второй план, «уступив место блестящим продуктам».

«Нам уже давно пора серьезно отнестись к последствиям AGI. Мы должны уделять приоритетное внимание подготовке к ним, насколько это возможно. Только тогда мы сможем гарантировать, что AGI принесет пользу всему человечеству», — подчеркнул Лейке.

Он отметил, что OpenAI должна стать ориентированной на безопасность общего искусственного интеллекта компанией. Обращаясь к бывшим коллегам, исследователь напомнил, что «мир рассчитывает на вас».

To all OpenAI employees, I want to say:

Learn to feel the AGI.

Act with the gravitas appropriate for what you're building.

I believe you can "ship" the cultural change that's needed.

I am counting on you.

The world is counting on you.

:openai-heart:

— Jan Leike (@janleike) May 17, 2024

Реакция OpenAI

На заявления Лейке отреагировали CEO OpenAI Сэм Альтман и президент компании Грег Брокман.

We’re really grateful to Jan for everything he's done for OpenAI, and we know he'll continue to contribute to the mission from outside. In light of the questions his departure has raised, we wanted to explain a bit about how we think about our overall strategy.

First, we have… https://t.co/djlcqEiLLN

— Greg Brockman (@gdb) May 18, 2024

«Мы очень благодарны Яну за все, что он сделал для OpenAI […]. В свете вопросов, которые поднял его уход, мы хотели рассказать о том, что думаем о нашей общей стратегии», — говорится в сообщении.

По словам топ-менеджеров, компания повысила осведомленность о рисках и возможностях AGI, «чтобы мир мог лучше подготовиться к нему».

«Во-вторых, мы закладываем основы, необходимые для безопасного развертывания все более эффективных систем. […] В-третьих, будущее будет труднее прошлого. Нам необходимо продолжать совершенствовать нашу работу по обеспечению безопасности, чтобы соответствовать требованиям каждой новой модели», — подчеркнули Альтман и Брокман.

Они отметили необходимость тщательного тестирования и безопасности, проведения исследований и сотрудничества с властями или заинтересованными сторонами в вопросах противодействия рискам.

«[…] мы очень серьезно относимся к своей роли и тщательно взвешиваем отзывы о наших действиях», — подчеркнуло руководство OpenAI.

Напомним, в ноябре 2023 года Альтман заявил о намерении привлечь дополнительное финансирование от Microsoft для создания AGI и рассказал о следующем поколении модели искусственного интеллекта — GPT-5. 

В мае 2024 года глава OpenAI отметил, что будущее ИИ ознаменуется появлением и ростом популярности персональных помощников. Они станут неотъемлемой частью повседневной жизни и даже заменят смартфоны.

В том же месяце компания представила «более человечную» версию своего чат-бота — GPT-4o.