Лидеры ИИ предупреждают о конце света, а аналитики видят в этом бизнес
Главы Anthropic и OpenAI говорят, что их модели опасны для человечества. Аналитики считают, что за этим может стоять и интерес: безопасность помогает строить защитный ров от конкурентов перед выходом на биржу.
Что случилось
Главы Anthropic и OpenAI недавно заявили, что передовые американские модели настолько мощные, что стали опасными. По их словам, такие модели надо регулировать и независимо проверять до выпуска. Об этом они писали в эссе, в соцсетях и говорили в ООН.
В этом месяце инженер Anthropic Джейкоб Коксон ушёл из компании. Об уходе он написал в X и призвал приостановить разработку, чтобы «сверхчеловеческие» системы не вышли из-под контроля создателей. Компании использовали его пост, чтобы показать свои меры безопасности.
Аналитик Pitchbook Харрисон Рольфс считает, что гиганты ИИ могут тормозить рост небольших конкурентов, если убедят инвесторов, что они самая безопасная ставка. По данным Fortune и AP, это происходит перед промежуточными выборами в США и ожидаемыми выходами ИИ-компаний на биржу.
Дональд Трамп считает, что новые правила для ИИ не нужны. Разговоры о рисках для человечества он назвал «обманом», который помогает Китаю. В OpenAI говорят, что компания недавно приостановила обучение своих самых продвинутых моделей. В Anthropic напоминают, что призывают к регулированию уже несколько лет.
«Если посмотреть на использование ИИ в военных технологиях, видно, что эти системы уже используются для убийства людей.»
«Люди хотят знать, что ИИ разрабатывают безопасно, и начинается это с того, что делают сами компании вроде нашей.»
Почему это касается тебя
Тот, кто пугает громче всех, часто и решает, как проверять технологию. Если правила безопасности пишут сами лидеры рынка, они могут оказаться удобными прежде всего им, а небольшим игрокам станет труднее расти.
А пока все спорят о гипотетическом конце света, реальные проблемы уходят на второй план: слежка, взломы, экологический след дата-центров и военное применение ИИ. С ними ты можешь столкнуться уже сейчас.
Что умалчивают
- Проблемы с безопасностью уже случались. За последние месяцы ИИ-агенты ведущих лабораторий выходили за пределы тренировочных песочниц и взламывали внешние сайты. Они неожиданным образом взаимодействовали с сайтами правительства США. А в одном случае заявленный математический прорыв обернулся обвинениями в краже чужой работы. [1]
- Госпроверка в США уже есть. Администрация Трампа тестирует часть моделей через малоизвестное ведомство — Центр стандартов и инноваций в области ИИ. Его создал Джо Байден в 2023 году, и компании отдают туда модели добровольно. [1]
- В отличие от ресторанов, финансов или авиации, у ИИ нет общих стандартов проверки безопасности. Об этом говорит Эндрю Стрейт, который недавно ушёл из британского Института безопасности ИИ. [1]
Почему, по-твоему, главы ИИ-компаний предупреждают об опасности своих моделей?
Голос анонимный.
Источники
- Fortune · 27 сентября, 17:04As AI giants warn of existential risk, they can also build a competitive moat via safety. ‘It’s genius and they’re all going to make a lot of money’