Неискусственный интеллект

Яндекс возвращается в гонку за суверенность (спойлер: никуда и не уходил) В июле Герман Греф говорил, что единственная полностью отечественная большая языковая модель в России есть у Сбера, а «Яндекс» лишь дообучает китайскую Qwen. В Яндексе слова Грефа опровергали и заявляли, что используют прагматичный для бизнеса подход и берут лучшее из доступного: как опенсорс, так и обученные с нуля собственные модели. Работа над последними, по словам компании, никогда не останавливалась. Как минимум, на их основе всегда работали ИИ-ответы в Поиске. Вслед за публикацией Alice AI Search Pretrain «Яндекс» представил Alice AI Foundation — ещё одну большую модель компании, обученную с нуля без использования сторонних весов. В ней 80 млрд параметров, из которых при работе активны 3 млрд. На обучение примерно на 18 трлн токенов ушло около полугода. Параметры модели, код архитектуры и токенизатор опубликованы под Apache 2.0. Пообщались с руководителем архитектуры претрейна Максимом Абрахамом на полях Practical ML Conf и ознакомились с почти 90-страничным техническим отчётом — документ предоставили специально для @anti_agi. На что обратили внимание: 📍 Модель суверенная, но не изолированная. Дистилляции от Kimi или другой зарубежной модели, по словам Абрахама, не было. Начальные параметры генерировались случайно, а весь цикл обучения прошёл внутри «Яндекса». При разработке этой модели команда изучала все лучшие доступные подходы. В первых экспериментах команда тестировала архитектуру Qwen3-Next, а затем заменила её собственной архитектурой. В 36 из 48 attention-слоёв используется Kimi Delta Attention, роутинг экспертов основан на подходе DeepSeek-V3, применяются оптимизатор Muon и Attention Residuals. Уникальной разработчики называют итоговую комбинацию блоков, их собственную реализацию и инженерные оптимизации. Для поддержки модели им пришлось написать отдельный архитектурный код и внести изменения в vLLM. ❓ Рассуждения заложили уже в претрейн. Последние 280 млрд токенов состояли из сложных математических решений, кода, поисковых сессий и взаимодействий с инструментами. Эта стадия подняла результат на AIME по pass@32 на 63,4 п. п., на HMMT — на 72,6 п. п., на Codeforces по pass@8 — на 45,6 п. п. После одинакового SFT преимущество сохранилось: +3,8 п. п. на HMMT и +6,6 п. п. на Codeforces. Помним, что нынешний релиз — экспериментальная основа для будущей единой рассуждающей модели. А вот будут ли выкладывать её, как какой-нибудь GigaChat 3.5 Reasoning, в компании пока не говорят. «Мы не опенсорсим ради опенсорса. Если в процессе работы над продакшен-моделями у нас появляются полезные для сообщества результаты, мы ими делимся», — говорят в Яндексе. ☁️ Компактность здесь скорее оружие, чем ограничение. У Alice активны 3 млрд параметров против 12 млрд у Nemotron-3-Super и 13 млрд у DeepSeek-V4-Flash. При этом на опубликованных замерах она обходит их на многих задачах по русскоязычным знаниям, математике и коду. По оценке собеседника в крупном облачном провайдере, модель можно разместить на двух Nvidia H100 с квантованием или четырёх H100 в BF16. Немного смутило окно контекста в 128 тысяч токенов. Разработчики говорят, что модель фактически умеет работать с контекстом до 256-262 тысяч токенов. 128 тысяч — отсечка, на которой сохраняется наилучшее качество. Факт релиза важен сам по себе. Одна модель означает технологическую монокультуру: ошибки в архитектуре, данных или цепочке разработки одного поставщика становятся проблемой всего рынка. В категории «суверенных» вновь (или по-прежнему) два игрока — и их конкуренция будет влиять уже не только на качество ответов, но и на стоимость внедрения, безопасность и скорость развития российских ИИ-агентов. @anti_agi

Отечественные чипы и четырехкратный рост компьюта Министерство промышленности и информатизации Китая за неделю запустило две отраслевые пятилетки. 1️⃣План отрасли связи ставит цель 9 800 EFLOPS (эксафлопсов) к 2030 году, в 4,5 раза большенынешних 2 185, и 3,8 трлн юаней ($532 млрд) инвестиций. 2️⃣План электронной промышленности, подписанный вместе с Госкомитетом по делам развития и реформ, отвечает, на каком железе все это будет. Четырехкратный рост из заголовков на деле закладывает замедление: за последний год мощности выросли на 177%, план предполагает около 40% в год. Считают их в паспортном FP16, то есть не те же флопсы, что у рейтинга суперкомпьютеров топ-500. Реальная загрузка, по оценке Tencent Cloud, ниже 30%: карты в среднем заняты половину времени, а под нагрузкой выдают около 60% паспортной производительности, прежде всего из-за сети. По сравнению с прошлой пятилеткой инвестиции почти не выросли: 3,8 трлн покрывают всю информационную инфраструктуру, от 5G до оптики/ Второй план про чипы. Первым из 17 пунктов стоит прорыв по всей цепочке, от процессоров и памяти до передовых техпроцессов и EDA. ИИ-ускорители идут двенадцатым пунктом, и упор в нем сделан на связность, а не на производительность чипа. Это единый протокол межсоединения CLink, китайский аналог NVLink, коммутаторы и оптика под него, а также единый интерфейс компиляторов для разнородных ускорителей. Вместо одной экосистемы уровня CUDA ставка на госстандарт, который должен свести Ascend, Cambricon и Hygon в одну систему. Вместе планы описывают одну проблему: Китай строит вычислительные мощности быстрее, чем умеет их загружать. Поэтому кластеры на 10 и 100 тысяч карт предписано развертывать «упорядоченно», новым крупным ЦОДам ставят PUE не выше 1,2, а самые конкретные инженерные требования пятилетки касаются шины и компилятора. Если применить оценку Tencent ко всей стране, реально работает около 650 EFLOPS из 2 185. @anti_agi

ИИ-войска🤖 Трамп объявил в Truth Social, что создает AI Force по образцу Space Force и назначит нового «царя» по ИИ. Структуры, полномочий, сроков и кандидатов в посте нет. Задачу новых войск Трамп сформулировал так: «Мы никоим образом не будем мешать росту этой невероятной индустрии или душить. Напротив, мы будем лелеять ее, помогать ей и присматривать за ней, пока она растет». С «плохим» предлагается бороться уже существующими уголовными и гражданскими законами. Пост вышел через несколько дней после того, как исследователь безопасности из Anthropic оценил выше 10% вероятность того, что в ближайшее десятилетие ИИ убьет всех людей. Трамп назвал это мистификацией, а в звонке Дженсену Хуангу на All-In Summit заверил, что «роботы не захватят власть». Прежний «царь», венчурный инвестор Дэвид Сакс, ушел с должности в этом году. Теперь он возглавляет президентский совет по науке и технологиям и называет страхи вокруг ИИ «паникой». В том же посте досталось противникам дата-центров. Сами дата-центры Трамп назвал «престижными». Space Force, предложенные Трампом в свое время, учредили только законом Конгресса. На этой неделе Палата представителей 417 голосами против 3 приняла законопроект, который должен защитить счета американцев за электричество от аппетитов дата-центров. @anti_agi