Кластер суперчипов Cerebras WSE-2 позволит тренировать ИИ-модели, сопоставимые по масштабу с человеческим мозгом
В последние годы сложность ИИ-моделей удваивается в среднем каждые два месяца, и пока что эта тенденция сохраняется. Всего три года назад году Google обучила «скромную» модель BERT с 340 млн параметров за 9 Пфлоп-дней. В 2020 году на обучение модели Micrsofot MSFT-1T с 1 трлн параметров понадобилось уже порядка 25-30 тыс. Пфлоп-дней. Процессорам и GPU общего назначения всё труднее управиться с такими задачами, поэтому разработкой специализированных ускорителей занимается целый ряд компаний: Google, Groq, Graphcore, SambaNova, Enflame и др. Особо выделятся компания Cerebras, избравшая особый путь масштабирования вычислительной мощности. Вместо того, чтобы печатать десятки чипов на большой пластине кремния, вырезать их из пластины, а затем соединять друг с другом — компания разработала в 2019 г. гигантский чип Wafer-Scale Engine 1 (WSE-1), занимающий практически всю пластину. 400 тыс. ядер, выполненных по 16-нм техпроцессу, потребляют 15 кВт, но в ряде задач они оказываются в сотни раз быстрее 450-кВт суперкомпьютера на базе ускорителей NVIDIA.
Читайте также
- Xiaomi представила маршрутизатор Redmi Router AX5400 с чипом Qualcomm
- Western Digital повысила цены на флеш-память NAND — это следствие загрязнения производства в январе
- 4 вида вооружения, которые отправили в Европу из-за Украины, но никогда не испытывали в деле
- Twitter позволит вешать ярлыки на ботов, чтобы люди могли отличать их от живых пользователей
- Найдена загадочная "невидимая" черная дыра: космическая аномалия
- Новая статья: Обзор игрового 4K-монитора ASUS TUF Gaming VG28UQL1A: лучше поздно, чем никогда
