На AI Infra Summit память названа ключевым ограничением масштабирования ИИ-инфраструктуры
Редакция ЦОД:Главное
На AI Infra Summit в Кремниевой долине участники из Google, AWS, Meta, NVIDIA, Intel и Qualcomm обсудили память, электропитание и интерконнекты как ключевые ограничения для ИИ-систем. Представители Google, Intel и Qualcomm выделили дефицит, стоимость и пропускную способность памяти среди факторов, сдерживающих использование ускорителей.
- Память, электропитание и интерконнекты выделены как ключевые ограничения ИИ-инфраструктуры.
- Intel ожидает усиления дефицита памяти в следующем году, без уточнения календарного периода.
- По заявлению Intel, цены на память выросли в 5–7 раз относительно прежнего уровня.
- Недостаточная пропускная способность памяти может ограничивать фактическую загрузку GPU и ухудшать энергетическую отдачу ИИ-кластеров.
- HBF и HBC пока представлены как технологические подходы, а не как подтверждённые массово внедрённые решения.
На прошедшем с 15 по 17 сентября в Кремниевой долине AI Infra Summit память, электропитание и интерконнекты были названы тремя ключевыми темами развития ИИ-инфраструктуры. В обсуждениях участвовали представители Google, AWS, Meta, NVIDIA, Intel и Qualcomm.
Dave Patterson из Google назвал память главным ограничением для ИИ-систем и допустил переход к memory-centric архитектурам. CEO Intel Chen Lip-Bu заявил, что дефицит памяти в следующем году станет более тяжёлым; календарный год в этой оценке не уточнялся. По его словам, цены на память выросли в 5–7 раз относительно прежнего уровня.
Qualcomm характеризует «стену памяти» как ограничение развития ИИ: по позиции компании, часть GPU, закупленных крупными облачными операторами, не может работать с полной отдачей из-за недостаточной пропускной способности передачи данных. Для операторов ЦОД это связывает выбор серверной архитектуры с энергопотреблением: не полностью загруженные ускорители продолжают потреблять электроэнергию без соразмерного вычислительного результата.
Среди обсуждавшихся подходов — HBF, в разработке которой участвует Patterson. Она предполагает использование NAND-флеш, многослойного стекинга и параллельной передачи данных для повышения пропускной способности. Qualcomm представила HBC: этот подход предусматривает размещение стеков LPDDR над вычислительным кристаллом для увеличения пропускной способности и энергоэффективности ИИ-инференса.
Для рынка ЦОД это может указывать на перенос части инфраструктурного ограничения от поставок ускорителей к памяти и межсоединениям. Однако HBF и HBC описаны как разрабатываемые или предлагаемые технологические подходы; подтверждений их коммерческой зрелости либо массового развёртывания в дата-центрах нет.
Для гипермасштабных ЦОД узкое место может смещаться от доступности GPU к памяти и каналам передачи данных. Недостаточная загрузка ускорителей снижает отдачу от дорогостоящей вычислительной инфраструктуры, при этом GPU продолжают потреблять электроэнергию. Это может повысить значение архитектур с высокой локальной пропускной способностью памяти и решений, сокращающих энергетические потери.
- TechNews 科技新報 / КитайскийПервоисточник →
Материал подготовлен редакцией ЦОД:Главное на основе указанных первоисточников.