На фоне дефицита оперативной памяти Google начала повторно использовать исправные модули DDR4 из списанных серверов. Компания разработала специальные аппаратные адаптеры для подключения памяти предыдущего поколения к новым системам, предназначенным для искусственного интеллекта. Параллельно Google оптимизирует программное обеспечение и архитектуру ИИ-моделей, чтобы сократить потребление памяти.
Google (рус. Гугл) — крупнейшая поисковая система интернета, занимается рынком виртуальных услуг. На сегодняшний день офисы компании расположены в 40 странах мира. Главный офис корпорации находится в штате Калифорния, городе Маунтин—Вью. Основным конкурентом является Yandex.
Читать далееДефицит памяти заставляет Google искать решения на уровне железа и ПО
Google начала извлекать исправные модули оперативной памяти DDR4 из списанных серверов и использовать их повторно в новой инфраструктуре для искусственного интеллекта. Об этом сообщил старший директор Google по инфраструктуре цепочки поставок Nikhil Cherian. По его словам, дефицит памяти стал настолько серьёзной проблемой для ИИ-систем, что компания ищет возможности задействовать уже имеющиеся компоненты вместо ожидания новых поставок.
Источник фото:
Для этого Google разработала специальные аппаратные адаптеры, позволяющие подключать память предыдущего поколения к новым серверам. В результате компания может возвращать списанные серверы в эксплуатацию на время разборки, извлекать из них пригодные модули DDR4 и использовать полученные компоненты в новых системах.
Такая практика стала следствием изменения характера нагрузки в ИИ-инфраструктуре. По словам представителя Google, отрасль быстро перешла от ситуации, когда главным ограничением были вычислительные мощности, к проблеме нехватки памяти. При этом высокопроизводительная память занимает значительную часть стоимости ИИ-серверов, поэтому её доступность непосредственно влияет на возможность масштабирования инфраструктуры.
Google одновременно работает над снижением самой потребности в оперативной памяти. Компания оптимизирует программные библиотеки, архитектуру ИИ-моделей и методы работы с KV Cache — областью памяти, которая используется при генерации ответов языковыми моделями. Сокращение объёма необходимых данных позволяет уменьшить нагрузку на подсистему памяти без простого наращивания количества установленных модулей.
Источник фото:
Проблема при этом выходит далеко за пределы одной компании. Быстрое развитие центров обработки данных для искусственного интеллекта увеличивает спрос на DRAM и другие виды памяти, а производители перераспределяют мощности в пользу наиболее востребованных решений для ИИ. В результате даже более старые стандарты памяти, которые ранее постепенно уступали место новым поколениям, снова приобретают практическую ценность.
Использование DDR4 в современной ИИ-инфраструктуре не означает отказа Google от более производительной памяти. Новые системы используют сложную иерархию памяти, включающую специализированную HBM и другие уровни хранения данных. Повторное применение DDR4 позволяет решить отдельную задачу — обеспечить необходимый объём системной памяти там, где это возможно, используя уже доступные компоненты.
Google таким образом применяет сразу несколько способов борьбы с дефицитом: повторно использует оборудование, создаёт аппаратные решения для интеграции старых компонентов с новыми системами и оптимизирует программное обеспечение. На фоне продолжающегося роста ИИ-инфраструктуры переработка серверной памяти из вторичного ресурса превращается в практический инструмент поддержания новых вычислительных мощностей.
