Continuando con nuestra serie " Construir a medida en un mundo de IA", vamos a analizar cómo los despliegues de IA son más densos que los despliegues tradicionales en la nube o en la empresa, y cómo están impulsando cambios significativos en el diseño de los centros de datos. Entre 2011 y 2020 -antes de que la IA despegara-la densidad media de los bastidores pasó de 2,4 kW a 8,4 kW. La arquitectura de GPU de NVIDIA de última generación, Blackwell, está diseñada para 120 kW por rackfrente a los 41 kW por rack hace una generación (Hopper). Y las arquitecturas siguen densificándose; en marzo, Jensen Huang, CEO de NVIDIA, anunció una hoja de ruta para bastidores de 600 kW a finales de 2027.
Las implantaciones de IA son tan densas porque las GPU utilizadas para entrenar los modelos de IA consumen mucha más energía que las CPU utilizadas para las cargas de trabajo tradicionales. Mantener los procesadores cerca unos de otros permite aumentar el tamaño de los clústeres y, a su vez, aumentar la potencia de los modelos. (Más información en Construir para adaptarse a la ubicación.)
Con este tipo de densidades, los despliegues de IA generan demasiado calor para que la refrigeración por aire pueda gestionarlo; necesitan refrigeración líquida. Al mismo tiempo, la mayoría de los centros de datos que soportan IA hoy en día también soportan cargas de trabajo tradicionales, que son mucho menos densas y pueden refrigerarse eficazmente con aire. Por tanto, los centros de datos deben ser capaces de soportar tanto la refrigeración por aire como la refrigeración líquida. Dado que el desarrollo y la adopción de la IA se encuentran en una fase muy temprana, con mucha innovación por venir, es probable que las densidades sigan aumentando. Los centros de datos deben ser capaces de soportar las densidades actuales y ser flexibles para soportar también densidades futuras.
Construcción adaptada a los requisitos de densidad
Un centro de datos de IA no sólo se diseña de forma diferente, sino que se gestiona de forma diferente. Ofrecer una solución de centro de datos con IA tiene que ver con la tecnología, la implementación y la ejecución diaria. Nuestra oferta de productos para centros de datos con IA, Ingeniocuenta con procedimientos normalizados de trabajo, procedimientos normalizados de trabajo y procedimientos normalizados de trabajo líderes del sector para garantizar la mejor experiencia posible. Como Director de Marketing y Producto Phillip Marangella explicado en un artículo sobre la adaptación de la infraestructura de los centros de datos a la era de la IA: "En nuestra transición de la refrigeración por aire a la refrigeración líquida, también hemos reconfigurado por completo nuestros procedimientos operativos, formación y preparación para garantizar un entorno seguro y sostenible para las implantaciones de IA/HPC."
Un centro de datos moderno debe admitir tanto cargas de trabajo de IA de alta densidad como cargas de trabajo tradicionales de menor densidad. Ingenuity es flexible para admitir densidades de rack de 10 kW a más de 500 kW. Ingenuity admite cargas de trabajo de IA dedicadas, así como cargas de trabajo mixtas, todo dentro del mismo centro de datos, ya que se adapta a una variedad de requisitos de densidad de potencia y refrigeración para GPU, CPU, almacenamiento y redes. Disponemos de la flexibilidad necesaria para equilibrar las distintas cargas de TI dentro de un mismo centro de datos, aprovechando el almacenamiento térmico integrado para ofrecer capacidades de refrigeración continua.
Los centros de datos construidos para soportar las cargas de trabajo de IA actuales deben ser flexibles para soportar también futuras cargas de trabajo de IA. Como socio certificado de NVIDIA DGX, trabajamos en estrecha colaboración con el fabricante de chips para garantizar que disponemos de las soluciones técnicas necesarias para satisfacer los requisitos de alimentación y refrigeración de las futuras generaciones de chips de IA. Como una placa base de circuitos, nuestro centro de datos habilitado para IA sirve de base sobre la que pueden ejecutarse las implantaciones de IA. El diseño es flexible para admitir diversas tecnologías de refrigeración y adaptable para soportar futuras densidades de forma rentable a medida que evolucionan las arquitecturas de IA.
Los centros de datos tienen que ser sostenibles, aunque sus necesidades de energía aumenten. La IA presenta tanto retos como oportunidades. Los retos incluyen los requisitos tecnológicos para las necesidades de mayor densidad de potencia debido a la IA y la HPC; las oportunidades incluyen el rápido crecimiento y la adopción de tecnologías de IA. Mientras abordamos estos retos y oportunidades, seguimos dedicados a mitigar el impacto climático a través de nuestra estrategia de sostenibilidad tanto a corto como a largo plazo. Por ejemplo, nuestros eficientes diseños de refrigeración para aplicaciones de alta densidad ayudan a optimizar la Eficacia del Uso de la Energía (PUE).
Conclusión
El rápido aumento de las densidades asociadas a las cargas de trabajo de IA está provocando cambios significativos en el diseño de los centros de datos. El éxito requiere un desarrollador comprometido con la excelencia operativa y la sostenibilidad, con un diseño lo suficientemente flexible como para soportar tanto cargas de trabajo de IA de alta densidad como cargas de trabajo tradicionales de menor densidad, y cargas de trabajo futuras a medida que evolucione la IA. Un desarrollador como EdgeConneX.
Anteriormente en Construir a medida en un mundo de IA Series: