Bandejas de ventiladores para servidores GPU

Una bandeja de ventilador es un sistema térmico, no una fila de piezas de repuesto

En un servidor de IA, un ventilador detenido cambia el campo de flujo para cada componente aguas abajo.

Una pared de ventilador de servidor GPU suele ser un banco de módulos axiales compactos de alta velocidad que funcionan en paralelo. En funcionamiento normal el banco desarrolla una diferencia de presión a lo largo del chasis: el aire entra por el bisel, atraviesa los filtros donde están montados, los disipadores del acelerador, los DIMM, las tarjetas de red y la electrónica de potencia, y sale por la parte trasera. Cada módulo contribuye a esa presión y cada disipador de calor en el camino depende de ello. La bandeja es un sistema hidráulico, no una fila de repuestos independientes.

Es por eso que un módulo de reemplazo no puede aprobarse solo por el tamaño del marco, el voltaje y una cifra máxima similar de CFM. Se instala una comparación útil: flujo de aire y presión según el comando definido, temperaturas en los componentes nombrados, comportamiento acústico y energético, y la respuesta del propio circuito de control de la plataforma. La arquitectura de referencia DGX SuperPOD de NVIDIA sube el mismo nivel, requiriendo que los sistemas GPU se diseñen como sistemas de rack, servidor e instalaciones juntos en lugar de compras separadas.

Para un servidor acelerador de 2U, la consecuencia práctica es que dos ventiladores con la misma clasificación de aire libre pueden comportarse de manera diferente una vez instalados. La geometría de la pala, el motor, la resistencia del rodamiento y la respuesta del impulsor a un banco restrictivo cambian el flujo de aire realmente entregado a la presión que presenta el chasis. El material de AMCA sobre los efectos del sistema instalado es explícito en que las curvas del catálogo se miden en disposiciones idealizadas y que el punto de funcionamiento instalado debe encontrarse, no asumirse, a partir de la hoja de datos.

MEGA Tech desarrolla muestras personalizadas de ventiladores de refrigeración DC para refrigeración normal de equipos. Dado un ventilador de referencia de SANYO DENKI, Delta, SUNON, NMB o ebm-papst, revisamos la envolvente mecánica, la interfaz eléctrica y el servicio instalado, luego proponemos una muestra para la validación del propio cliente en el chasis real.

Un módulo detenido es una fuga, no una pared

El argumento N+1 suele ser aritmético. El modo de falla no lo es.

El argumento de redundancia estándar es el siguiente: instale un módulo más de lo que necesita la carga de calor y, si se pierde un módulo, los supervivientes seguirán cubriendo la tarea. La aritmética es correcta y la conclusión a menudo es errónea, porque trata un rotor detenido como una pared que elimina exactamente la parte del flujo de un módulo.

Un rotor parado no es una pared. Es una apertura de baja resistencia en el mismo plano que sus vecinas. Una vez que los supervivientes aumentan la presión a través del banco, parte de esa diferencia de presión aparece a través de la posición detenida y el aire es impulsado a través de ella hacia atrás, desde el lado calentado aguas abajo hacia el lado acondicionado aguas arriba. La fuga hace dos cosas a la vez: elimina más flujo que el del módulo fallido y alimenta aire ya calentado a las entradas de los módulos inmediatamente al lado.

El segundo efecto es el que sorprende a los equipos. El módulo fallido en sí ya no se disipa, por lo que cualquier telemetría adjunta parece benigna o simplemente desaparece con el módulo. El componente que cruza su límite suele ser un vecino o un dispositivo que se encuentra en la sombra del flujo aguas abajo de la posición de parada, que ahora recibe menos flujo y llega a una temperatura de entrada más alta.

Es por eso que la prueba de un módulo no es una verificación de que las temperaturas se mantengan iguales. Se trata de comprobar qué componente se movió primero, en qué medida y si el bucle de control de la plataforma respondió a tiempo. Los proveedores describen el mismo mecanismo desde diferentes ángulos: la guía de refrigeración híbrida de NVIDIA trata el rack como un sistema térmico en lugar de un conjunto de cajas independientes, y los proveedores de conmutadores que publican reglas para módulos de ventilador advierten que los módulos de un solo rotor y de doble rotor no deben mezclarse en un chasis, precisamente porque su diferente comportamiento de presión y velocidad cambia lo que terminan haciendo los módulos supervivientes.

Tres estados que se deben demostrar antes de calificar una bandeja como redundante

El plan de aceptación necesita un estado normal, un estado degradado y un estado de servicio/reemplazo.

La primera medición es el punto de trabajo instalado. Una medición de presión diferencial en la región relevante del chasis, combinada con una curva de ventilador representativa o un método de medición de flujo aceptado, es más útil que leer una cifra máxima de CFM en una hoja de datos. Registre el comando del ventilador y el RPM resultante al mismo tiempo, porque el comando es lo que realmente aplicará la plataforma.

La segunda medición es un mapa térmico, no un sensor de escape. Utilice la telemetría de plataforma permitida junto con instrumentación externa para comparar el aire de entrada, el aire de salida y los componentes que marcan el límite de diseño: aceleradores o sus placas frías, memoria, tarjetas de red, almacenamiento y fuentes de alimentación. Una sola lectura del escape trasero puede parecer saludable mientras una entrada local ya ha cruzado su límite.

La tercera medida es la respuesta de control. Confirme la distribución de pines y la semántica de la señal antes de conectar un módulo candidato: rango de suministro, frecuencia y lógica del PWM, pulsos del tacómetro por revolución, salida de alarma o bloqueo del rotor, corriente de entrada y el comportamiento esperado de eliminación de fallas de la plataforma. Luego verifique la sincronización, porque un ventilador que eventualmente alcanza su máxima velocidad puede no hacerlo dentro de la ventana que asume el modelo térmico de la plataforma.

• Mantenga la configuración del chasis, la condición de entrada, el voltaje y el comando de velocidad comparables entre estados
• Mida la presión y la evidencia de flujo, así como la temperatura.
• Verifique la telemetría del componente designado, no solo un sensor de escape
• Trate el comportamiento de control y reinicio como parte de la calificación térmica, no como una verificación eléctrica separada.
• Registre la propia telemetría del módulo fallido para contextualizarla, pero no la utilice como señal de aceptación.

Interactivo: Por qué un ventilador fallido no es una simple pérdida porcentual

Cambie entre estados para ver la evidencia que debería cambiar con la bandeja del ventilador.

Este modelo es una lista de verificación visual, no un resultado de CFD ni una calculadora de aprobación. Las flechas ilustran la dirección y la respuesta de control ilustra la pregunta de la prueba: ¿recuperaron los supervivientes el servicio requerido sin empujar un componente nombrado o una ensenada vecina más allá de su límite?

Úselo para informar al equipo de prueba en lugar de reemplazar la prueba. Los tres estados en el modelo se asignan directamente a las tres mediciones de la sección anterior, por lo que la misma ejecución del equipo puede producir el punto de trabajo, el mapa térmico y la evidencia de control-respuesta juntos.

Qué registrar en estado degradado

La ejecución de un módulo es la parte costosa del programa. Capture evidencia suficiente para que no sea necesario repetirlo.

Rutinariamente se omiten dos filas de esa tabla. El flujo inverso en la posición detenida generalmente se infiere en lugar de medirse, lo que convierte la mayor incertidumbre de todo el ejercicio en una suposición. La latencia de control suele registrarse como un éxito o un fracaso y no como un número, lo que significa que no se puede distinguir una respuesta marginal de una cómoda.

El registro conjunto de la presión de la bandeja y el funcionamiento del módulo superviviente también le brinda al equipo del equipo algo que una revisión de reemplazo necesitará más adelante: una línea de base. Cuando se propone un módulo candidato, la cuestión no es si coincide con la hoja de datos original, sino si reproduce esta línea de base con el mismo comando en el mismo chasis.

Lea el presupuesto de flujo de aire publicado antes de elegir un módulo

Los servidores aceleradores publican el flujo de aire que necesitan. Vale la pena leer esas cifras antes de proponer cualquier reemplazo.

NVIDIA publica tanto la envolvente ambiental como el flujo de aire de sus sistemas GPU, lo que hace que la aritmética en una bandeja de ventilador sea concreta. La guía del usuario de DGX H100/H200 establece un rango de temperatura de funcionamiento de 5 C a 30 C y un flujo de aire de adelante hacia atrás de 1105 CFM con una modulación de ancho de pulso del ventilador del 80 %, con una salida de calor de alrededor de 38 500 BTU por hora. Un nodo DGX SuperPOD completamente poblado tiene una potencia nominal de aproximadamente 10,2 kW.

Esas cifras son importantes para la revisión de una bandeja porque establecen el orden de magnitud de lo que debe transportar un módulo. Un chasis acelerador de 2U con ocho módulos no da a cada módulo una octava parte del total en la práctica, porque el banco no es perfectamente uniforme y algunas posiciones van en contra de un camino más restrictivo que otras. La participación nominal es un punto de partida para la revisión, no la obligación de diseño.

También explican por qué un reemplazo "lo suficientemente cercano" no es lo suficientemente bueno. Cuando ya se le pide a una bandeja que entregue un flujo de aire publicado con un comando de ventilador definido, el margen entre la temperatura de entrada aceptable y marginal es pequeño, y un módulo cuya curva es ligeramente más suave a la presión instalada consume ese margen sin ningún síntoma obvio.

La refrigeración híbrida y líquida cambia el funcionamiento del lado del aire, no lo elimina

Las placas frías mueven la mayor parte del calor del acelerador, pero la bandeja aún tiene trabajo por hacer.

La refrigeración líquida directa elimina la fuente de calor más grande de la ruta del aire al colocar placas frías en los troqueles del acelerador, la memoria de gran ancho de banda y los ASIC de conmutación. Se trata de un gran cambio y es el motivo por el que los racks GPU de alta densidad se refrigeran cada vez más por líquido. No es lo mismo que quitar el lado de aire.

Lo que permanece en el aire normalmente incluye módulos de memoria fuera de la envoltura de placa fría, tarjetas de interfaz de red, dispositivos de almacenamiento, reguladores de voltaje y fuentes de alimentación. La guía de NVIDIA para sus propios sistemas híbridos hace explícita la división, describiendo diseños en los que la mayor parte del calor se disipa mediante líquido mientras que el resto se maneja mediante aire, y señalando que el flujo de aire debe permanecer alineado entre los componentes que aún dependen de él para que las partes enfriadas por aire no se queden sin agua.

Los ventiladores que sirven a ese lado del aire residual también forman parte de un conjunto redundante y sus modos de fallo no cambian. En todo caso, el trabajo es menos indulgente, porque un sistema enfriado por líquido a menudo funciona con mayor densidad y con una potencia de rack más alta que el diseño enfriado por aire que reemplazó, dejando menos margen del lado del aire para el componente restante.

La disciplina mecánica importa más aquí, no menos. La guía de enfriamiento en esta clase de equipo requiere repetidamente módulos en blanco o paneles de relleno en ranuras no utilizadas, porque una ranura abierta es simplemente otra ruta de fuga que permite que el aire evite los componentes que debía enfriar. Una validación de bandeja que ignora el supresión medirá una distribución de flujo que el equipo nunca verá en servicio.

Un plan de muestra práctico para un módulo personalizado o de reemplazo

Envíe suficiente contexto para que la primera muestra sea útil en lugar de simplemente dimensionalmente correcta.

Comience con la etiqueta de referencia o la hoja de datos, además de las dimensiones de la bandeja, el montaje, la dirección del flujo de aire, una fotografía y distribución de pines del conector, el rango de suministro nominal y permitido, los requisitos de retroalimentación y comando del ventilador, la potencia máxima disponible del ventilador y las condiciones ambientales del equipo. Una fotografía de la bandeja instalada con la flecha de flujo de aire visible ahorra una ronda de preguntas.

Para un módulo de servidor compacto, la ruta de muestra normalmente es: revisión mecánica y de interfaz; selección de candidatos de curva y motor; una pequeña muestra de construcción; validación instalada por el equipo de equipamiento sobre el chasis real; luego producción controlada una vez aceptado el resultado de la validación. La validación instalada es el paso que decide el resultado, razón por la cual vale la pena tener los números de referencia de la ejecución del estado degradado antes de especificar la muestra.

Una estimación del calor de primer paso puede ayudar a decidir si la solicitud se encuentra en el orden de magnitud correcto. Para el calor que permanece en el lado del aire, CFM es aproximadamente vatios dividido por 1,76 veces el aumento permitido de la temperatura del aire, en una densidad cercana al nivel del mar. Una carga del lado del aire de 600 W con un aumento permitido de 12 C funciona a aproximadamente 28 CFM antes de que se considere la ruta de presión. Ese número es una prueba de cordura sobre el requisito, no un resultado de selección, porque el ventilador tiene que entregarlo a la presión que realmente presenta el chasis.

Errores de validación que se pasan en papel

Estos son los atajos que producen un informe firmado y posteriormente una alarma térmica inexplicable.

Cada elemento de esa lista comparte una propiedad: elimina una medida y la reemplaza con una suposición. La suposición suele ser razonable. La dificultad es que un límite térmico no lo cruza un promedio, sino un componente en una posición, y el camino más corto para encontrar ese componente es medir más que razonar.

Una disciplina útil es escribir la prueba de aceptación como una secuencia de estados con instrumentos nombrados, en lugar de como una lista de propiedades que debería tener la bandeja. Una prueba definida por los estados produce evidencia; una prueba definida por propiedades produce una opinión.

• Contando módulos para reclamar N+1 sin ejecutar nunca el estado de salida de un módulo
• Comparación del CFM al aire libre en lugar del punto de trabajo instalado a la presión del chasis
• Pruebas en un banco a temperatura ambiente en lugar de a la temperatura de entrada de diseño
• Suponiendo que la posición de parada esté sellada, la fuga de flujo inverso nunca se mide
• Aceptar la compatibilidad del conector sin verificar la semántica de PWM, tacómetro, alarma e irrupción
• Mezclar módulos de un solo rotor y de dos rotores en un chasis, lo que cambia el comportamiento de los supervivientes.
• Usar una única temperatura de escape como mapa térmico y faltar una entrada local que ha cruzado su límite
• Olvidarnos de que una plataforma refrigerada por líquido todavía tiene un resto refrigerado por aire con su propia bandeja de ventiladores

Series de ventiladores recomendadas para empezar

Estas series del catálogo pueden ser un punto de partida para esta aplicación. La selección final depende del caudal, la presión estática, la tensión, el objetivo de ruido y el entorno de trabajo instalados.

Solicite una muestra para validarla en su equipo.

Preguntas frecuentes del ingeniero: Validación de la bandeja del ventilador del servidor GPU

Preguntas que vale la pena resolver antes de lanzar un reemplazo de bandeja de ventilador o una muestra personalizada.

P: ¿Una bandeja de ventilador N+1 mantiene automáticamente el servidor dentro de sus límites de temperatura después de que falla un módulo? R: No. Pruebe el estado de salida de un módulo en la carga de trabajo y la condición de entrada relevantes. El módulo detenido es una ruta de fuga, por lo que el banco pierde más que la porción de flujo de ese módulo, y el componente que se mueve primero suele ser un vecino o un dispositivo en la sombra del flujo aguas abajo.

P: ¿Se puede considerar un marco, voltaje y RPM compatibles como reemplazo directo? R: No. Confirme el flujo de aire instalado y la presión, el comportamiento del conector y la señal, la corriente de arranque, la dirección del flujo de aire, el acceso mecánico y el mapa térmico de los componentes. El tamaño del marco y el voltaje son condiciones necesarias, no suficientes.

P: ¿La refrigeración líquida elimina la necesidad de validar los ventiladores del servidor? R: No. Las placas frías enfrían solo las piezas conectadas a su circuito. La memoria fuera de la envoltura de la placa, las tarjetas de red, el almacenamiento, los reguladores de voltaje y las fuentes de alimentación generalmente permanecen en el lado del aire, y ese lado del aire todavía tiene un conjunto de ventiladores redundantes con los mismos modos de falla.

P: ¿Cuánto tiempo debe durar la prueba de un módulo? R: El tiempo suficiente para que la masa térmica de los disipadores de calor y del chasis se asiente y para que el bucle de control de la plataforma termine de responder. Un recorrido corto muestra el estado transitorio, no el estable, al que se refiere el límite de aceptación.

P: ¿Se puede dejar un módulo fallido en su lugar hasta la próxima ventana de mantenimiento? R: Solo según la propia guía de la plataforma y el resultado de estado degradado registrado. Un módulo detenido que todavía está instalado puede comportarse de manera diferente a un módulo que se ha retirado, porque la posición vacía es una abertura más grande que el rotor calado.

P: ¿Qué debe proporcionar un equipo de equipos para una revisión inicial de MEGA Tech? R: La etiqueta o hoja de datos del ventilador de referencia, el dibujo o las fotografías de la bandeja, el marco y el grosor, el voltaje, el conector y la distribución de pines, los requisitos de PWM/tacómetro/alarma, la dirección del flujo de aire, el rango de temperatura permitido y los números de referencia de los estados normal y de salida de un módulo, si ya existen.

Lectura relacionada

Continúe con las guías que llevan esta validación al resto del sistema de refrigeración.