Racks de IA: refrigeración auxiliar de potencia y red

La refrigeración líquida no significa flujo de aire nulo

El enfriamiento directo al chip elimina el calor de los dispositivos de mayor potencia, pero el rack aún tiene componentes enfriados por aire que pueden establecer requisitos de confiabilidad, ruido y ventilador.

La frase bastidor AI refrigerado por líquido es fácil de malinterpretar. El refrigerante puede eliminar la mayor parte del calor del GPU o de la CPU a través de placas frías, pero los estantes de alimentación, la memoria, el almacenamiento, los conmutadores de red, los reguladores de voltaje, los controladores de gestión y los componentes electrónicos del lado de los cables aún pueden rechazar el calor al aire. La unidad de distribución de refrigerante también puede transferir calor del circuito de retorno al aire ambiente en una disposición líquido-aire. Por tanto, el rack se convierte en un sistema térmico híbrido, no en un rack sin ventiladores.

ASHRAE describe los equipos de comunicación de datos refrigerados por líquido como parte de un sistema más amplio y señala que el calor residual permanece en los componentes refrigerados por aire. Su marco de centro de datos de IA recomienda conservar la refrigeración del aire de las instalaciones para el 10-30 % del calor residual procedente de las fuentes de alimentación, la memoria, el almacenamiento y las redes. El porcentaje exacto es específico de la arquitectura, pero la consecuencia de ingeniería es general: mida la carga del lado del aire en lugar de asumir que el circuito de líquido la cubre.

Esta guía muestra cómo definir un punto de trabajo de ventilador auxiliar para un bastidor AI refrigerado por líquido. Se centra en la ruta del aire alrededor de los estantes eléctricos y las zonas de red, el rechazo de calor del lado del aire de la CDU, la presión del filtro y la rejilla, el bypass, el comportamiento acústico, PWM y la respuesta a fallas. Los ejemplos numéricos son estimaciones de ingeniería para discusión de diseño, no calificaciones de productos MEGA ni declaraciones de desempeño de una instalación.

Mapear el calor residual por estado operativo del rack

El ventilador del lado de aire se selecciona entre los componentes que permanecen refrigerados por aire en la carga de trabajo de IA real, no entre la placa de identificación total del bastidor.

Cree un mapa de calor para al menos los estados de inactividad, inferencia, entrenamiento, pico de energía, pico de red, pico de rechazo de calor de CDU y derivación de mantenimiento. Enumere el calor que ingresa a la ruta del aire desde cada estante de energía, banco de memoria, dispositivo de almacenamiento, interruptor, BMC, controlador de ventilador y convertidor auxiliar. Si la CDU es líquido-aire, incluya el calor que rechaza a la habitación o al aire del estante en el flujo de refrigerante relevante y la temperatura de retorno.

Como estimación ilustrativa, supongamos que un rack refrigerado por líquido de 72 kW deja el 8% de su carga al aire a través de estantes eléctricos, equipos de red y electrónica de control. La carga del lado de aire es de 5,76 kW. Si una CDU separada rechaza 1,2 kW a la misma ruta de aire, la carga total del lado del aire llega a ser de aproximadamente 6,96 kW. Eso no significa que un ventilador de rack deba eliminar todo el valor; parte del calor puede ser capturado por el flujo de aire de la habitación o por una pared de ventilador de CDU separada. El punto es definir el límite antes de seleccionar el ventilador del rack.

Divida el presupuesto de calor por ruta física. La entrada de una plataforma eléctrica puede necesitar un ventilador de alta presión estática a través de un filtro estrecho, mientras que un conmutador de red puede necesitar una ruta axial más abierta. Un intercambiador de calor CDU puede tener una curva de ventilador y un circuito de control diferentes. Combinar estos caminos sin medirlos puede crear un estante de energía frío y una zona de red caliente, o una alta velocidad del ventilador con poco flujo útil. Mantenga la contabilidad rastreable: anote si cada vatio es una pérdida de componente, una carga del lado del refrigerante, una carga del lado del aire o una carga de rechazo del lado de la instalación. El mismo calor no debe contarse dos veces, pero el calor residual no debe desaparecer simplemente porque el rack se llama refrigerado por líquido.

Calcule el flujo de aire para el límite enfriado por aire

Utilice un balance de calor para el límite del lado del aire, luego verifique el ventilador con la curva de presión y la geometría real de la rejilla.

Para una carga de calor del lado del aire, utilice Qv = P / (rho x cp x delta-T). Si el límite definido es 6,96 kW, la densidad del aire es 1,15 kg/m3, la capacidad calorífica es 1005 J/(kg K) y el ascenso de aire permitido es 12 K, el flujo de aire inicial ideal es 6960/(1,15 x 1005 x 12) = 0,500 m3/s, o alrededor de 1800 m3/h. Esta es una estimación del equilibrio térmico antes de la pérdida de presión, la recirculación, la redundancia y el margen del sensor.

Ahora mide el camino. Un filtro de estante eléctrico puede contribuir con 85 Pa, una rejilla con 42 Pa, un bloqueo de cables y barras colectoras con 55 Pa, un disipador de calor y una protección con 70 Pa, y la transición de salida o contención con 48 Pa. La ruta limpia es de aproximadamente 300 Pa. A la presión del filtro de límite de servicio, la ruta puede aumentar a 390 Pa. La selección del ventilador debe mostrar el flujo de aire requerido en ambas presiones.

No transfiera la curva del ventilador de la habitación al ventilador del bastidor sin verificar el límite. Un ventilador montado en bastidor solo puede enfriar las zonas de red y de alimentación, mientras que un ventilador de CDU rechaza una carga separada. Definir por dónde entra el aire, por dónde sale y qué fuentes de calor se incluyen. Un diagrama limpio evita la doble contabilización del calor y también evita que una zona térmica quede sin un camino de aire real.

Modelo animado: ruta de líquido, ruta de aire y derivación

El esquema separa el flujo de refrigerante del aire útil para que la revisión del diseño pueda ver dónde un bastidor enfriado por líquido todavía depende del rendimiento del ventilador.

Utilice la figura para definir tres pruebas: carga de trabajo normal de IA con refrigerante en su condición de diseño, pico de energía con el circuito de líquido estable y una condición de mantenimiento o de ventilador fallido. Mida la temperatura de suministro y retorno del refrigerante por separado del aire de entrada del bastidor, la temperatura del disipador de calor del estante eléctrico, la temperatura de la zona de la red y la temperatura de escape. Una placa fría GPU fría no prueba que el interruptor o el estante eléctrico estén dentro de su límite del lado del aire.

Verifique si hay derivaciones alrededor de los estantes, los paneles ciegos, las aberturas para cables y la puerta del bastidor. Un servidor refrigerado por líquido puede tener un bajo requerimiento de aire mientras que la ruta de aire restante sigue siendo altamente resistiva porque el rack no fue diseñado como un rack de servidor abierto normal. La animación es un modelo cualitativo, no CFD, una curva de presión o un resultado de aceptación de instalación.

Los estantes de energía y las zonas de red necesitan evidencia diferente

Una sola temperatura de entrada al rack no es suficiente cuando la conversión de energía y la conexión en red ocupan diferentes rutas de aire.

Los estantes eléctricos suelen tener sus propios ventiladores internos o una entrada de alta resistencia. Registre la temperatura de entrada, escape y disipador de calor del estante, junto con la corriente de entrada, la potencia de salida y la retroalimentación del ventilador. Si el bastidor utiliza distribución de 48 V, incluya la pérdida de conversión y el calentamiento del conector donde entran en el límite del aire. Verifique si un ventilador de estante fallido aumenta la carga en los ventiladores adyacentes o crea un flujo inverso a través de un estante inactivo.

Los conmutadores de red y los módulos ópticos pueden ser sensibles a la temperatura de entrada local y al escape bloqueado del lado del cable. Mida la zona del interruptor más caliente y la temperatura cerca de conexiones ópticas o de cobre densas. Los haces de cables pueden cerrar una abertura nominal y crear un aumento de presión que no aparece en el dibujo del bastidor vacío.

Utilice criterios de aceptación separados para cada zona. Un bastidor puede superar un límite de temperatura de escape total mientras que un estante eléctrico supera su límite local. Por el contrario, aumentar todos los ventiladores puede resolver un problema de temperatura local y al mismo tiempo crear ruido y uso de energía innecesarios. El objetivo es un flujo útil equilibrado, no un título máximo RPM.

El rechazo de aire de la CDU y la contención de la habitación son parte del camino del ventilador

Una CDU de líquido a aire puede mover el calor del refrigerante al aire de la habitación, vinculando la decisión del ventilador del rack con el pasillo caliente, la contención y la ruta de retorno.

Una CDU de líquido a líquido transfiere calor entre un circuito tecnológico y un circuito de instalación sin colocar agua de la instalación directamente en el equipo de TI. Una CDU líquido-aire rechaza el calor del refrigerante de retorno al aire, por lo que la presión del ventilador y del serpentín pasan a formar parte del diseño del lado del aire. El diseño de referencia de Schneider Electric muestra racks de IA, racks de redes, CDU L2A y refrigeración por ventiladores refrigerados por líquido como un sistema combinado en lugar de productos aislados.

Mida las temperaturas del refrigerante de suministro y retorno de la CDU, el flujo de refrigerante, la temperatura de entrada y salida de aire, la presión diferencial del serpentín y el funcionamiento del ventilador. Si el escape de la CDU ingresa a un pasillo caliente, confirme que la ruta de retorno a la habitación pueda transportarlo sin recircular hacia las entradas del rack. Si la CDU está al lado del rack, una pared, una bandeja de cables o una cortina de contención pueden cambiar el punto de funcionamiento. Repita la medición con puertas, cortinas de contención y estantes adyacentes en sus posiciones normales; un pasillo de puesta en marcha abierto no es el mismo sistema que una sala de datos operativa.

No utilice el ventilador auxiliar del bastidor para compensar una ruta de aire de la CDU de tamaño insuficiente. El proveedor del ventilador puede ayudar a caracterizar un ventilador según la presión del serpentín o de la rejilla suministrada, pero el diseñador de la instalación sigue siendo responsable del circuito, la capacidad de rechazo de calor, la contención y la seguridad del lado del agua. Mantenga una aprobación separada para el rendimiento del ventilador del lado de aire y el rechazo de calor del lado del líquido para que una prueba exitosa del ventilador no se confunda con la aprobación del sistema de enfriamiento completo.

Defina explícitamente el estado de enfriamiento degradado. Si el flujo de refrigerante cae, la bomba de la CDU se dispara o un sensor de fugas fuerza una reducción controlada en la carga de TI, es posible que el ventilador auxiliar aún necesite enfriar los estantes eléctricos y la red mientras el bastidor realiza la transición. Por el contrario, aumentar el flujo de aire del bastidor no puede reemplazar la capacidad térmica de un flujo de refrigerante faltante. Registre la secuencia, el tiempo, los límites de temperatura y el comando del ventilador en el análisis de protección para que no se le pida a la muestra del lado del aire que resuelva una falla del lado del líquido que no puede resolver.

Control de ventilador, redundancia y comprobaciones de flujo inverso

PWM y FG/RD pueden reducir la potencia del ventilador auxiliar, pero un rack enfriado por líquido aún necesita una respuesta definida cuando se pierde la refrigeración por aire.

Conduzca los ventiladores auxiliares desde la zona limitante enfriada por aire y utilice energía o alimentación anticipada de carga de trabajo cuando esté disponible. Agregue histéresis y un tiempo de ejecución mínimo para que el ventilador no se mueva cuando cambia la carga de trabajo de la IA. Registre el servicio estable mínimo, el impulso de arranque, la retroalimentación de velocidad y la corriente al voltaje de suministro más bajo permitido.

Para una estimación de energía ilustrativa, cuatro ventiladores de 48 V que consumen 0,16 A cada uno consumen 30,7 W a plena potencia. Si los ventiladores promedian una entrada del 45% durante 20 horas y una entrada completa durante 4 horas durante los picos de energía y mantenimiento, la energía idealizada del ventilador es 30,7 x (0,45 x 20 + 4) = 399 Wh por día. Este no es un PUE ni un reclamo de ahorro de energía; muestra por qué es importante una curva de velocidad variable validada cuando el bastidor funciona de forma continua.

Pruebe los supuestos de N+1 o N+2 en lugar de aceptarlos por su nombre. Cuando un ventilador se detiene, mida el flujo inverso a través del ventilador inactivo, el punto de funcionamiento restante del ventilador, las temperaturas locales y la respuesta del control. Un ventilador redundante puede agregar resistencia cuando se detiene. Es posible que el bastidor necesite una compuerta de contraflujo, una curva de ventilador diferente o una regla de control que aumente el trabajo restante del ventilador.

Verifique también los estados de mantenimiento y intercambio en caliente. Quitar una bandeja de servidor, un estante de energía o un módulo de red puede abrir una gran derivación temporal y cambiar la presión que ven todos los ventiladores restantes. Una bandeja de repuesto puede volver a cerrar esa abertura. Mida antes y después del servicio y asegúrese de que el sistema de control no aprenda una condición temporal de puerta abierta como su punto de funcionamiento normal. Esto es especialmente importante cuando el bastidor se pone en funcionamiento un estante a la vez.

Un escenario de cliente anónimo: GPU refrigerados por líquido, estante de red caliente

Un integrador de infraestructura de IA descubrió que las placas frías GPU estaban dentro de su objetivo de refrigerante mientras que un estante de red se acercaba a su límite del lado aire durante una carga de trabajo sostenida.

El bastidor prototipo utilizó refrigeración directa al chip para los módulos de cómputo de alta potencia y una ruta de ventilador auxiliar de baja velocidad a través de las secciones de red y energía. El primer informe térmico se centró en la temperatura de suministro y retorno del refrigerante. Sin embargo, durante una carga de trabajo prolongada, el estante de red cerca del lado del cable se calentó más rápido de lo esperado. El escape del estante parecía aceptable porque un espacio de derivación permitía que saliera algo de aire sin cruzar el estante.

MEGA Tech revisó el balance de calor residual del lado del aire, la presión de entrada del estante, el enrutamiento de cables, los paneles ciegos y la retroalimentación del ventilador. Se compararon una muestra axial de alta presión estática y una muestra centrífuga compacta en el camino instalado. El integrador también añadió un deflector simple y cerró el bypass del lado del cable antes de juzgar el ventilador.

El registro de validación revisado separó la evidencia del refrigerante GPU de la evidencia del estante de energía y del aire de la red. Incluía presión de ruta limpia y restringida, temperatura del componente local, comando del ventilador, FG/RD, resultado acústico y estado del ventilador fallido. La decisión de ingeniería fue utilizar una curva de ventilador auxiliar adaptada a la presión en lugar de aumentar todos los ventiladores del rack indiscriminadamente.

Este es un escenario de ingeniería anónimo, no un reclamo público de desempeño del cliente. La lección transferible es que un circuito de líquido puede ser saludable, mientras que un subsistema de rack enfriado por aire aún necesita un punto de funcionamiento del ventilador cuidadosamente medido.

Cómo MEGA Tech admite la selección de ventiladores híbridos AI-Rack

Ayudamos a seleccionar el ventilador auxiliar DC desde el punto de trabajo del lado del aire residual mientras mantenemos claros los límites del líquido y de la instalación.

MEGA Tech desarrolla ventiladores axiales DC personalizados, sopladores compactos y opciones centrífugas curvadas hacia atrás para estantes eléctricos, compartimentos de red, zonas BMC, módulos de servicio de rack e interfaces CDU del lado aire. Revisamos el punto P-Q instalado, la presión del filtro y la rejilla, la dirección del ventilador, el PWM o control de voltaje, la retroalimentación FG/RD, el conector, el arranque, el flujo inverso, el objetivo acústico, la vibración, la elección de rodamientos, las condiciones ambientales y la cantidad.

Para una primera revisión, proporcione el calor residual por zona, el flujo de aire y la presión estática en ese flujo de aire, las temperaturas de funcionamiento del aire y del refrigerante, los datos de la envolvente del ventilador, el filtro o la rejilla, el voltaje mínimo y máximo, la interfaz de control y retroalimentación, el objetivo de ruido, la suposición de redundancia, la condición y cantidad del servicio. Un dibujo de la sección del bastidor con enrutamiento de cables y barras colectoras es más útil que una solicitud máxima de CFM.

Nuestros datos de productos publicados actualmente se centran en variantes de ventiladores DC personalizados. No suministramos la CDU, el refrigerante, la placa fría, la placa base del servidor, el sistema de seguridad del rack ni el circuito de agua de las instalaciones. Podemos respaldar el ventilador y la ruta de suministro de aire con muestras y opciones de reemplazo para Sanyo Denki, SUNON, Delta, NMB y ebm-papst, pero el mismo tamaño de estructura no significa automáticamente un rendimiento equivalente.

Preguntas frecuentes de los ingenieros: ventiladores auxiliares en bastidores de IA con refrigeración líquida

Respuestas breves para una revisión del diseño de refrigeración híbrida.

P: Si los GPU tienen refrigeración líquida, ¿todavía necesito ventiladores de rack? R: Muchas veces sí. Los estantes de energía, la memoria, el almacenamiento, las redes, los controles y algunas arquitecturas de CDU permanecen refrigerados por aire.

P: ¿Puedo dimensionar el ventilador auxiliar a partir del total de kW del bastidor? R: No. Defina el límite de calor residual del lado del aire y los componentes exactos incluidos antes de calcular el flujo de aire.

P: ¿Un circuito de refrigerante en buen estado demuestra que el bastidor es térmicamente seguro? R: No. Verifique las temperaturas de la red y del estante de energía local, la presión del aire, el flujo útil y la derivación del lado del cable, especialmente durante estados de servicio y carga de trabajo sostenidos.

P: ¿Es suficiente N+1 sin pruebas de flujo inverso? R: No. Un ventilador parado puede agregar resistencia o permitir la recirculación. Mida el punto de funcionamiento restante del ventilador y el estado de falla.

P: ¿Qué debemos enviar para obtener una muestra de ventilador personalizada? R: Proporcionar calor residual, flujo de aire y presión estática en ese flujo de aire, voltaje, control, retroalimentación, envolvente, presión de filtro, objetivo acústico, redundancia y ambiente. Envíe también la sección del bastidor con el recorrido de los cables e identifique los límites del líquido y el aire para que la muestra se evalúe en la ruta correcta.

Preguntas para la revisión del diseño

Utilice esta lista de verificación antes de lanzar un ventilador auxiliar o un diseño de bastidor híbrido de aire-líquido.

• ¿Qué componentes del rack permanecen refrigerados por aire y cuál es su carga de calor en la carga de trabajo de IA?
• ¿Está incluido el rechazo de calor del lado del aire de la CDU en el límite térmico correcto?
• ¿Cuáles son las caídas de presión de limpieza y límite de servicio con el flujo de aire requerido?
• ¿Podrían los cables, los paneles ciegos o la contención crear un desvío alrededor de la zona límite?
• ¿El ventilador alcanza el punto de trabajo a la temperatura de entrada más alta y el voltaje más bajo?
• ¿Qué sucede cuando un ventilador se detiene y se ha medido el flujo inverso a través del ventilador inactivo?
• ¿Están claramente separadas las responsabilidades del lado del refrigerante, del lado del aire y del lado de las instalaciones?
• ¿Qué información exacta de P-Q, sección de rack, filtro y control se enviará para la muestra?