Contención en centros de datos de IA

La contención no soluciona una ruta aérea no medida

La contención de pasillos fríos y pasillos calientes puede reducir la mezcla, pero las barreras también cambian la presión, las fugas y el punto de funcionamiento de cada ventilador conectado.

La contención se introduce a menudo como una mejora en el diseño: separar el suministro de frío del escape caliente, detener la recirculación y aumentar la eficiencia de la refrigeración. El principio es sólido, pero una fila de bastidores de IA sigue siendo una red de presión. Puertas, paneles de techo, cortinas, paneles ciegos, aberturas para cables, baldosas, sellos de bastidores y compuertas de unidades de enfriamiento definen hacia dónde puede circular el aire. Una vez instalado un sistema de contención, la pared del ventilador o el circuito de control CRAH pueden experimentar una resistencia diferente a la que veían antes.

La guía del DOE describe las zonas frías y calientes como una forma de restringir la mezcla del aire de escape caliente con el aire de suministro frío. ENERGY STAR también señala que la contención puede permitir una velocidad más baja del ventilador del controlador de aire, pero el resultado depende de las barreras instaladas y del flujo de aire del equipo. Un pasillo sellado con un equilibrio de presión incorrecto puede desperdiciar aire a través de las grietas, empujar las puertas para abrirlas o dejar sin comida los estantes de los extremos mientras el flujo de aire promedio de la habitación todavía parece saludable.

Por lo tanto, la cuestión de ingeniería no es si existe contención. Se trata de si la presión instalada y el estado de fuga entregan el flujo de aire requerido a cada rack crítico con el funcionamiento estable más bajo del ventilador. Este artículo brinda un plan de prueba para esa pregunta, incluido un ejemplo práctico y el límite entre el flujo de aire de la instalación y el ventilador personalizado dentro del bastidor.

Se deben probar tres estados de flujo de aire

Una revisión del diseño debe distinguir el flujo útil del equipo, el flujo de derivación y el aire caliente recirculado en lugar de informar el número CFM de una habitación.

Un flujo de aire útil cruza el equipo desde la entrada hasta el escape y elimina el calor de los componentes previstos. El flujo de aire de derivación se mueve desde un suministro o pasillo frío directamente a una ruta de retorno sin cruzar la carga de TI. El flujo de aire de recirculación devuelve el escape caliente a la entrada del equipo. Los tres flujos pueden coexistir y es posible que un medidor de flujo de aire total situado aguas arriba de la unidad de refrigeración no los distinga.

La contención cambia la presión que impulsa los caminos no deseados. Si el pasillo frío es demasiado positivo, el aire puede escapar a través de puertas, pasos de cables y huecos en los estantes. Si es demasiado negativo, el aire caliente puede salir a través de los huecos alrededor de las puertas o desde el pasillo caliente. Si el pasillo caliente está demasiado presurizado, puede forzar el aire caliente a través de las uniones de las rejillas y la parte superior del equipo. La dirección correcta y la banda de presión dependen de la arquitectura, pero la presión debe medirse en lugar de asumirse.

Utilice un mapa de presión con puntos en el primer, medio y último estante, además de la entrada de contención, la ruta de retorno y la entrada representativa del gabinete. Agregue visualización de humo o pruebas de trazadores cuando esté permitido. El objetivo no es crear una imagen dramática; se trata de encontrar si el mismo comando del ventilador produce un estado de flujo de aire diferente en diferentes posiciones del bastidor.

Modelo animado: más presión del ventilador puede generar más fugas

Las partículas en movimiento muestran la relación cualitativa entre la presión del bastidor, el flujo útil y la fuga de derivación; no son un resultado de CFD.

En el panel balanceado, el pasillo frío tiene suficiente presión para alimentar las entradas del rack, pero las fugas permanecen controladas. En el panel sobrepresurizado, el mismo ventilador de la instalación agrega presión que se escapa a través de un espacio en la puerta y una abertura para el cable. La potencia del ventilador de la habitación aumenta mientras que el estante más caliente no recibe enfriamiento proporcional. La imagen es deliberadamente simple: le recuerda al crítico que la presión es un medio para generar flujo de aire, no el flujo de aire en sí.

Un seguimiento de puesta en servicio útil combina la presión con un proxy térmico o de flujo. Si la presión aumenta pero la temperatura de entrada del estante lejano no mejora, investigue el bypass, los sellos del estante, la falta de paneles ciegos y la distribución desigual del piso antes de aumentar nuevamente la velocidad del ventilador.

La presión de la cremallera es una variable de distribución, no un número universal

Un valor de presión sólo es significativo cuando están documentados el plano de medición, el punto de referencia y el estado del bastidor.

La presión dentro de un pasillo frío se puede medir en relación con la habitación circundante, un pasillo caliente o un retorno plenum. Un mismo valor numérico puede describir diferentes condiciones físicas según la referencia. Un sensor cerca de la descarga de un ventilador puede leer un chorro local, mientras que un sensor en el estante más alejado puede mostrar la presión disponible para el equipo. Coloque el punto de medición en el dibujo y manténgalo sin cambios durante la comparación.

Para un primer estudio de campo, mida la diferencia en la parte delantera de la primera, la mitad y la última rejilla, luego repita cerca de la parte superior e inferior de la cara de la rejilla. Compare el gradiente con las temperaturas de entrada del servidor y la telemetría del ventilador. Una gran caída de presión a lo largo de la fila sugiere resistencia a la distribución o fuga. Una pequeña diferencia de presión con una gran variación de temperatura sugiere recirculación, flujo desigual del equipo o una concentración de carga de calor en lugar de simplemente espacio insuficiente CFM.

No establezca un objetivo de presión universal en todos los centros de datos. La geometría del bastidor, la disposición de los mosaicos, el diseño de la contención, el control del ventilador del servidor y la banda de temperatura de entrada permitida determinan el rango útil. El criterio de aceptación debe basarse en el rendimiento: cada bastidor crítico recibe el flujo de aire requerido y permanece dentro de su límite térmico con el funcionamiento del ventilador definido.

Un ejemplo de flujo de aire trabajado: el flujo promedio puede ocultar el estante más alejado

Un modelo de distribución simple muestra por qué el promedio de filas no es suficiente para un grupo de IA.

Supongamos que una fila de IA de cuatro estantes necesita 2000 m3/h por estante para la carga de trabajo seleccionada, por lo que el objetivo útil es 8000 m3/h. La pared de ventiladores de la instalación suministra 9.200 m3/h medidos aguas arriba. Según un estudio de puesta en servicio, en el estante uno hay 2.500 m3/h, en el estante dos 2.300, en el estante tres 2.100 y en el estante cuatro sólo 1.600. El promedio es de 2.125 m3/h, aparentemente por encima del objetivo, pero el estante más alejado está un 20% por debajo del caudal requerido.

Los 800 m3/h que faltan no se solucionan automáticamente aumentando la velocidad del ventilador de pared. En primer lugar, el equipo debe comprobar si 1.200 m3/h están pasando por las estanterías a través de zonas abiertas del suelo, huecos de contención o un atajo de retorno. Si se corrige la derivación y se redistribuye la misma entrega aguas arriba, el bastidor más alejado puede recuperarse sin un aumento proporcional de la potencia del ventilador. Si la presión de la hilera resulta insuficiente, se puede ajustar con evidencia el punto de funcionamiento del ventilador.

Este ejemplo utiliza una estimación del proyecto, no un valor universal del centro de datos. Su propósito es definir el método de medición: registrar cada rack, calcular el mínimo y máximo y reportar el flujo de equipos útiles por separado del flujo total de la instalación.

La fuga de contención cambia la selección y el control del ventilador

El ventilador no sabe si está superando la resistencia de la rejilla o empujando aire a través de una abertura no deseada.

Cada conjunto de contención tiene una característica de fuga. Puertas, cortinas, cepillos para cables, laterales de estanterías y pasos de suelo se comportan como caminos paralelos. Cuando la presión aumenta, el flujo de fuga puede aumentar rápidamente. Eso cambia la curva del sistema vista por el ventilador de la instalación y puede consumir el margen de presión que necesitan las entradas del rack. Un circuito de control de presión puede responder aumentando la velocidad, lo que crea más fugas y forma un costoso ciclo de retroalimentación.

Una prueba útil cierra una vía de fuga a la vez. Selle o corrija temporalmente la separación conocida, repita la medición de presión y flujo y compare la potencia del ventilador. La falta de paneles ciegos es especialmente importante a nivel de rack porque permiten que el escape de calor o el suministro de frío eviten la ruta prevista para el equipo. La prueba también debe registrar el efecto en el comando del ventilador del servidor; una mejora en las instalaciones que obligue a los ventiladores internos del servidor a acelerar no es una mejora completa.

El proveedor del ventilador necesita la resistencia montada, no sólo el flujo de aire de la habitación objetivo. Proporcione la geometría de la pared del ventilador, la cantidad de módulos, el estado de la compuerta, los datos del filtro o la bobina, las transiciones de los conductos, el plano de medición de presión y la condición del módulo fallido. Para un ventilador o soplador de rack, proporcione la rejilla del chasis, el disipador de calor, la disposición de los cables y el estado ciego. El mismo principio se aplica en ambas escalas.

Recirculación: la rejilla superior suele ser la primera advertencia

El aire caliente puede llegar a una entrada a través de la parte superior de un estante incluso cuando la temperatura promedio del pasillo frío parece aceptable.

ENERGY STAR señala que los gases de escape calientes pueden fluir sobre la parte superior de los servidores y elevar la temperatura de entrada en la parte superior de un bastidor. Un sensor de temperatura ubicado a la altura del pasillo puede pasar por alto esa condición. Mida los puntos de entrada superior, medio e inferior en los bastidores más cargados y compárelos con la ruta de escape. Si la entrada superior está más caliente, inspeccione el techo de contención, la parte superior del bastidor, la bandeja de cables y la ruta del aire de retorno antes de aumentar todas las velocidades del ventilador.

La recirculación también aparece cuando una rejilla no está de adelante hacia atrás. Un servidor orientado hacia atrás, una puerta faltante, un panel lateral abierto o un módulo de ventilador inactivo pueden convertirse en un atajo entre regiones frías y calientes. La respuesta correcta puede ser una corrección física, una compuerta o un cambio de dirección del ventilador en lugar de una orden superior.

Para los sistemas de IA, la carga de calor local GPU hace que esto sea más importante. Un bastidor puede pasar una prueba promedio de la sala mientras un grupo de aceleradores opera cerca de su límite. Utilice mapas de carga de trabajo con mapas térmicos, no solo un sensor de entrada y una temperatura de retorno de la instalación.

Controle el rack menos satisfecho y luego verifique el ruido y la vida útil del ventilador

Un circuito de control estable debería proteger el peor rack sin obligar a todos los ventiladores a funcionar a la peor velocidad para siempre.

Una estrategia de control útil puede utilizar la temperatura de entrada más alta, la presión de cremallera más baja o una señal de saturación de la zona menos satisfecha. El control debe incluir histéresis, límites de velocidad y una velocidad mínima definida. De lo contrario, pequeñas fluctuaciones de presión pueden provocar oscilaciones del ventilador, ruidos tonales y arranques repetidos. ASHRAE describe el control basado en zonas como una forma de ajustar los ventiladores a las necesidades de los componentes; la extensión práctica es hacer que la zona sea representativa del rack más difícil de enfriar.

Cuando el sistema de contención cambie, vuelva a ajustar el control. Un nuevo techo, sello de puerta o amortiguador de pared del ventilador altera la respuesta. Registre el paso de presión, el comando del ventilador, el flujo de aire del bastidor y el tiempo de estabilización de la temperatura. Si el ventilador alcanza el comando máximo antes de que se recupere el peor rack, el problema puede ser un cuello de botella en la distribución o un efecto del sistema en lugar de un motor de tamaño insuficiente.

Ruido y vida pertenecen a la misma reseña. Un ventilador que funciona a velocidad máxima de forma continua puede alcanzar la temperatura pero no alcanzar el objetivo acústico o acortar la vida útil esperada. Un ventilador que gira alrededor de su velocidad mínima estable puede ser más silencioso en promedio, pero genera un tono molesto y una carga adicional para los rodamientos. Valide la distribución operativa instalada, no solo un único punto máximo-RPM.

Un caso de puesta en marcha: arregle el espacio antes de cambiar el ventilador

La mejora térmica más rápida puede ser una corrección de contención que permita que el ventilador existente funcione en la ruta prevista.

Considere una modernización de IA anónima en la que la primera fila de racks cumplió con el objetivo de flujo de aire promedio de la habitación, pero los dos últimos racks mostraron temperaturas de entrada más altas. El equipo de las instalaciones aumentó la velocidad de la pared del ventilador y vio una pequeña mejora, pero la potencia y el ruido aumentaron drásticamente. Luego, una prueba de humo mostró que el aire de suministro azul se escapaba a través de una abertura para cables no sellada sobre la fila y que entraba aire caliente alrededor de un panel ciego del bastidor faltante.

El equipo selló la abertura del cable, instaló el panel ciego que faltaba y repitió el mapa de presión. Con la misma orden del ventilador, la presión del estante lejano aumentó y la temperatura de entrada se redujo. La validación final aún incluyó un paso de mayor velocidad para la carga de trabajo máxima, pero el punto de ajuste base no se elevó para compensar una ruta de fuga. El resultado se registró como una tabla de presión, flujo de aire, temperatura y potencia del ventilador antes y después en lugar de una afirmación porcentual no respaldada.

La lección transferible es simple: si se le pide a un ventilador que supere un agujero, cambiar el ventilador puede ocultar el defecto de instalación y aumentar el uso de energía. Primero mida la ruta del aire y luego decida si es necesario cambiar el ventilador, la contención o ambos.

Protocolo de prueba de presión y fugas para un nuevo diseño de contención

La prueba debe aislar si el ventilador, la ruta de distribución o la contención misma están limitando el peor rack.

Comience con la instalación en su condición de equilibrio: población final de bastidores, paneles ciegos finales, puertas, cortinas, baldosas, ruta de retorno, posiciones de las compuertas y ubicaciones de los sensores. Registre los comandos del ventilador, los vatios del ventilador, la presión en el primer y último rack, las temperaturas de entrada en la parte superior e inferior de los racks críticos y la carga de trabajo que produce el mapa de calor. Fotografíe o marque cualquier apertura temporal para que no se confunda con el estado de producción.

Ejecute un punto de flujo de aire bajo, nominal y alto. En cada punto, espere a que se estabilicen los rastros de presión y temperatura, luego registre los valores mínimo y máximo de la rejilla en lugar de solo el promedio. Si el estante más alejado está por debajo de su flujo útil mientras que el primer estante tiene exceso de flujo, ajuste la distribución o la fuga antes de aumentar el suministro total. Un bucle de control que satisface sólo el bastidor más cercano puede ocultar un error de diseño.

Luego realice un desafío de fugas. Cierre o selle un espacio conocido a la vez, como un cepillo para cables, el borde de una puerta, un panel ciego faltante o una losa de piso abierta. Repita el mapa de presión y compare la potencia del ventilador. El cambio en el flujo útil del bastidor por vatio es más informativo que una sola lectura de presión. Si sellar un espacio reduce la potencia del ventilador y al mismo tiempo preserva la temperatura del estante lejano, pertenece al requisito de instalación permanente.

Finalmente, pruebe los estados transitorios y degradados: un paso de carga de trabajo de IA, un módulo de enfriamiento no disponible, una puerta de servicio abierta para la condición de mantenimiento definida y el filtro o serpentín en su resistencia permitida. Guarde el comando, la presión, el proxy de flujo del bastidor, la temperatura y los seguimientos de alarma. El registro de aceptación debe identificar qué límite falló primero y si la acción correctiva pertenece a la contención, la selección del ventilador, el ajuste del control o la colocación de la carga de trabajo.

No borre la línea de base después de la corrección. Mantenga los mapas de antes y después con las mismas ubicaciones de sensores y carga de trabajo para que el equipo pueda cuantificar el efecto del cambio. Si la presión de contención está controlada por una pared de ventilador remota, conserve el punto de funcionamiento del ventilador y el modo del controlador como parte del registro; de lo contrario, una recalibración posterior puede hacer que una mejora física parezca una mejora de software.

Para la adquisición, esta prueba también define lo que necesita un proveedor de ventiladores. El proveedor puede dimensionar un ventilador personalizado según la restricción medida del chasis o del bastidor, pero no puede inferir el patrón de fuga a partir de un valor CFM a nivel de habitación. Una breve tabla de presión-flujo, un plano de instalación final y una interfaz representativa del arnés o del controlador generalmente producirán una mejor muestra que una solicitud del ventilador más grande disponible. También ofrece al equipo de compras una comparación justa: la misma presión, el mismo flujo, la misma densidad, el mismo estado de control y la misma evidencia en el estante más alejado durante el lanzamiento. Esa evidencia hace que los cambios de diseño posteriores sean auditables y mantiene alineados a los equipos de ventiladores, bastidores e instalaciones durante el traspaso de producción.

Lo que MEGA Tech puede validar para el flujo de aire en rack con IA

Ayudamos a hacer coincidir el ventilador con el punto de funcionamiento real del chasis o bastidor y respaldamos muestras en la instalación del cliente.

Podemos proporcionar ventiladores axiales DC personalizados, ventiladores compactos y ventiladores centrífugos curvados hacia atrás para chasis de servidores, módulos de rack y rutas de enfriamiento definidas del lado del aire. Revisamos el flujo de aire y la presión estática en el punto instalado, el voltaje, el control PWM o analógico, la retroalimentación FG/RD, el conector, el objetivo acústico, la envolvente y el ciclo de trabajo. Las muestras se pueden evaluar con la rejilla final, el disipador de calor, el filtro, el enrutamiento de cables y la condición de contención.

Envíe la carga de calor o la pérdida de componentes, el flujo de aire requerido y la presión estática en ese flujo de aire, la base de densidad, el plano de medición de presión del bastidor o del chasis, el estado de contención, la condición de fuga o supresión, la tolerancia de voltaje, la curva de control, los requisitos de retroalimentación, el objetivo de ruido, la cantidad y la suposición de vida. Para una pared de ventilador, incluya el número de módulos, el espaciado, el estado del módulo fallido y el comportamiento de flujo inverso.

No proporcionamos la sala del centro de datos, la contención, CRAH, CDU, circuito de agua enfriada, BMS o garantía PUE a menos que un alcance verificado por separado indique lo contrario. Nuestra función es hacer que el ventilador y la ruta de aire instalada sean medibles, respaldar muestras personalizadas y comparar alternativas según el rendimiento validado en lugar de según un título máximo CFM.

Preguntas frecuentes para ingenieros: contención, presión y flujo de aire de derivación

Respuestas breves para ingenieros de instalaciones, bastidores y térmicos.

P: ¿Siempre es mejor una mayor presión en el pasillo frío? R: No. Una presión más alta puede aumentar las fugas a través de puertas, aberturas para cables y espacios entre bastidores. Utilice la presión más baja que satisfaga la rejilla menos fría y valide la ruta completa.

P: ¿Por qué puede pasar un flujo de aire promedio mientras el estante más alejado se sobrecalienta? R: La distribución del flujo puede ser desigual o parte del flujo medido puede pasar por alto el equipo. Mida el flujo útil, la presión y la temperatura de entrada estante por estante.

P: ¿Los paneles ciegos realmente afectan la selección de ventiladores? R: Sí. Un espacio en U abierto o un espacio lateral puede crear una ruta de recirculación de menor resistencia que cambia la curva del sistema de rack y reduce el flujo útil a través de la carga de calor.

P: ¿Debería controlarse la pared del ventilador mediante la temperatura ambiente? R: La temperatura ambiente por sí sola puede evitar la falta de presión a nivel del estante o un punto caliente de recirculación en la parte superior del estante. Utilice señales representativas de presión y temperatura de la zona menos satisfecha.

P: ¿Qué se debe probar después de agregar contención? R: Mapa de presión, flujo de aire del rack o proxy calibrado, temperatura de entrada superior/media/inferior, potencia del ventilador, respuesta del ventilador del servidor, estado de fuga y respuesta al paso de potencia.

P: ¿Qué debe recibir un proveedor de ventiladores personalizados? R: Flujo de aire y presión estática en ese flujo de aire, densidad, restricciones instaladas, voltaje, control, retroalimentación, conector, ruido, entorno, cantidad y supuesto de vida.

Preguntas para una revisión de diseño

Utilice estas preguntas antes de aprobar un cambio de contención o ventilador.

• ¿Dónde se mide la presión? ¿Cuál es el punto de referencia? ¿Representa el sensor la rejilla más alejada?
• ¿Qué fracción del flujo de aire total de la instalación es flujo de equipo útil versus derivación o fuga?
• ¿Se han medido las temperaturas de entrada superior, media e inferior en los racks más cargados?
• ¿Están incluidas en la resistencia del sistema puertas, cortinas, pasos de cables, paneles ciegos y baldosas?
• ¿Un comando de ventilador más alto mejora el peor rack o solo aumenta las fugas y el flujo de aire de la habitación?
• ¿Qué sucede cuando un módulo de ventilador no está disponible o un módulo inactivo se convierte en una apertura de flujo inverso?
• ¿Qué potencia del ventilador, ruido, respuesta del ventilador del servidor y margen térmico permanecen en el punto de ajuste de presión estable más bajo?
• ¿Qué información exacta se enviará al proveedor para una muestra personalizada de ventilador de bastidor o chasis?