Una dirección equivocada puede frustrar un buen diseño de refrigeración
Un rack puede tener contención, suficiente refrigeración de la habitación y aun así alimentar el escape caliente directamente a un interruptor o entrada de servidor.
Los servidores GPU normalmente se instalan de adelante hacia atrás, pero el equipo de red se puede suministrar en configuraciones de alimentación a conector o de conector a alimentación. Un interruptor que toma aire del pasillo caliente mientras que los servidores adyacentes lo toman del pasillo frío no es automáticamente incorrecto; lo es un interruptor que expulsa el escape hacia el lado frío o extrae el escape de otro dispositivo. La dirección debe verificarse a partir de la etiqueta de flujo de aire del producto real y el documento de instalación, no asumirse desde la posición del conector.
La guía DGX SuperPOD de NVIDIA requiere que se considere la dirección del flujo de aire durante el diseño del bastidor y la selección de BOM. También advierte que es posible que la dirección elegida no se pueda modificar en el campo. Trate cada servidor, conmutador, PSU y bandeja de ventilador como una ruta de entrada a salida antes de que el equipo ingrese al rack.
El fracaso que esto evita no es dramático. Nada se dispara, ningún disyuntor se abre y el enfriamiento de la habitación puede estar funcionando exactamente según lo diseñado. Lo que cambia es una única entrada: un conmutador de 1U, una fuente de alimentación o un módulo orientado hacia atrás en la parte más caliente del rack comienza a aspirar aire que ya ha pasado por otra cosa. La temperatura promedio de la habitación se mantiene estable, ese dispositivo funciona varios grados Kelvin por encima de sus vecinos y el primer síntoma suele ser una alarma térmica inexplicable meses después.
P2C y C2P nombran una posición de estante, no un grado de producto
Los dos términos describen qué extremo de un chasis aspira aire y, por tanto, hacia qué pasillo debe mirar el dispositivo.
Los nombres provienen de los dos extremos de un conmutador o chasis de servidor: el lado P, donde se encuentran las fuentes de alimentación, y el lado C, donde se encuentran los conectores de red. La guía de infraestructura DGX SuperPOD de NVIDIA establece las dos definiciones directamente. Alimentación al conector, o P2C, significa que el aire entra por el extremo de alimentación del chasis y sale por el extremo del conector. Conector a alimentación, o C2P, significa lo contrario. El mismo documento señala que P2C es la dirección de flujo de aire predeterminada para los equipos de red del centro de datos, porque los conmutadores normalmente se montan en la parte posterior del bastidor con sus conectores de red mirando hacia el pasillo caliente.
Ese valor predeterminado es consecuencia de la práctica del cableado más que de la preferencia térmica. Colocar la tela del interruptor y el cableado de alimentación en la parte trasera mantiene el pasillo frío despejado para el acceso de servicio, y la dirección P2C se deriva de la geometría resultante: la entrada del dispositivo mira hacia el pasillo caliente y el escape mira hacia el pasillo frío. Funciona sólo mientras el aire en la parte trasera de ese bastidor permanece dentro de la clasificación del equipo, por lo que la dirección y la posición del bastidor deben decidirse en conjunto.
La terminología de los proveedores varía, y eso es importante cuando se lee una hoja de datos o un número de pieza de repuesto. Juniper, por ejemplo, etiqueta las mismas dos direcciones en el extremo del chasis de la unidad reemplazable en campo (FRU al puerto para la entrada del extremo de alimentación, puerto a FRU para la entrada del extremo del conector) y marca los módulos AIR IN y AIR OUT. Esas palabras no se transfieren entre proveedores. Lo que transfiere es la cuestión física: ¿qué cara de este chasis toma aire y a qué pasillo mira esa cara?
Algunos proveedores también incluyen la distinción dentro del número de pieza en lugar de en un campo de pedido separado, por lo que dos repuestos que se diferencian por un solo carácter pueden tener direcciones de flujo de aire opuestas. Trate la dirección del flujo de aire como un atributo de la pieza, no del modelo, y confírmela con la etiqueta o flecha del flujo de aire en la propia unidad.
| forma corta | Significado | Texto equivalente del proveedor |
|---|---|---|
| P2C | Entrada de aire por el extremo de alimentación (P), salida por el extremo del conector (C) | De atrás hacia adelante; FRU-a-puerto; ENTRADA DE AIRE en algunas líneas de interruptores |
| C2P | Entrada de aire por el extremo del conector (C), salida por el extremo de alimentación (P) | De adelante hacia atrás; puerto a FRU; AIRE OUT en algunas líneas de interruptores |
| Posición de pasillo cálido | Dispositivo montado en la parte trasera, conectores mirando hacia el pasillo caliente | El valor predeterminado habitual para equipos de red en un rack. |
| Posición del pasillo frío | Dispositivo montado en la parte delantera, puertos orientados hacia el pasillo frío. | Requerido cuando el pasillo caliente excede la clasificación del equipo |
El pasillo caliente decide entre P2C y C2P
La elección se reduce a un número: la temperatura del aire en la parte trasera del bastidor.
La temperatura del aire del estante trasero no es el punto de ajuste de enfriamiento de la habitación. Es la temperatura de suministro más el aumento que crea el propio equipo. La guía de NVIDIA brinda la relación de trabajo: con un suministro de 21 °C (70 °F) y un aumento típico de 14 a 17 K (25 a 30 °F) en toda la carga de TI, el pasillo caliente se ubica cerca de 38 °C (100 °F). El equipo que se solicitó para ese entorno está bien. El mismo equipo en un estante más denso, una planta más cálida o un pasillo parcialmente contenido no lo es.
NVIDIA establece un umbral específico en la misma página. Si el pasillo caliente excede los 60 °C (140 °F), el cableado, incluido el cableado de alimentación, debe trasladarse al pasillo frío o reducirse su potencia. En la práctica, eso empuja el interruptor hacia el frente del rack con sus puertos mirando hacia el pasillo frío, lo que requiere un flujo de aire C2P. En ese punto la dirección no es una preferencia; es lo que exige el diseño del rack.
Se siguen dos consecuencias. El primero es el tiempo: debido a que el flujo de aire en muchos conmutadores está determinado por el ventilador de la fuente de alimentación, NVIDIA afirma que un requisito de C2P debe resolverse durante la selección de BOM y puede no ser modificable en el campo. Un rack diseñado sin esa decisión se convierte en un problema de adquisición una vez que llega el hardware. La segunda es que la cifra de 60 °C es una información de diseño, no una medición que se debe tomar después de la puesta en servicio. Si la temperatura proyectada del pasillo caliente de un rack está cerca de ella, la dirección del flujo de aire pertenece al dibujo del rack y al pedido, no a una nota de puesta en servicio.
Las cuatro comprobaciones antes de instalar hardware
Haga que la ruta del aire sea visible en el dibujo del bastidor y mensurable durante la puesta en servicio.
No acepte un dispositivo porque se ajuste físicamente a los rieles. Verifique la dirección del flujo de aire en el SKU exacto y luego tráigala a través de los pasillos fríos y calientes planificados. Mantenga los haces de cables fuera de la ruta de escape central y deje acceso para el reemplazo del módulo del ventilador. Una mejora en la gestión de cables también puede ser una corrección térmica.
La guía térmica de red de ASHRAE agrega una verificación que a menudo se pasa por alto en una revisión a nivel de rack. Cuando un chasis no abarca toda la profundidad del rack, la práctica recomendada es un conducto de flujo de aire que llegue a la cara frontal, de modo que el dispositivo extraiga aire acondicionado del pasillo frío en lugar de hacerlo desde el espacio situado encima o debajo de él. Un interruptor de poca profundidad ubicado detrás de un panel ciego es el ejemplo canónico de un dispositivo que está correctamente orientado y aún no funciona.
Durante la puesta en servicio, compare los mismos puntos de entrada del rack en la parte superior, media e inferior con el comando del ventilador, el RPM real y la telemetría del dispositivo más actual. La temperatura promedio de la habitación no puede demostrar que una fuente de alimentación orientada hacia atrás o un interruptor en la parte superior del rack estén recibiendo una entrada de aire adecuada.
| Controlar | Evidencia | Fallo evitado |
|---|---|---|
| Dirección del dispositivo | Flecha de flujo de aire del fabricante, guía de instalación y SKU exacto | Escape caliente dirigido al pasillo frío. |
| Posición de la rejilla | Profundidad delantera y trasera, ubicación del riel y espacio libre de entrada | Equipo trasero que aspira aire caliente. |
| Ruta del cable | Enrutamiento lateral, holgura y espacio libre de servicio. | Entradas o escapes de ventilador bloqueados |
| Puesta en servicio | Temperatura de entrada superior, media e inferior con RPM y telemetría de componentes | Recirculación oculta bajo carga de trabajo. |
- Registre la dirección del flujo de aire en el BOM, no solo en la memoria de un técnico.
- Confirme la dirección nuevamente después de cualquier cambio, PSU o reemplazo de la bandeja del ventilador.
- Llene el espacio de rejilla no utilizado, porque una U abierta permite que el aire caliente regrese al lado frío.
- Registre la temperatura de entrada y la telemetría del dispositivo bajo una carga de trabajo representativa.
El flujo de aire mixto dentro de un chasis no es una opción válida
Cada módulo de ventilador y cada fuente de alimentación en un chasis debe apuntar en la misma dirección.
La documentación del interruptor de Juniper establece la regla sin reservas: no instale componentes con diferentes direcciones de flujo de aire en el mismo chasis, porque mezclarlos degrada el sistema de enfriamiento y provoca el sobrecalentamiento del chasis. Los proveedores codifican por colores las manijas del módulo para que la discrepancia sea visible de un vistazo y requieren que el flujo de aire de la fuente de alimentación coincida con el flujo de aire del ventilador. Esa codificación es un control de la línea de producción, pero también es la verificación más rápida disponible para un técnico que posee dos módulos.
La razón por la que la mezcla falla es que los ventiladores en paralelo no promedian sus direcciones. Un módulo invertido actúa en contra de sus vecinos y provoca un cortocircuito en la diferencia de presión que la matriz pretende crear. Dependiendo de la plataforma, el chasis puede generar una alarma por falta de coincidencia o simplemente puede calentarse, que es el peor de los dos resultados, porque una falla térmica silenciosa no se distingue de un problema de carga hasta que se examina la telemetría del componente.
La conversión es posible en algunas plataformas, pero es un evento de hardware más que una configuración. El procedimiento de Juniper requiere que se apague el chasis y se reemplacen todos los ventiladores y todas las fuentes de alimentación al mismo tiempo, y señala que el sistema genera una alarma durante la conversión como consecuencia normal. Cuando el flujo de aire lo establece el ventilador de la fuente de alimentación en lugar de las bandejas del ventilador, no existe ninguna ruta de conversión. De cualquier manera, la dirección es una decisión de compra.
Trate la dirección del flujo de aire como parte de la identidad del módulo de ventilador en lugar de un accesorio del chasis. En algunas plataformas, el estado verde del LED de un ventilador significa explícitamente que el sistema ha verificado que el módulo esté activado, que el flujo de aire esté en la dirección correcta y que el ventilador esté funcionando correctamente. Eso hace que el indicador sea una verificación de dirección además de una verificación de estado, y significa que un módulo que es mecánica y eléctricamente correcto aún puede marcarse como incorrecto.
El enrutamiento de cables es parte del camino aéreo
Los cables que hacen funcionar el rack también son lo más común que se encuentra frente a un ventilador.
La guía de cableado de NVIDIA para implementaciones DGX SuperPOD requiere que el enrutamiento de cables no restrinja el flujo de aire. Esto es una limitación en el plan de cableado, no una observación sobre la limpieza. En un bastidor de IA, la parte trasera es donde convergen los troncales de fibra, las fuentes de alimentación y el cableado de administración, y también es la cara de entrada para los equipos P2C montados en la parte trasera. Un paquete atado a una rejilla de entrada es un bloqueo distribuido que ninguna curva del ventilador tiene en cuenta.
A continuación se detallan tres reglas de enrutamiento. Mantenga los paquetes de troncales alejados de las caras de entrada y salida del dispositivo, utilizando canales laterales y administradores verticales en lugar del volumen inmediatamente detrás de un chasis. Conserve el espacio libre de servicio que necesita un módulo de ventilador, porque una bandeja que no se puede retirar es un problema de mantenimiento y un módulo parcialmente reinsertado durante el servicio es un problema de flujo de aire. Y trate el alivio de tensión como un elemento térmico además de mecánico, ya que los bucles flojos se asientan en cualquier espacio disponible.
La guía de redes de ASHRAE proporciona la versión a nivel de rack del mismo argumento: cuando un chasis no llena la profundidad del rack, el espacio circundante debe tener conductos o cerrarse para que el dispositivo extraiga aire acondicionado desde el frente en lugar de aire recirculado desde el espacio. El tendido de cables y los conductos suelen ser propiedad de diferentes personas en el mismo proyecto, por lo que la verificación pertenece al ámbito de la puesta en servicio y no al documento propio de ninguna de las disciplinas.
Interactivo: camino correcto versus retorno de aire caliente
Utilice la animación para identificar qué cambia cuando un dispositivo invierte la ruta prevista del rack.
El diagrama es un modelo de enseñanza, no un resultado de CFD. Su propósito es mostrar por qué la dirección del flujo de aire, los espacios en U abiertos, el enrutamiento de cables y el control del ventilador deben revisarse juntos en lugar de ser cuatro elementos separados en una lista de verificación.
Camine por ambos estados y compare la dirección de la flecha en la entrada del interruptor con la dirección en las entradas del servidor. Si no están de acuerdo, el bastidor tiene una condición de ruta mixta que ningún punto de ajuste de enfriamiento de la habitación puede corregir, y aumentar la velocidad del ventilador moverá más aire dentro de la misma ruta incorrecta.
La recirculación es la forma en que un error de dirección se convierte en una falla térmica
Una entrada que no coincide no eleva la temperatura ambiente; eleva la temperatura de un dispositivo.
La recirculación es un fenómeno local con una causa global. Cuando la entrada de un dispositivo mira hacia el pasillo equivocado, o cuando un espacio en U abierto permite que el aire caliente se derrame nuevamente hacia el lado frío, esa entrada ve el suministro de aire mezclado con el escape. La fracción de mezcla depende del equilibrio de presión alrededor de ese chasis específico, por lo que el mismo error produce resultados diferentes en diferentes posiciones del bastidor. Así es como un rack se aprueba con los datos promedio de la sala y aún falla en la parte superior.
La medida que lo encuentra es un perfil, no un promedio. Registre la temperatura de entrada en la parte superior, media e inferior de la misma cara del bastidor, al mismo tiempo que el comando del ventilador y el RPM real, bajo carga representativa. Una distribución de arriba a abajo que crece con puntos de carga en recirculación en lugar de con enfriamiento insuficiente de la habitación. El trabajo de red de ASHRAE describe el mismo mecanismo desde el lado del dispositivo, señalando que un interruptor en la parte superior del rack colocado detrás de un panel ciego puede sobrecalentarse y perder funcionalidad porque su posición en el rack lo separa del pasillo frío.
El remedio es el que la guía ASHRAE ha recomendado durante años: llenar los espacios en U no utilizados, tender el cableado lejos de las caras de entrada y las aberturas de escape y, cuando el chasis sea más corto que el bastidor, canalizar el recorrido del aire hacia la cara frontal. Ninguna de estas son acciones de selección de ventiladores y ninguna de ellas puede sustituirse por una cifra de flujo de aire mayor. Las reglas generales de diseño sitúan la penalización de entrada local procedente de espacios en U abiertos y haces de cables no controlados en varios Kelvin, suficiente para consumir el margen térmico de un dispositivo que se especificó correctamente en primer lugar.
Dónde ayuda una muestra de ventilador personalizada
La selección del ventilador se produce después de controlar la ruta prevista del rack.
Una vez definida la ruta del rack, un ventilador compacto o una bandeja de ventilador aún debe cumplir con los requisitos instalados de presión, flujo de aire, ruido, voltaje, PWM y FG/RD. MEGA Tech puede revisar un ventilador de refrigeración de referencia y desarrollar un candidato personalizado para la refrigeración normal de equipos donde se puedan combinar la envoltura mecánica, la interfaz y el punto de trabajo validado.
La dirección del flujo de aire pertenece a la especificación del ventilador en sí, no a una suposición sobre el chasis. Las versiones FRU a puerto y puerto a FRU del mismo módulo tienen diferentes números de pieza con diferente geometría interna, y un reemplazo que encaja y gira aún puede estar moviendo el aire en la dirección incorrecta. Cuando se desarrolla un candidato en torno a un ventilador de referencia, la dirección prevista pertenece al dibujo junto con el tamaño del marco, el grosor, el voltaje de suministro, el conector y la distribución de pines, las señales de control y el punto de trabajo validado.
Para obtener una revisión de muestra útil, envíe la etiqueta actual del ventilador, el dibujo del chasis o la bandeja, la dirección del flujo de aire, el rango de voltaje, el conector y la distribución de pines, el flujo de aire y la presión objetivo, la temperatura de entrada, los puntos de aceptación térmica, el límite de ruido y la cantidad esperada. Validar el candidato en el chasis ensamblado con cables representativos y carga de trabajo antes de la producción controlada.
Series de ventiladores recomendadas para empezar
Estas series del catálogo pueden ser un punto de partida para esta aplicación. La selección final depende del caudal, la presión estática, la tensión, el objetivo de ruido y el entorno de trabajo instalados.
Solicite una muestra para validarla en su equipo.
Preguntas frecuentes de los ingenieros: dirección del flujo de aire del rack AI
Preguntas que resolver antes de que se libere el rack.
P: ¿Cuál es la diferencia entre P2C y C2P? R: P2C toma aire por el extremo de alimentación del chasis y lo expulsa por el extremo del conector; C2P hace lo contrario. La dirección fija hacia qué pasillo debe mirar el dispositivo, por lo que es una decisión de posición del estante más que una preferencia de producto.
P: ¿Se puede cambiar la dirección del flujo de aire de un interruptor en el campo? R: Generalmente no por una configuración. Cuando el flujo de aire lo establece el ventilador de la fuente de alimentación, es posible que la dirección no se pueda modificar en absoluto, y los proveedores que admiten la conversión exigen que todos los ventiladores y fuentes de alimentación se reemplacen al mismo tiempo. Confirme el SKU exacto y la guía del fabricante durante la selección de BOM.
P: ¿Se pueden combinar los módulos P2C y C2P en un chasis? R: No. La documentación del proveedor trata el flujo de aire mixto como una configuración no compatible que degrada la refrigeración y puede provocar sobrecalentamiento. Haga coincidir las fuentes de alimentación con los módulos de ventilador y utilice el código de colores en las manijas como una verificación visual rápida.
P: ¿Cómo sé si el bastidor necesita C2P? R: Calcule la temperatura del pasillo caliente a partir de la temperatura del suministro más el aumento esperado en toda la carga de TI, luego compárelo con la clasificación del equipo. La guía de NVIDIA utiliza 60 °C como el punto en el que el cableado debe pasar al pasillo frío o reducirse, lo que a su vez mueve el interruptor al frente del bastidor y requiere C2P.
P: ¿Un dispositivo correctamente orientado todavía necesita conductos? R: A veces. Cuando el chasis es más corto que la profundidad del rack, la guía de redes de ASHRAE recomienda un conducto que llegue a la cara frontal para que el dispositivo extraiga aire del pasillo frío en lugar de aire del espacio que lo rodea. La orientación correcta no garantiza por sí sola una entrada correcta.
P: ¿Los valores coincidentes del ventilador RPM prueban que la ruta del rack es correcta? R: No. RPM demuestra rotación, no flujo de aire ni dirección. Confirme la ruta de aire instalada con temperaturas de entrada y, cuando el riesgo lo justifique, una medición de presión o flujo de aire entregado.
P: ¿Qué se debe proporcionar a MEGA Tech para una revisión de muestra? R: La etiqueta del ventilador o la hoja de datos, el dibujo del módulo, la dirección del flujo de aire, el voltaje de suministro, el conector y la distribución de pines, las señales de control, los puntos de aceptación térmica, las condiciones de entrada, el ruido objetivo, el ciclo de trabajo esperado y la cantidad.
Preguntas para una revisión de diseño
Llévelos a la revisión del diseño de enfriamiento, no a la primera alarma térmica.
- ¿Cuál es la temperatura proyectada del pasillo caliente con la carga de diseño y qué dirección requiere cada dispositivo en el rack para esa temperatura?
- ¿Se registra la dirección del flujo de aire por línea de artículo en el BOM o solo en el dibujo del bastidor?
- ¿Qué dispositivo del bastidor está montado en la parte trasera con su entrada orientada hacia el pasillo caliente y qué evidencia existe de que el aire que hay está dentro de su clasificación?
- ¿Se llenan los espacios U no utilizados y los haces de cables se encaminan lejos de las caras de entrada y las aberturas de escape?
- ¿Hay algún chasis más corto que la profundidad del rack con conductos hacia la cara frontal?
- ¿El registro de puesta en servicio mantiene la temperatura de entrada en la parte superior, media e inferior de la cara del rack, bajo una carga representativa, junto con el comando del ventilador y el RPM real?
