Cuando alguien me explica por primera vez qué es una GPU, casi siempre me dice que “es como un procesador pero más rápido”. Y no. Esa frase es la razón por la que después nadie entiende por qué un centro de datos de IA necesita agua, doce veces más electricidad y una red que cuesta más que los servidores.
Yo llevo veinte años en centros de datos normales. Cuartos de telecomunicaciones, pasillo frío y pasillo caliente, aire acondicionado de precisión, racks que se llenaban de servidores de dos unidades. Ese mundo lo conozco de memoria. Y precisamente por eso, cuando me puse a estudiar cómo se arma un centro de datos para inteligencia artificial, lo primero que me sorprendió no fue la GPU. Fue todo lo demás.
🔑 Lo esencial en 20 segundos
- Una CPU es un chef que sabe hacer de todo. Una GPU son miles de cocineros que solo pican, pero lo hacen todos a la vez. Ninguno es mejor: sirven para trabajos distintos.
- Un modelo grande no cabe en una sola GPU. Hay que repartirlo entre muchas — y ahí la red deja de ser plomería y se vuelve parte del procesador.
- Un rack tradicional ronda los 10 kW; un rack de IA moderno pide 120 kW. A partir de 20-30 kW el aire ya no alcanza y entra el agua.
- Lo que cambia de fondo para quien compra: la unidad ya no es el servidor, es el rack completo.
El centro de datos que yo conocí
En un centro de datos tradicional, la vida gira alrededor del servidor. Compras uno, lo montas, lo conectas, le pones su sistema operativo. Si necesitas más capacidad, compras otro. El cuello de botella casi siempre estaba en el procesador o en el disco, y la red era eso que estaba ahí para que las cosas se hablaran. Importante, sí, pero de fondo. Plomería.
Me acuerdo de una tarde en una cadena de tiendas en la que, revisando el cableado de un sitio, desconecté sin querer el conmutador de la sucursal. No fue torpeza mía nada más: los cables no estaban etiquetados, nadie sabía qué iba a dónde, y el equipo era un vejestorio que llevaba años sin documentarse. Se cayó la telefonía de esa tienda hasta que lo levantamos.
Duele contarlo, pero fíjate en la escala del daño: se cayó una tienda. Una. El resto de la red siguió como si nada, porque cada sitio era independiente. Ese era el mundo: los errores se quedaban donde ocurrían.
En un clúster de IA eso ya no aplica. Un solo enlace degradado no tira un nodo: echa a perder el trabajo de todas las GPUs a la vez, porque están trabajando en la misma tarea y se esperan unas a otras. Un entrenamiento de días se puede arruinar por un cable. Esa es la primera diferencia de verdad, y no tiene nada que ver con la GPU.
Qué es una GPU, dicho de manera que se entienda
Voy a usar la imagen con la que yo lo explico en las juntas, porque es la que funciona con gente que no es técnica.
Una CPU es el chef. Sabe hacer de todo: prepara una salsa, corrige el punto de sal, decide el menú, improvisa si falta un ingrediente. Es caro, es experto, y hace muchas cosas distintas una tras otra. Multitareas de verdad.
Una GPU son los cocineros. No tienen el criterio del chef. Son mucho más básicos y están dedicados a tareas sencillas: cortar, picar, pelar. Pero eso lo hacen excelente, una y otra vez, sin cansarse ni distraerse. Y su poder no está en lo listos que son, sino en cuántos son trabajando al mismo tiempo: miles por cocina, millones cuando juntas todas las cocinas.
Lo importante de la analogía es lo que no dice. No dice que la GPU sea mejor. Si le pides a mil cocineros que diseñen el menú, no va a salir nada. Y si pones al chef a picar mil kilos de cebolla, vas a tardar una eternidad. Cada uno sirve para una forma distinta de trabajo.
¿Y por qué la IA cae del lado de los cocineros? Porque entrenar un modelo es, en el fondo, multiplicar matrices. Millones y millones de veces. Son operaciones sencillas, todas iguales, y sobre todo independientes entre sí: se pueden hacer en paralelo sin que una espere a la otra. Es picar cebolla a escala industrial. Ahí los cocineros ganan por dos órdenes de magnitud, y no hay chef que compita.
Por qué una GPU sola no sirve de nada
Aquí es donde empieza lo interesante, y donde se explica todo lo demás.
Los modelos grandes no caben en una GPU. Y no es una metáfora, es aritmética: los pesos de un modelo abierto de 405.000 millones de parámetros ocupan más de 800 GB en precisión de 16 bits, según la documentación técnica de Hugging Face. Un nodo completo con ocho GPUs de gama alta reúne unos 640 GB de memoria. El modelo no cabe ni en el nodo entero, mucho menos en una tarjeta.
Entonces no hay opción: hay que partir el trabajo entre muchas GPUs, a veces entre muchos racks. Y en ese momento aparece el problema que define a estos centros de datos.
Volvamos a la cocina. Mientras los cocineros están en la misma cocina, se pasan los ingredientes de mano en mano y no hay drama. Pero si la receta es tan grande que tienes que repartirla entre cocinas separadas, lo que decide la velocidad de la cena ya no es qué tan rápido pican. Es qué tan rápido logran pasarse los ingredientes entre cocinas. Si esa banda se atora, tienes a miles de cocineros carísimos parados con el cuchillo en la mano.
Esa es la frase que quiero que te lleves de todo el artículo, porque es la que sostiene los siguientes siete:
En un centro de datos de IA, la red deja de ser plomería y se vuelve parte del procesador.
Por eso existen cosas como NVLink y NVSwitch dentro del rack, y por eso se pelean InfiniBand y Ethernet fuera de él. No son detalles de infraestructura: son lo que decide si tus GPUs trabajan o esperan. A cada uno le toca su propio artículo en esta serie.
Las cinco cosas que cambian de verdad
Con eso en la cabeza, ya se puede comparar de forma honesta. No es “lo mismo pero más grande”: son cinco cambios de fondo.
| Centro de datos tradicional | Centro de datos de IA | |
|---|---|---|
| Potencia por rack | Alrededor de 10 kW, con la mayoría de racks de producción en la banda de 10 a 30 kW | 120 kW nominales en un rack de 72 GPUs, y reportes de campo de 130 kW bajo carga |
| Enfriamiento | Aire: pasillo frío, pasillo caliente, aire de precisión | Agua directa al chip. Arriba de 20-30 kW por rack el aire deja de ser viable o de ser rentable |
| Papel de la red | Conecta servidores independientes. Si falla un enlace, se cae un nodo | Es parte del cómputo. Si se degrada un enlace, se degrada el trabajo completo |
| Unidad de compra | El servidor. Se crece de a uno | El rack completo, montado, cableado y refrigerado de fábrica. Pesa más de una tonelada |
| Lo que mata el proyecto | Quedarse sin espacio en el piso | Quedarse sin potencia o sin capacidad de sacar el calor |
Densidades tradicionales y umbrales de enfriamiento: Uptime Institute, Cooling Systems Survey 2025 y Uptime Institute, «Rack density is rising». Especificaciones del rack de 72 GPUs: hoja de datos de Supermicro para GB200 NVL72 y análisis de Sunbird DCIM sobre preparación del sitio.
La fila que más importa si tú firmas el contrato
De las cinco, la que menos se comenta y más consecuencias tiene es la de la unidad de compra. Ya no compras servidores: compras racks.
Eso suena a detalle logístico y no lo es. Cambia el contrato, porque estás comprando un sistema integrado y no piezas. Cambia la instalación, porque más de una tonelada no entra por donde entraba un servidor y hay que revisar la resistencia del piso. Cambia el soporte, porque cuando algo falla ya no puedes cambiar una refacción y seguir. Y cambia el crecimiento: no se crece de a poquito, se crece de rack en rack.
Para alguien que viene de dimensionar servidor por servidor, esto es un cambio de mentalidad completo. En mis años de servicios administrados me tocó hacer reportes de capacidad para decidir cuánto equipo comprar, y siempre razonabas en unidades pequeñas. Aquí la unidad mínima es enorme, y eso vuelve la planeación mucho menos perdonadora: si te equivocas, te equivocas en grande.
Qué preguntar si estás evaluando un proyecto así
Esta parte no es una guía de instalación. Es lo que yo pondría sobre la mesa antes de que alguien firme, y viene de la costumbre de Producto de preguntar qué se rompe después.
| La pregunta | Por qué importa |
|---|---|
| ¿Cuántos kW por rack aguanta el sitio hoy? | Es lo primero que hace inviable una propuesta. Un cuarto pensado para 10 kW no recibe 120 kW con un ajuste: hay que rehacer la acometida eléctrica |
| ¿Hay agua, y quién opera el circuito? | El enfriamiento líquido mete una disciplina nueva: bombas, fugas, mantenimiento. Muchos equipos de TI nunca han operado eso, y ese hueco de responsabilidad aparece el día de la primera fuga |
| Si el fabric se degrada, ¿qué pasa con el trabajo en curso? | No es una pregunta de red, es de negocio. Determina si pierdes horas o días de cómputo, y quién absorbe ese costo |
| ¿Cómo se cobra: por GPU, por hora, por rack, por trabajo terminado? | Cambia por completo quién carga con el riesgo de que las GPUs estén ociosas |
| ¿Qué pasa el día de ampliar? | Si hay que rehacer el cuarto para meter el segundo rack, eso no es una ampliación: es un proyecto nuevo, y debería estar en el número desde el principio |
Ninguna de esas preguntas es sobre la GPU. Todas son sobre el edificio, el contrato y la operación — y son las que deciden si un proyecto de IA se sostiene o se vuelve una anécdota cara.
Lo que no te expliqué aquí
A propósito. Este artículo abre una serie, y cada pieza se apoya en la anterior. El recorrido va de la pieza más pequeña hacia afuera:
- Los servidores: qué es HGX, qué es DGX, qué es un rack de 72 GPUs, y qué estás comprando de verdad.
- Cómo se hablan las GPUs: RDMA, InfiniBand y RoCE. Ese es el artículo que más ganas tengo de escribir, porque llevo veinte años peleando colas de prioridad en redes de voz y resulta que en el fondo es el mismo problema.
- Cómo se conecta todo: la topología del clúster, y por qué decide el rendimiento más que las GPUs.
- El software que entrena: CUDA, los frameworks, y dónde está el candado real de proveedor.
- El software que ve la infraestructura: qué ofrece NVIDIA para gobernar todo esto.
- Energía y enfriamiento: el límite físico, con números. Hasta aquí se explica cómo funciona; de aquí en adelante, si se puede construir.
- Y el cierre, en mi terreno: cómo se observa esto de verdad. El stack abierto, cómo sacar telemetría sin tocar la aplicación, y las herramientas que uso todos los días.
Y si lo que te interesa es la parte de observabilidad, esa ya está escrita: en cómo se observa una GPU de verdad conté qué métricas mirar y por qué una GPU no se vigila como un servidor normal. Aquí no lo repito.
Preguntas frecuentes
¿Cuál es la diferencia entre una CPU y una GPU?
Una CPU tiene pocos núcleos muy capaces, buenos para hacer tareas distintas una tras otra. Una GPU tiene miles de núcleos simples que hacen la misma operación al mismo tiempo. La CPU es el chef que sabe de todo; la GPU son los cocineros que solo pican, pero son miles. Ninguna es mejor: la CPU gana en tareas variadas y secuenciales, la GPU en tareas repetitivas y paralelas como entrenar un modelo.
¿Por qué un centro de datos de IA necesita enfriamiento líquido?
Por densidad de potencia. Un rack tradicional ronda los 10 kW y se enfría con aire sin problema; un rack de IA moderno pide unos 120 kW. Según el Uptime Institute, arriba de 20 a 30 kW por rack el aire deja de ser viable o de ser rentable, así que se pasa a llevar el agua directamente al chip.
¿Puedo hacer IA en el centro de datos que ya tengo?
Para experimentar y para inferencia a escala pequeña, muchas veces sí. Para entrenar modelos grandes, casi nunca sin obra: el límite no es el espacio, es la potencia eléctrica disponible y la capacidad de extraer el calor. Antes de cualquier cotización, la pregunta a resolver es cuántos kW por rack aguanta el sitio hoy.
¿Qué importa más, la GPU o la red?
Las dos, pero la red se subestima siempre. Como un modelo grande no cabe en una sola GPU, el trabajo se reparte y las GPUs tienen que hablarse constantemente. Si esa comunicación se atora, las GPUs se quedan esperando y pagas por capacidad que no usas. En estos entornos la red es parte del procesador, no un servicio de fondo.
¿De verdad hay que comprar racks completos?
En los diseños de referencia actuales para entrenamiento, sí: la unidad es el rack integrado, montado y refrigerado de fábrica, que pesa más de una tonelada. Eso cambia el contrato, la instalación, el soporte y la forma de crecer. Para inferencia hay opciones más pequeñas y por eso conviene separar bien los dos casos de uso antes de dimensionar.
Lo que me llevo de esto
Cuando empecé a estudiar centros de datos de IA esperaba aprender de GPUs. Y sí, pero lo que de verdad me reordenó la cabeza fue darme cuenta de que casi todo lo difícil está fuera de la GPU: en el agua, en la acometida eléctrica, en el peso del rack y en una red que dejó de ser plomería.
Hay algo que me gusta de eso, y es que devuelve la conversación a donde yo vengo. Durante años me tocó defender que las redes son la base de todo y que nadie las mira hasta que fallan. En un clúster de IA eso ya no hay que defenderlo: si la red no va, las GPUs no trabajan, y se nota en la factura el mismo día.
La semana que viene, los servidores: entramos al catálogo de NVIDIA a traducir los nombres en decisiones. 🚀
Que los sistemas estén con ustedes. ✦
Imagen destacada generada con inteligencia artificial.
Ethel Méndez
Senior Product Manager en observabilidad y redes B2B, con 20 años de campo, NOC y servicios administrados en LATAM. Escribo lo que aprendí operando sistemas de verdad, no en un curso.