Amazon ha lanzado los nuevos Amazon EC2 Trn3 UltraServers, equipados con el primer chip de IA de 3 nm de AWS, diseñado para optimizar el entrenamiento y la inferencia de modelos de inteligencia artificial. Estos servidores ofrecen un rendimiento hasta 4,4 veces superior al de su predecesor, Trainium2, además de una eficiencia energética notable y un ancho de banda de memoria mejorado. Con la capacidad de escalar hasta 144 chips Trainium3, los Trn3 UltraServers permiten a las organizaciones reducir significativamente los costes operativos y acelerar el tiempo de desarrollo de soluciones de IA. Clientes como Anthropic y Decart ya están experimentando reducciones en sus costes de entrenamiento e inferencia, destacando la capacidad del nuevo sistema para manejar cargas de trabajo complejas y ofrecer resultados a gran escala. La infraestructura avanzada también está preparada para futuras innovaciones con el próximo chip Trainium4 en desarrollo.
Amazon ha lanzado oficialmente los EC2 Trn3 UltraServers, una innovadora solución que integra el primer chip de inteligencia artificial (IA) de 3 nm desarrollado por AWS. Esta nueva tecnología está diseñada para ayudar a organizaciones de todos los tamaños a ejecutar cargas de trabajo complejas en el ámbito del entrenamiento e inferencia de modelos de IA.
Los Trainium3 UltraServers ofrecen un rendimiento excepcional, alcanzando hasta 4,4 veces más capacidad de cómputo y cuatro veces más eficiencia energética en comparación con sus predecesores, los Trainium2. Esto se traduce en una reducción significativa de los costos operativos y en la posibilidad de desarrollar soluciones de IA con mayor rapidez.
Con la capacidad de escalar hasta 144 chips Trainium3, estos servidores pueden proporcionar hasta 362 PFLOPs FP8, lo que permite entrenar modelos más grandes en menos tiempo y ofrecer inferencias a gran escala con una latencia reducida. Clientes como Anthropic, Karakuri y Ricoh han reportado reducciones en sus costos de entrenamiento e inferencia de hasta un 50% gracias al uso de esta tecnología.
A medida que los modelos de IA se vuelven más complejos, las demandas sobre la infraestructura computacional aumentan. Las organizaciones buscan constantemente maneras de acortar los tiempos de entrenamiento y mejorar la latencia durante la inferencia. Con el lanzamiento del Amazon EC2 Trn3 UltraServers, AWS busca democratizar el acceso a capacidades avanzadas de computación necesarias para proyectos ambiciosos en IA.
Los Trn3 UltraServers están diseñados específicamente para abordar las necesidades actuales del sector. Integran hasta 144 chips Trainium3 en un único sistema, lo que permite reducir drásticamente el tiempo necesario para entrenar modelos complejos, pasando de meses a semanas. Además, ofrecen tiempos de respuesta significativamente más rápidos, mejorando así la experiencia del usuario final.
Las pruebas realizadas con el modelo GPT-OSS han demostrado que es posible alcanzar tres veces más rendimiento por chip y obtener tiempos de respuesta cuatro veces más rápidos en comparación con los Trainium2. Esta mejora no solo optimiza el rendimiento general sino que también reduce considerablemente el costo por solicitud durante la inferencia.
El chip Trainium3 destaca no solo por su potencia, sino también por su eficiencia energética, logrando un aumento del 40% en comparación con generaciones anteriores. Este aspecto es crucial para las empresas que buscan implementar soluciones sostenibles sin comprometer el rendimiento. La arquitectura avanzada permite ofrecer una infraestructura rentable mientras se minimiza el impacto ambiental asociado a los centros de datos.
AWS ha desarrollado una infraestructura de red avanzada para acompañar este lanzamiento. El nuevo NeuronSwitch-v1 proporciona el doble del ancho de banda dentro de cada UltraServer y reduce significativamente los retardos entre chips, facilitando un flujo eficiente de datos necesario para las aplicaciones modernas basadas en IA.
Diversas empresas ya están experimentando resultados positivos utilizando Trainium. Por ejemplo, Decart ha logrado generar vídeos en tiempo real cuatro veces más rápido a mitad del costo comparado con soluciones basadas en GPU. Amazon Bedrock también está utilizando Trainium3 para gestionar cargas laborales en producción, evidenciando la madurez y capacidad del chip para entornos empresariales.
A medida que AWS continúa desarrollando su línea Trainium, ya se trabaja en el próximo modelo, Trainium4, que promete mejoras significativas en rendimiento y eficiencia energética. Se anticipa que esta nueva generación permitirá procesar solicitudes aún más rápido y manejar volúmenes mayores de datos sin comprometer la calidad o velocidad.
| Cifra | Descripción |
|---|---|
| 4.4x | Rendimiento de cómputo en comparación con Trainium2 UltraServers |
| 4x | Eficiencia energética en comparación con generaciones anteriores |
| 362 PFLOPs FP8 | Rendimiento máximo al escalar hasta 144 chips Trainium3 |
| 50% | Reducción de costes en entrenamiento e inferencia comparado con otras alternativas |
Los Trainium3 UltraServers son servidores de Amazon EC2 impulsados por el primer chip de IA de 3 nm de AWS, diseñados para ayudar a organizaciones a ejecutar cargas de trabajo ambiciosas para entrenamiento e inferencia de IA.
Los Trainium3 UltraServers ofrecen hasta 4,4 veces más rendimiento de cómputo, 4 veces más eficiencia energética y casi 4 veces más ancho de banda de memoria que los Trainium2 UltraServers.
Los clientes como Anthropic y Decart han reportado reducciones en los costes de entrenamiento e inferencia hasta en un 50%, así como mejoras significativas en la velocidad de inferencia y tiempos de respuesta.
El chip Trainium3 ha sido diseñado con innovaciones avanzadas que mejoran el rendimiento y la eficiencia energética, logrando un 40% más de eficiencia respecto a generaciones anteriores.
Los Trainium3 están diseñados específicamente para cargas de trabajo de IA del futuro, incluyendo sistemas agénticos, modelos de mezcla de expertos (MoE) y aplicaciones de aprendizaje por refuerzo.
Los Trn3 UltraServers pueden escalar hasta 144 chips Trainium3, proporcionando hasta 362 PFLOPs FP8 con una latencia significativamente reducida.
AWS ya está trabajando en el desarrollo del Trainium4, que se espera ofrezca mejoras significativas en rendimiento y eficiencia para soportar la próxima generación de entrenamiento e inferencia.