Intel Vision presentó el acelerador de IA Intel Gaudi 3, marcando un avance significativo en la computación de inteligencia artificial (IA). Este último acelerador ofrece 4 veces más cómputo de IA para BF16, 1.5 veces más ancho de banda de memoria y 2 veces más ancho de banda de red en comparación con su predecesor. Con estas mejoras, el acelerador Intel Gaudi 3 brinda un rendimiento y productividad mejorados. Destinado para tareas de entrenamiento e inferencia de IA, especialmente para modelos de lenguaje grandes (LLMs) y modelos multimodales populares.
Se basa en el éxito del acelerador de IA Intel Gaudi 2, que es la única alternativa de referencia MLPerf para LLM disponible en el mercado. Intel propone a los clientes una opción de software de código abierto y redes Ethernet estándar de la industria para una escalabilidad del sistema más flexible. Brindar software basado en la comunidad y soluciones de red estándar. Intel tiene como objetivo capacitar a las empresas para que escalen sus sistemas y aplicaciones de IA de manera más eficiente.
Intel Gaudi 3
La introducción del acelerador Intel Gaudi 3 aborda las necesidades cambiantes del mercado de IA. Las empresas en sectores críticos como finanzas, manufactura y salud están adoptando cada vez más tecnologías de IA. Estas empresas buscan soluciones que no solo ofrezcan un rendimiento superior, sino también escalabilidad, rentabilidad y eficiencia energética. Con su combinación de rendimiento de precio, escalabilidad del sistema y ventaja en el tiempo de valor, el acelerador Intel Gaudi 3 emerge como una opción convincente para empresas que buscan acelerar sus iniciativas de IA.
Con una arquitectura personalizada diseñada para una informática eficiente de IA a gran escala, el acelerador Intel Gaudi 3 presenta varias mejoras clave sobre su predecesor. Está fabricado con un proceso de 5 nanómetros y permite la activación de todos los motores en paralelo. Incluido el Motor de Multiplicación de Matrices (MME), los Núcleos del Procesador Tensor (TPCs) y las Tarjetas de Interfaz de Red (NICs). Esta activación en paralelo facilita la computación profunda rápida y eficiente. Esto hace que el acelerador Intel Gaudi 3 sea adecuado para manejar cargas de trabajo de IA complejas.
Una de las características destacadas del acelerador Intel Gaudi 3 es su motor de cómputo dedicado a la IA. Incluye 64 TPCs de IA programables y personalizados y ocho MMEs. Este motor de cómputo heterogéneo acelera las operaciones de IA en paralelo y admite varios tipos de datos, incluidos FP8 y BF16. Mejora así la eficiencia computacional y permite la computación de aprendizaje profundo de alto rendimiento.
Mejoras
Además, el acelerador Intel Gaudi 3 ofrece Memory Boost para Requisitos de Capacidad LLM, con 128 gigabytes (GB) de capacidad de memoria HBMe2, 3.7 terabytes (TB) de ancho de banda de memoria y 96 megabytes (MB) de memoria SRAM integrada. Estas mejoras de memoria permiten el procesamiento eficiente de grandes conjuntos de datos GenAI. Se traduce en un mejor rendimiento de la carga de trabajo y en una mayor rentabilidad del centro de datos.
El acelerador Intel Gaudi 3 también cuenta con capacidades de escalado eficiente del sistema, con veinticuatro puertos Ethernet de 200 gigabits (Gb) integrados en cada acelerador. Estos puertos Ethernet estándar de la industria facilitan el escalado flexible para admitir grandes clústeres de cómputo, eliminando el bloqueo del proveedor y permitiendo una expansión eficiente del sistema para satisfacer los requisitos en evolución de los modelos GenAI.
Además, el software Intel Gaudi integra el marco PyTorch y proporciona modelos optimizados basados en la comunidad de Hugging Face. Esto permite a los desarrolladores de GenAI operar a un alto nivel de abstracción, facilitando el uso y la productividad, y facilitando la migración de modelos entre tipos de hardware.
La disponibilidad del acelerador está programada para el segundo trimestre de 2024 para los OEM, con una disponibilidad general esperada para el tercer trimestre de 2024. Los OEM adoptantes notables incluyen Dell Technologies, HPE, Lenovo y Supermicro. Además, se espera que la tarjeta adicional Intel Gaudi 3 PCIe esté disponible en el cuarto trimestre de 2024.
En conclusión
El acelerador de IA Intel Gaudi 3 representa un avance significativo en la computación de IA, ofreciendo un rendimiento, escalabilidad y eficiencia mejorados para aplicaciones de IA a gran escala. Con sus características avanzadas y soporte de software de código abierto, está preparado para capacitar a las empresas para que aceleren sus iniciativas de IA y impulsen la innovación en el panorama de IA en constante evolución.
