GPUs Intel Gaudi 3 trazem 4x mais desempenho que Gaudi 2 em IA
Por Daniel Trefilio | Editado por Jones Oliveira | 09 de Abril de 2024 às 12h35
A Intel apresentou nesta terça-feira (9) os novos aceleradores de IA Intel Gaudi 3 durante o evento Intel Vision 2024. Com 4x mais desempenho computacional que as Gaudi 2, a nova geração de GPUs ainda traz aumento de 1,5x e 2x, respectivamente, nas larguras de banda de memória e rede, servindo como uma das poucas alternativas do mercado para infraestrutura de IA Generativa em escala.
- Como a Intel quer revolucionar os computadores com os AI PCs
- Intel Powerhouse 2023 mostra potencial para futuro e presente da IA
O potencial latente das tecnologias da IA para avançar diferentes mercados é bastante evidente, mas a adoção das soluções ainda é muito incipiente. Isso porque, até então, a maioria dos hardwares necessários são extremamente caros e, geralmente, superdimensionados para a necessidade real da maioria das empresas.
“No cenário em constante evolução do mercado de IA, ainda persiste uma lacuna na atual oferta [de soluções]. O feedback da nossa base de clientes e o mercado mais amplo sinalizam um desejo por um leque maior de opções”, afirmou Justin Hotard, VP do segmento de Data Center a AI Group da Intel.
Até 50% mais eficiente que a infraestrutura atual
As GPUs Gaudi 3 combinam 64 Núcleos de Processamento Tensor (TPCs) personalizados para IA e totalmente programáveis a 8 Motores de Multiplicação Matricial (MME), entregando excelente desempenho em processamento computacional heterogêneo. Cada coprocessador MME é capaz de executar 64 mil operações paralelas, garantindo capacidade para lidar com operações matriciais complexas, algo fundamental em algoritmos de Deep Learning.
Além disso, as placas contam com 128 GB de memória HBMe2 com 3,7 TB de largura de banda, permitindo um processamento mais amplo de conjuntos de dados de IA Generativa com menos GPUs. O resultado são servidores com menor custo total de operação e até 50% mais desempenho, 40% mais eficiência energética e tempos de treinamento em modelos Llama 2 e GPT3 do que racks com as placas NVIDIA H100.
No quesito velocidade de inferência, as Gaudi 3 ainda são 30% mais rápidas em modelos Llama, de 7 bilhões e 70 bilhões de parâmetros, e modelos Falcon de 180 bilhões de parâmetros que as NVIDIA H200.
As placas Gaudi 3 estarão disponíveis para as fabricantes OEM a partir do segundo trimestre de 2024. Entre as parcerias de destaque estão Dell Techonolgies, HPE, Lenovo e Supermicro, com soluções utilizando os novos aceleradores chegando ao mercado já no terceiro trimestre.