Cloud TPU v5p é o novo e mais poderoso acelerador de IA do Google
Por Daniel Trefilio | Editado por Jones Oliveira | 06 de Dezembro de 2023 às 12h00
A Google apresentou o novo Cloud TPU (Unidade Tensor de Processamento) v5p, para próxima geração de carga de trabalho em IA. O v5p é a solução de TPU mais poderosa da Google, capaz de treinar modelos LLM até 2,8 vezes mais rápido que geração anterior e irá alimentar ecossistema de produtos Google, entre Android, Gmail e YouTube.
Diferente do v5e, apresentado em agosto com foco em eficiência operacional de custo reduzido, o v5p é projetado para o maior desempenho possível. O novo TPU é quatro vezes mais escalável que o atual TPU V4, e entrega duas vezes mais desempenho em operações de pontos flutuantes (FLOPS).
Hipercomputadores otimizados para soluções de IA
O Cloud TPU v5p traz 8.960 chips integrados via interconectores com 4.800 Gbps de largura de banda. Além disso, ele conta com três vezes mais memória HBM, também com maior largura de banda, representando um escalonamento extremamente significativo em relação ao v4.
Para tirar o máximo proveito dessa evolução, a Google lançou hipercomputadores de IA equipados com os TPU v5p, garantindo otimização entre hardware e softwares em um produto seguro, confiável e de fácil implementação. Isso permite que empresas contratem soluções em nuvem flexíveis, adequadas a cada demanda e com amplo suporte às ferramentas mais modernas de IA.
| Comparativo TPUs Google para caraga de trabalho em IA e LLM | |||
| v4 | v5e | v5p | |
| Chips por unidade | 4.096 | 256 | 8.960 |
| Largura de Banda Interconectores | 2.400 Gbps | 1.600 Gbps | 4.800 Gbps |
| BF16 TFLOPS | 275 | 197 | 459 |
| Memória HBM | 32 GB | 16 GB | 95 GB |
| Largura de Banda HBM | 1.228 GB/s | 820 GB/s | 2.795 GB/s |
“Em nossos estágios iniciais de uso, a Google DeepMind e Google Research observaram velocidades 2x superiores em treinamento de modelos LLM com os chips v5p sobre a nossa atual geração v4.”, afirmou Yoav HaCohen, Chefe de Pesquisa em IA Generativa da Lightricks.
Segundo Jeff Dean, pesquisador chefe da Google DeepMind, os TPU v5p e hipercomputadores de IA da Google levam a clientes parceiros “o resultado de décadas de pesquisa em IA”, para que eles possam inovar cada vez mais rápido nesse segmento.