Meta usa mais de 100 mil GPUs NVIDIA H100 para treinar Llama 4
Por Diego Corumba • Editado por Jones Oliveira | •
Mark Zuckerberg, CEO e fundador da Meta, revelou que está usando um cluster gigantesco de GPUs NVIDIA H100 para treinar seu novo modelo de inteligência artificial, o Llama 4. De acordo com o executivo, o modelo acomoda mais de 100 mil placas e está sendo usado em total capacidade.
- Clique e siga o Canaltech no WhatsApp
- Meta AI no WhatsApp é confiável? Veja o que evitar compartilhar
- Servidores H100 para IA consomem mais energia que alguns países
Segundo o dono do Facebook, WhatsApp e do Instagram, o Llama 4 trará “novas modalidades”, terá um “raciocínio forte” e será “muito mais veloz” do que os grandes modelos de linguagem (LLM) usados atualmente.
Os planos de Zuckerberg para o Meta é manter sua competitividade contra as inteligências artificiais de seus concorrentes - como a Microsoft, Google e o xAI, de Elon Musk, que também trabalham no desenvolvimento de LLMs que serão vistas na próxima geração.
É importante mencionar que a Meta não é a única a utilizar um cluster com mais de 100 mil GPUs NVIDIA H100. Elon Musk já tinha afirmado, em julho, que usava uma estrutura similar para treinar o Grok - IA do X - e que dobraria sua capacidade para 200 mil placas.
Porém, Zuckerberg parece ter planos mais ambiciosos. Sua projeção é que eles tenham até 500 mil GPUs até o fim de 2024. Ou seja, possivelmente a disputa ficará ainda mais acirrada entre as gigantes da tecnologia.
Diferenças entre o Llama 4 e os demais
A abordagem da Meta para o Llama 4 difere dos demais LLMs vistos no mercado, já que ele estará disponível de forma gratuita para todos. Ou seja, pesquisadores, empresas e até órgãos governamentais poderão usar a tecnologia sem custos adicionais.
Como o GPT-4o da OpenAI e o Gemini do Google exigem que o usuário acessem a IA via API, isso permitirá que a inteligência artificial de Zuckerberg atinja uma popularidade ainda maior dentro do mercado.
No entanto, é importante lembrar que a Meta mantém algumas restrições sobre o Llama - como o LLM não permitir o uso comercial e a empresa não informar como o modelo é treinado.
Preocupações com consumo energético
A declaração de Zuckerberg abre diversas preocupações sobre a energia que essas 100 mil GPUs NVIDIA H100 consumirão. Se apenas uma delas tem um consumo anual de 3,7MWh, isso indicaria que a cluster da Meta tem potencial para usar 370GWh em um ano.
Para um grau comparativo, este consumo é o equivalente à média de 34 milhões de residências. Um pouco menos do que três cidades de São Paulo usando a mesma fonte simultaneamente.
O próprio Zuckerberg já afirmou que essas restrições energéticas vão limitar o crescimento das inteligências artificiais, mas isso não parece impedir as big techs de construírem centros cada vez maiores para treinar suas IAs.
Microsoft, Google, Oracle e Amazon estão avaliando o uso da energia nuclear, mas todas ainda estão em seu estágio inicial de construção de reatores modulares e de restauração de usinas - garantindo que eles terão energia suficiente para suas IAs em um breve futuro.
Novo passo da NVIDIA para GPUs
Além dos esforços da Meta e demais grandes corporações da indústria tecnológica, a NVIDIA também está dando um passo a mais nesse segmento. Está previsto para o início de 2025 a chegada das GPUs NVIDIA “Blackwell” B200, que prometem impulsionar ainda mais o mercado de IAs.
Já é dito que toda a produção inicial já foi vendida, com a NVIDIA colocando os demais pedidos em espera para a segunda leva que será fabricada. Além de um maior desempenho, também é esperado que o consumo energético seja superior ao visto nas atuais H100.
VÍDEO: IA DA META CHEGOU NO WHATSAPP!