CPUs já são maioria em carga de trabalho de inferência em IA
Por Daniel Trefilio | Editado por Jones Oliveira | 04 de Março de 2024 às 16h25
Durante a conferência TechFieldDay, Brandon Royal, Gerente de Produtos do Google Cloud Services, trouxe dados sobre diferentes cargas de trabalho em IA, apontando que processadores são os maiores responsáveis por inferências. Atualmente, as GPUs são responsáveis, principalmente, pelo processamento de treinamento dos modelos de linguagem (LLM).
- Era da IA nos PCs | As projeções da Intel para 2024 e além
- Qual o futuro da inteligência artificial na AMD?
Segundo Royal, implantação de infraestruturas baseadas em GPUs ou CPUs por novas empresas deve depender de quais tarefas de IA serão mais benéficas para suas operações e otimizações de fluxo. Com isso, soluções em escala devem começar a ganhar força nos próximos meses, desacelerando um pouco a adoção de produtos focados amplamente em GPUs, como os aceleradores NVIDIA H100.
Recursos subutilizados
Considerando o cenário atual, é praticamente certo que empresas de todos os tamanhos vão precisar adotar IA até certo ponto em seus processos para se manterem competitivas. A Era da IA já está criando uma pressão para que essa nova tecnologia passe a ser vista como um investimento, não apenas necessário, como urgente.
No entanto, produtos diferentes implicam em possibilidades mais ou menos amplas de aplicações, além de exigirem soluções bastante distintas. Enquanto modelos de IA como GPT-4 e Gemini podem chegar a operações com trilhões de parâmetros, eles seriam muito pouco aproveitados por uma empresa que precisa apenas de uma assistente de IA para otimizar gerenciamento de documentos, agendas, filtragem de tarefas e pequenas inferências via chatbots personalizados.
Tanto por isso, faz muito pouco sentido adotar um modelo extremamente robusto e, acima de tudo, exigente em termos de hardware. Sendo assim, adotar um modelo de IA como o Mistral, também permite adotar uma infraestrutura baseada nos novos processadores Xeon, ou mesmo nas APUs AMD MI300, possibilitando um investimento inicial reduzido, se comparado aos superchips GH200, além de um custo total de operação também reduzido.