MobileLLM | Meta desenvolve modelo de IA compacto para celulares
Por Guilherme Haas • Editado por Luciana Zaramela |
A Meta AI revelou uma nova abordagem inovadora para a criação de modelos de linguagem eficientes, especificamente projetados para celulares e dispositivos com recursos limitados. Apelidado de MobileLLM, o modelo foi apresentado em estudo publicado no dia 27 de junho e desafia a crença comum de que modelos de IA eficazes precisam ser gigantescos.
A equipe de pesquisa, composta por membros dos Meta Reality Labs, PyTorch e Meta AI Research (FAIR), concentrou-se na otimização de modelos com menos de 1 bilhão de parâmetros — uma fração do tamanho de modelos como o GPT-4, que tem trilhões de parâmetros.
Modelo MobileLLM
O MobileLLM se apresenta como uma proposta para atender a demanda crescente por modelos de linguagem eficientes em dispositivos móveis. Com o aumento dos custos de computação em nuvem e as preocupações com a latência, a necessidade de soluções mais compactas se tornou evidente.
Além disso, a capacidade limitada de memória e processamento dos celulares torna inviável a execução de grandes modelos de IA diretamente nesses aparelhos. “No cenário atual da tecnologia móvel, a integração de um LLM como o LLaMA 2, com sete bilhões de parâmetros, é proibitivamente cara devido às limitações na capacidade da memória”, explica o time de pesquisadores no artigo.
O MobileLLM introduz algumas inovações que o distinguem de modelos anteriores. Os pesquisadores adotaram uma arquitetura que prioriza a profundidade do modelo em vez da largura e utiliza técnicas avançadas, como o compartilhamento de embeddings e a atenção agrupada por consultas, para otimizar o desempenho.
Desempenho do modelo
De acordo com os resultados do estudo, o MobileLLM demonstrou desempenho superior em benchmarks comuns, com melhorias de 2,7% a 4,3% em comparação a modelos anteriores de tamanho similar. Em tarefas específicas, como chamadas de API, o modelo de 350 milhões de parâmetros mostrou uma precisão comparável ao modelo LLaMA 2 de 7 bilhões de parâmetros, indicando que modelos mais compactos podem ser altamente eficazes.
“Nossos resultados experimentais, especificamente para modelos pequenos com capacidade limitada, revelam que priorizar a profundidade em vez da largura melhora o desempenho do modelo”, escrevem os pesquisadores.
Embora o MobileLLM ainda não esteja disponível para uso público, a Meta compartilhou o código de pré-treinamento com a comunidade, permitindo que outros pesquisadores expandam essa proposta em busca de modelos compactos e eficientes de IA.
Outra empresa que também desenvolve propostas compactadas de modelos de IA é a Microsoft. Em dezembro, a Big Tech apresentou o Phi-2, um SLM (modelo de linguagem de pequena escala) com 2,7 bilhões de parâmetros.
Fonte: arXiv