Publicidade
Economize: canal oficial do CT Ofertas no WhatsApp Entrar

MobileLLM | Meta desenvolve modelo de IA compacto para celulares

Por| Editado por Luciana Zaramela | 09 de Julho de 2024 às 15h15

Link copiado!

Reprodução/Freepik
Reprodução/Freepik

A Meta AI revelou uma nova abordagem inovadora para a criação de modelos de linguagem eficientes, especificamente projetados para celulares e dispositivos com recursos limitados. Apelidado de MobileLLM, o modelo foi apresentado em estudo publicado no dia 27 de junho e desafia a crença comum de que modelos de IA eficazes precisam ser gigantescos.

A equipe de pesquisa, composta por membros dos Meta Reality Labs, PyTorch e Meta AI Research (FAIR), concentrou-se na otimização de modelos com menos de 1 bilhão de parâmetros — uma fração do tamanho de modelos como o GPT-4, que tem trilhões de parâmetros.

Modelo MobileLLM

Continua após a publicidade

O MobileLLM se apresenta como uma proposta para atender a demanda crescente por modelos de linguagem eficientes em dispositivos móveis. Com o aumento dos custos de computação em nuvem e as preocupações com a latência, a necessidade de soluções mais compactas se tornou evidente.

Além disso, a capacidade limitada de memória e processamento dos celulares torna inviável a execução de grandes modelos de IA diretamente nesses aparelhos. “No cenário atual da tecnologia móvel, a integração de um LLM como o LLaMA 2, com sete bilhões de parâmetros, é proibitivamente cara devido às limitações na capacidade da memória”, explica o time de pesquisadores no artigo.

O MobileLLM introduz algumas inovações que o distinguem de modelos anteriores. Os pesquisadores adotaram uma arquitetura que prioriza a profundidade do modelo em vez da largura e utiliza técnicas avançadas, como o compartilhamento de embeddings e a atenção agrupada por consultas, para otimizar o desempenho.

Desempenho do modelo

De acordo com os resultados do estudo, o MobileLLM demonstrou desempenho superior em benchmarks comuns, com melhorias de 2,7% a 4,3% em comparação a modelos anteriores de tamanho similar. Em tarefas específicas, como chamadas de API, o modelo de 350 milhões de parâmetros mostrou uma precisão comparável ao modelo LLaMA 2 de 7 bilhões de parâmetros, indicando que modelos mais compactos podem ser altamente eficazes.

“Nossos resultados experimentais, especificamente para modelos pequenos com capacidade limitada, revelam que priorizar a profundidade em vez da largura melhora o desempenho do modelo”, escrevem os pesquisadores.

Embora o MobileLLM ainda não esteja disponível para uso público, a Meta compartilhou o código de pré-treinamento com a comunidade, permitindo que outros pesquisadores expandam essa proposta em busca de modelos compactos e eficientes de IA.

Outra empresa que também desenvolve propostas compactadas de modelos de IA é a Microsoft. Em dezembro, a Big Tech apresentou o Phi-2, um SLM (modelo de linguagem de pequena escala) com 2,7 bilhões de parâmetros.

Continua após a publicidade

Fonte: arXiv