Publicidade
Economize: canal oficial do CT Ofertas no WhatsApp Entrar

Apple pode levar IA generativa a iPhones atuais e antigos

Por| Editado por Wallace Moté | 22 de Dezembro de 2023 às 10h02

Link copiado!

Ivo Meneghel Jr/Canaltech
Ivo Meneghel Jr/Canaltech
Tudo sobre Apple

A IA generativa é um dos recursos mais esperados para os celulares Android anunciados entre 2023 e 2024, mas a Apple ainda não mostrou nada parecido para os modelos de iPhone. Contudo, um documento de pesquisadores da Maçã publicado recentemente mostra como a marca pode trazer este recurso não somente para as gerações futuras, mas também nas unidades que já estão em circulação. 

Como os grandes modelos de linguagem (LLMs) utilizam muita memória RAM, é possível que a Apple precise encontrar formas alternativas de viabilizar a IA generativa, e é justamente este o tema abordado pelo relatório. Para referência, os iPhones atuais possuem no máximo 8 GB de RAM, enquanto alguns aparelhos Android já chegam a 24 GB. 

Continua após a publicidade

De acordo com o documento, a Apple pretenderia manter os parâmetros do modelos de linguagem no armazenamento do dispositivo, e levaria-os à RAM de acordo com a necessidade, em vez de carregar o modelo inteiro na memória mais veloz:

“Coletivamente, estes métodos permitem rodar modelos com até o dobro da DRAM disponível, com um aumento na velocidade de inferência de até 4-5x em CPU, e 20-25x em GPU, respectivamente, quando comparada com as abordagens de carregamento normais.”

Na prática, isso significa que os modelos de IA generativa poderiam ser carregados até mesmo em modelos mais antigos, incluindo opções com 4 GB ou 6 GB de RAM. 

A utilização da RAM para os modelos é essencial, já que ela traz velocidades de escrita e leitura bem mais altas que os chips NAND usados para armazenamento. Ou seja, a formação de frases e imagens por IA leva um tempo menor, e as respostas ficam prontas em questão de segundos. 

Continua após a publicidade

As marcas responsáveis pela IA em aparelhos Android também estão trabalhando em suas otimizações nos LLMs, ainda que em abordagens diferentes. Os processadores mais recentes da Qualcomm e da MediaTek já oferecem precisão INT4 para reduzir o tamanho destes modelos, e no futuro novas soluções podem levar a IA também para smartphones intermediários e de entrada. 

Fonte: Hugging Face