Apple pode levar IA generativa a iPhones atuais e antigos
Por Vinícius Moschen • Editado por Wallace Moté |
![Ivo Meneghel Jr/Canaltech](https://t.ctcdn.com.br/a-UvIEP3mbHGWNvVDZlk0TheYVw=/0x0:6208x3314/640x360/smart/i809001.jpeg)
A IA generativa é um dos recursos mais esperados para os celulares Android anunciados entre 2023 e 2024, mas a Apple ainda não mostrou nada parecido para os modelos de iPhone. Contudo, um documento de pesquisadores da Maçã publicado recentemente mostra como a marca pode trazer este recurso não somente para as gerações futuras, mas também nas unidades que já estão em circulação.
- Linha iPhone 16 pode ter processador A18 em todos os modelos
- Empresas vão investir mais em Inteligência artificial e análise de dados em 2024
Como os grandes modelos de linguagem (LLMs) utilizam muita memória RAM, é possível que a Apple precise encontrar formas alternativas de viabilizar a IA generativa, e é justamente este o tema abordado pelo relatório. Para referência, os iPhones atuais possuem no máximo 8 GB de RAM, enquanto alguns aparelhos Android já chegam a 24 GB.
![Canaltech](/logo-canaltech.png)
De acordo com o documento, a Apple pretenderia manter os parâmetros do modelos de linguagem no armazenamento do dispositivo, e levaria-os à RAM de acordo com a necessidade, em vez de carregar o modelo inteiro na memória mais veloz:
“Coletivamente, estes métodos permitem rodar modelos com até o dobro da DRAM disponível, com um aumento na velocidade de inferência de até 4-5x em CPU, e 20-25x em GPU, respectivamente, quando comparada com as abordagens de carregamento normais.”
Na prática, isso significa que os modelos de IA generativa poderiam ser carregados até mesmo em modelos mais antigos, incluindo opções com 4 GB ou 6 GB de RAM.
A utilização da RAM para os modelos é essencial, já que ela traz velocidades de escrita e leitura bem mais altas que os chips NAND usados para armazenamento. Ou seja, a formação de frases e imagens por IA leva um tempo menor, e as respostas ficam prontas em questão de segundos.
As marcas responsáveis pela IA em aparelhos Android também estão trabalhando em suas otimizações nos LLMs, ainda que em abordagens diferentes. Os processadores mais recentes da Qualcomm e da MediaTek já oferecem precisão INT4 para reduzir o tamanho destes modelos, e no futuro novas soluções podem levar a IA também para smartphones intermediários e de entrada.
Fonte: Hugging Face