Opera vai usar modelos de IA que rodam direto no navegador

A Opera anunciou que vai rodar uma série de LLMs (modelos de linguagem que abastecem chatbots de IA generativa) de forma local no próprio navegador. A medida faz parte de um programa experimental da empresa com recursos de IA e ajuda a reforçar a privacidade das conversas.

• Apple prepara mais um modelo de IA para rodar no iPhone
• Google vai destruir bilhões de dados do modo privado do Chrome

São mais de 150 variantes de 50 famílias de LLM disponíveis. Os modelos não são tão potentes quanto o GPT-4, que depende de um servidor na nuvem, mas existem algumas opções de destaque: é possível escolher o Llama (Meta), o Gemma (uma IA mais leve do Google inspirada no Gemini) ou o Mixtral (também usado no navegador Brave).

O Opera One foi um dos primeiros navegadores com suporte nativo à IA generativa com a chegada da assistente Aria, lançada em maio do ano passado. Na ocasião, a ferramenta usava a tecnologia GPT-3.5, da OpenAI, a mesma que abastece a versão gratuita do ChatGPT.

Os novos modelos locais fazem parte de um programa de testes chamado AI Feature Drops, com recursos experimentais para desenvolvedores. Portanto, é provável que a novidade passe por alguns bugs e problemas de uso nas primeiras etapas.

Por que usar um LLM local?

A principal vantagem de rodar um LLM no próprio dispositivo é a privacidade. Quando você usa uma IA baseada na nuvem, é necessário enviar o prompt para um servidor, o que pode expor informações para invasores ou a moderadores humanos. A Opera explica que um LLM local permite “processar um prompt diretamente na sua máquina, sem que o dado que você envia ao modelo saia do computador”.

A medida garante que as conversas não saiam do próprio dispositivo, mas tem um contrapeso na balança: pode exigir muitos recursos do hardware. A desenvolvedora informa que alguns modelos ocupam entre 2 GB a 10 GB de espaço de armazenamento e a performance pode ficar mais lenta em alguns PCs. 

Quem deseja experimentar o recurso precisa baixar o Opera One Developer, disponível gratuitamente para Linux, macOS e Windows. O LLM escolhido substitui a Aria na aba de assistente de IA.

Vale lembrar que a versão padrão da assistente está disponível em demais versões do navegador, como o Opera GX e o app para celulares.