Como o Gemini vai controlar apps no seu celular? Veja o futuro da IA do Google
Por Viviane França • Editado por Bruno De Blasi |
O controle de apps pelo Gemini é uma expectativa por parte do Projeto Astra do Google DeepMind e vai permitir que a IA veja o que está na tela do celular, interaja com as informações e execute ações de forma autônoma no Android. No entanto, o recurso ainda está em fase de desenvolvimento, sem previsão de lançamento.
- O que é OpenClaw (ex-Clawdbot)? Conheça o agente ‘faz tudo’ de IA
- Testamos o Cowork: o agente de IA do Claude promete, mas tem ressalvas
A seguir, tire suas dúvidas sobre:
- Como vai funcionar o controle de apps pelo Gemini?
- A automação de tela com Gemini é segura?
- Quando o recurso será disponibilizado?
- O que é o Projeto Astra?
Como vai funcionar o controle de apps pelo Gemini?
O controle de aplicativos pelo Gemini será baseado em um recurso chamado automação de tela, identificado internamente pelo codinome “Bonobo”, que vai permitir que a IA “veja” o que está na tela e interaja com a interface do app em tempo real.
Assim, o Gemini poderá ler textos exibidos, rolar páginas, tocar em botões e seguir fluxos completos dentro de aplicativos de terceiros, mesmo que eles não tenham integração com o Google. A ideia é fazer com que a IA use o celular de forma semelhante a uma pessoa, com a execução de ações passo a passo conforme o objetivo definido pelo usuário.
Por exemplo, a IA vai conseguir realizar a solicitação de carros de transporte, como Uber, pedidos de comida e compras online de forma autônoma. O código do app Google também sugere a criação de áreas “Minhas Compras” ou “Meus Pedidos”, em que o usuário poderá acompanhar as ações realizadas pelo Gemini.
A automação de tela com Gemini é segura?
O próprio Google deixa claro que é necessário supervisionar constantemente as ações automatizadas, pois o Gemini pode cometer erros e a empresa não se responsabiliza por eles, cabendo ao usuário responder por todas as ações realizadas pela IA em seu nome.
Em relação à privacidade, há pontos sensíveis. Caso a opção “Manter Atividade” esteja ativada, capturas de tela das interações do Gemini com os aplicativos podem ser enviadas para revisores humanos treinados do Google, com o objetivo de melhorar o serviço.
Por isso, a empresa recomenda que a automação não seja utilizada para inserir senhas, dados de login, informações bancárias ou lidar com situações de emergência.
O usuário também poderá interromper a automação a qualquer momento e assumir o controle manual do dispositivo. Além disso, quem preferir pode continuar usando o Gemini apenas por meio de apps conectados.
Quando o recurso será disponibilizado?
Ainda não há data de lançamento. O recurso foi identificado em testes internos a partir da análise do código da versão beta do app Google, o que indica que ele ainda está em desenvolvimento e pode sofrer mudanças antes de ser liberado.
O que é o Projeto Astra?
O Projeto Astra é a iniciativa do Google para desenvolver um assistente de IA universal, multimodal e agêntico, que consegue ir além das respostas em texto e agir de forma proativa para ajudar o usuário no dia a dia.
Apresentado pelo Google DeepMind, o Astra fará com que o Gemini entenda contextos em tempo real, incluindo o que aparece na tela do celular ou na câmera, e tome decisões para executar tarefas. Isso inclui a automação de tela no Android, que vai possibilitar que a IA navegue por aplicativos, toque em botões e conclua ações como se estivesse usando o aparelho.
Confira outros conteúdos do Canaltech:
- O que são agentes de IA e o que eles podem fazer no seu celular?
- OpenAI Operator, Copilot e mais: conheça 4 agentes de IA
- O que é OpenAI Frontier? Conheça a nova plataforma de agentes de IA
VÍDEO: O Gemini é muito bom (e isso é um problema)