Função secreta fará teclado do Android entender língua de sinais

O Google está preparando uma nova função de acessibilidade para o Gboard, teclado virtual do Android. Chamado Sign-to-Text (Sinal-para-Texto), o recurso foi encontrado em uma versão beta do aplicativo pelo Android Authority e deve usar a câmera do celular para interpretar gestos da língua de sinais em tempo real, transformando os movimentos em texto escrito. A novidade segue em desenvolvimento interno.

A ferramenta foi encontrada na versão beta 17.8.3.939743344-beta-arm64-v8a do Gboard por meio de uma análise no código do aplicativo. O recurso deve dividir o processamento entre o celular e a nuvem usando inteligência artificial. Para isso, o smartphone fará a leitura do vídeo e enviará apenas os dados dos movimentos para a IA do Google, ou seja, não vai compartilhar as imagens completas do usuário.

A tecnologia por trás do recurso é o SignGemma, modelo de IA desenvolvido pelo Google DeepMind para interpretar sinais e apresentado pela empresa no ano passado. Os códigos encontrados também indicam que o sistema poderá orientar o usuário durante a captura, com avisos sobre pouca iluminação ou baixa visibilidade da câmera. 

Ainda não está confirmado quais línguas de sinais serão compatíveis no lançamento. A expectativa é que a Língua de Sinais Americana (ASL) seja uma das primeiras opções, mas não há informações sobre suporte para variantes regionais, como a Língua de Sinais Britânica (BSL) ou outras línguas usadas em diferentes países. 

Tem previsão para o recurso chegar ao Gboard?

Até o momento, o Google não divulgou uma previsão para liberar o Sign-to-Text no Gboard. A descoberta aconteceu por meio de uma APK Teardown, uma técnica que analisa o código de versões de teste de aplicativos para encontrar referências a funções que ainda não foram anunciadas. 

Esse tipo de análise pode revelar recursos que estão em desenvolvimento, como textos, imagens e trechos de código relacionados a ferramentas futuras. No entanto, a presença desses elementos no aplicativo não significa que a função será lançada oficialmente ou que chegará ao público da mesma forma encontrada na versão beta.

Caso tenha gostado do texto, talvez também se interesse por conferir 8 recursos do Gboard que você precisa conhecer.