Apple desenvolve IA para animar imagens estáticas

Pesquisadores da Apple revelaram o Keyframer, um modelo de inteligência artificial (IA) para animar imagens estáticas sem depender de apps de edição avançada. O estudo foi assinado por Tiffany Tseng, Ruijia Cheng e Jeffrey Nichols e publicado no repositório arXiv no começo de fevereiro.

• Apple | Por que a marca da fabricante do iPhone é uma maçã mordida?
• Nostalgia | Relembre todos os iPhones já lançados pela Apple

Animação de imagens estáticas

A solução ataca uma área que é pouco explorada por esse campo, segundo os pesquisadores: a animação. A ideia é aplicar um grande modelo de linguagem (LLM) para auxiliar o trabalho de artistas, designers, desenvolvedores e afins que atuam em diversas frentes, como publicidade, jogos e interfaces de usuário.

“Baseado em entrevistas com designers e engenheiros de animação profissionais, o Keyframer oferece suporte à exploração e ao refinamento de animações por meio da combinação de prompt e edição direta da saída gerada”, diz o estudo. “O sistema também permite que os usuários solicitem variantes de design, apoiando a comparação e a idealização.”

Apesar da prévia, a tecnologia ainda não tem um destino final definido neste momento. Por outro lado, o modelo tem o potencial de oferecer recursos do sistema operacional para apps de edição de imagens e de ilustrações desenvolvidos para iPad ou Mac, por exemplo.

Além disso, é um caminho diferente dos softwares que pegam fotos ou pinturas para transformá-las em vídeos. O Keyframer, na verdade, tem como foco ilustrações, ícones e similares guardados em arquivos de imagem no formato SVG.

Como funciona o Keyframer

O algoritmo utiliza o GPT-4, modelo de linguagem da OpenAI, para dar vida a arquivos SVG, que são compostos por vetores e garantem grande flexibilidade para edições sem perder a resolução e qualidade.

No estudo, a interface ainda é bem rudimentar, focada apenas na demonstração dos “motores” da ferramenta. Todavia, ela já dá uma noção de como a solução funcionaria no dia a dia.

Primeiro, o usuário precisa inserir o código da imagem SVG no Keyframer. De acordo com os pesquisadores, como o formato é baseado na linguagem XML, o modelo usa as descrições do código para identificar os objetos.

Ao enviar o código, basta inserir o prompt (comando do usuário) com o tipo de animação desejada. No exemplo dado, os pesquisadores utilizaram uma ilustração de um planeta e solicitaram uma animação para alterar a cor do céu.

O processamento é realizado pelo GPT-4, que analisa o pedido feito em linguagem natural e desenvolve o código CSS para animar o arquivo SVG. Depois, a ferramenta oferece a opção para ajustar a animação.

Para conferir os detalhes da pesquisa, acesse o repositório arXiv (arxiv.org/abs/2402.06071).

Apple vai focar em IA

O Keyframer ainda é um projeto em desenvolvimento sem expectativa de lançamento. Mesmo assim, é mais uma movimentação da Apple para correr atrás do tempo perdido, depois que Google, Microsoft e outras empresas do setor apostaram quase todas as suas fichas em inteligência artificial. 

No começo de fevereiro, o CEO Tim Cook afirmou que a empresa vai continuar a “investir nessas e em outras tecnologias que moldarão o futuro”, incluindo IA. “Estamos entusiasmados em compartilhar os detalhes do nosso trabalho contínuo nessa área ainda neste ano”, complementou o executivo na época.

De lá para cá, alguns avanços vieram à tona, como o MLLM-Guided Image Editing (MGIE), modelo capaz de transformar texto em imagem e que segue os passos do DALL-E e o MidJourney. 

A expectativa é de que os novos recursos sejam apresentados na WWDC 2024, junto com o futuro iOS 18.