VideoPoet | Google lança IA para criar vídeos com textos e imagens

O Google lançou o modelo de IA generativa VideoPoet para criar vídeos a partir de prompts de texto. A nova ferramenta é capaz de dar movimento a uma imagem estática, produzir um vídeo do zero e ainda editar arquivos audiovisuais já existentes.

• Apple pode levar IA generativa a iPhones atuais e antigos
• Microsoft e TomTom levarão assistente de voz com IA para o seu carro

A premissa do VideoPoet é converter qualquer grande modelo de linguagem (LLM) ou modelo regressivo de IA em um gerador de vídeos — para isso, realiza várias tarefas de uma vez com a ajuda de tokens que codificam textos, imagens e áudios. Os resultados podem ser criados em formato quadrado ou com a orientação na vertical, já adaptados para plataformas de vídeos curtos. 

O grande destaque fica por conta da capacidade de criar conteúdos mais longos do que os concorrentes e ainda manter uma alta qualidade de resolução. Por padrão, a ferramenta gera vídeos de dois segundos de duração, mas consegue identificar o último segundo do arquivo e prever o que pode acontecer no momento seguinte, criando uma reação em corrente para preservar todos os objetos na tela. 

Em post no blog do Google Research, a empresa explica que “um dos gargalos atuais na geração de vídeos é a habilidade de produzir movimentos longos e coerentes” e reforça que a ferramenta é capaz de produzir movimentos com alta fidelidade.

Com a novidade, o Google agora tem modelos lançados nos principais segmentos de IA generativa: PaLM e Gemini, na criação de textos e códigos; Imagen, para criar imagens; Lyria, integrado ao YouTube para montar músicas; e o VideoPoet, para a produção de vídeos.

O que o VideoPoet consegue fazer?

A nova IA do Google opera com algumas funções principais:

• Texto para vídeo: identifica o prompt em texto e cria um vídeo com base nas informações enviadas;
• Imagem para vídeo: converte uma imagem estática em um vídeo animado;
• Edição de vídeo: usa os prompts de texto para editar aspectos do vídeo, como efeitos de profundidade, resolução e mudanças de movimento;
• Estilização: aplica um estilo visual inteiro a um vídeo existente;
• Pintura interna e externa: pode ser usado para preencher o espaço de tela de um vídeo com IA;
• Vídeo para áudio: extrai somente a faixa de áudio de um arquivo.

Vale reforçar que todos os recursos são usados a partir de um comando de texto. Você pode, por exemplo, pedir para inserir “uma mulher bocejando” na pintura da Mona Lisa, ou complementar o prompt para gerar um estilo visual específico, como fotorrealismo, arte digital ou dupla exposição.

Demonstração já disponível

Ainda não é possível usar o VideoPoet para criar vídeos, mas o Google liberou uma demonstração com exemplos dos principais efeitos e comandos de textos compatíveis — você pode acessá-la em sites.research.google/videopoet.

Por outro lado, quem quer colocar a mão na massa pode conferir outras IAs generativas que criam vídeos a partir de textos ou fotos.