Video Diffusion | Stability lança IA que transforma foto em vídeo
Por Felipe Demartini • Editado por Douglas Ciriaco |
A Stability liberou nesta semana uma nova versão de sua inteligência artificial, agora voltada a transformar foto em vídeo. O Stable Video Diffusion é capaz de criar clipes curtos a partir de imagens estáticas e está em fase de testes, inicialmente disponível de maneira exclusiva para pesquisadores em IA cadastrados junto à organização.
- Como expandir fotos com a IA do Photoshop ou DALL-E
- Como saber se uma foto foi criada por Inteligência Artificial
Os exemplos usados para demonstrar a tecnologia envolvem criações do próprio Stable Diffusion, o sistema de criação de imagens da própria Stability. A partir delas e também de prompts inseridos pelo usuário, a ferramenta foi capaz de criar cenas como a de um astronauta andando na superfície da Lua ou exibir uma pequena corrida entre animais fofinhos pilotando carros.
Segundo a organização, o Stable Video Diffusion é capaz de gerar vídeos com resolução 576 x 1024 pixels, com 14 a 25 frames de duração, de acordo com a análise da tecnologia e o pedido do usuário. A taxa de quadros por segundo também pode variar de 3 a 30 fps, conforme o que for inserido, enquanto a sintetização dos clipes acontece a partir de diferentes conjuntos de dados.
Apesar de ainda estar em fase de testes, a Stability cita resultados superiores da própria tecnologia em relação a outros modelos de transformação de fotos em vídeos usados durante o desenvolvimento. Ferramentas de empresas como Runway e Pika Labs foram usados na comparação, que também demonstra um foco maior da dona do Video Diffusion em ir além das imagens, chegando também aos clipes.
Mais do que isso, no comunicado oficial em que anunciou o lançamento da solução, a desenvolvedora fala em um propósito de criar modelos de IA “de todo tipo, para todos”. Já está em fase de testes, também, uma versão em que vídeos seriam criados a partir de prompts de texto enviados pelo usuário, com a Stability imaginando aplicações em setores como entretenimento, educação, publicidade e outros — a empresa já tem algo semelhante, voltado à geração de modelos 3D.
Por outro lado, a Stability também citou algumas das limitações do Stable Video Diffusion nesta fase inicial. Assim como a própria ferramenta de imagens, o gerador de vídeos não lida bem com rostos humanos e não é capaz de criar textos legíveis; os movimentos de câmera também são limitados, enquanto cenas fotorrealistas também estão fora das capacidades da IA.
Como usar a IA que transforma foto em vídeo?
Por enquanto, a Stable Video Diffusion está disponível apenas em caráter de testes e com acesso exclusivo para pesquisadores selecionados pela Stability. Um formulário disponível no site oficial (stability.ai/contact) dá acesso à lista de espera da solução, com futuros convites sendo enviados tanto para a tecnologia que transforma fotos em vídeos quanto para aquela que usa prompts na criação dos clipes.