Nova IA da Meta consegue selecionar e mover objetos em vídeos
Por André Lourenti Magalhães | •
É comum ver editores de imagens com IA que conseguem identificar, selecionar e mover objetos dentro de uma foto. Agora, a Meta pretende fazer a mesma coisa em vídeos, graças ao modelo Segment Anything Model 2 (SAM 2).
A Big Tech informa que o SAM 2 consegue segmentar qualquer objeto e acompanhá-lo em tempo real por todos os frames do vídeo. O modelo consegue resolver vários problemas existentes em outras IAs de segmentação, como o movimento rápido, mudanças de aparência e cenas em que outros elementos “bloqueiam” o objeto central.
Alguns dos exemplos publicados pela Meta incluem um vídeo de um skatista, no qual é possível recortar apenas a pessoa e trocar todo o fundo. Além disso, consegue concentrar em mais de um item, como controlar o movimento individual de cada bola durante um malabarismo.
O SAM 2 poderia ser usado para coletar dados nos treinamentos de sistemas de computação visual, como aqueles usados em veículos autônomos. A princípio, a empresa liberou apenas uma demonstração da tecnologia, mas a novidade tem potencial para simplificar edições de vídeos.
Modelo aberto
Assim como em outras tecnologias de IA desenvolvidas pela Meta, todo o código e o conjunto de dados do SAM 2 foi liberado de forma aberta no GitHub. Vale lembrar que o Llama 3.1, o mais poderoso já feito pela Big Tech, é considerado o primeiro modelo de código aberto com resultados similares a opções fechadas, como o GPT-4o, da OpenAI.