Nvidia lança recurso que transforma qualquer imagem 2D em modelo 3D vetorial

A Nvidia está lançando uma nova ferramenta que permite transformar imagens 2D em modelos 3D vetorizados. Ou seja, que depois podem ser modificados por qualquer pessoa. A empresa divulgou a informação em um painel a portas fechadas do qual o Canaltech participou durante a GTC, seu evento para desenvolvedores.

• GeForce Now chegará à América Latina no final deste ano
• Nvidia apresenta processador focado em veículos autônomos

Para exemplificar a ideia, a Nvidia usou o KITT, o carro criado totalmente por IA em A Super Máquina, série de 1982. No vídeo abaixo, é possível ver que eles usaram menos de uma dezena de fotos para isso, sendo que uma só já basta para criar um modelo.

A tecnologia se chama GANverse3D e funciona como um plugin dentro do Nvidia Omniverse, o conjunto de ferramentas de IA para design da empresa. Ele leva GAN no nome por usar a técnica de machine learning Generative Adversarial Network (GAN).

De forma básica, todo mecanismo em GAN usa dois sistemas de IA. Um que vai “estudar” o objeto foco (no nosso exemplo, o KITT) e outro que vai tentar produzir o resultado (no caso, transformar uma foto do KITT em um modelo 3D).

A primeira IA usa um banco de dados robusto para isso, com mais de 55 mil fotos de carros neste exemplo. Já a segunda IA tenta replicar a foto no modelo e “entrega” o resultado para a primeira IA analisar. Caso esteja muito diferente do que foi “aprendido”, o ciclo é refeito pela segunda IA até que o modelo 3D seja semelhante à versão 2D, garantindo o refino do processo.

“Uma simples foto de um carro, por exemplo, pode ser transformada em um modelo 3D para ser usado em uma cena, completo com luzes dianteira e traseiras reais”, explica a companhia. Segundo a apresentação, esse processo demora 63 milissegundos em uma máquina com placas de vídeo RTX comuns.

Embora estejamos falando de carros por aqui, a equipe disse que quaisquer fotos de objetos e até pessoas podem ser transformados em modelos 3D, com melhor ou pior nível de fidelidade por enquanto.

“A gente escolheu um carro por ser um objeto que se modifica muito pouco e por ser bastante simétrico. Mesmo em movimento, ele não deforma muito, nem mexe muitas partes”, disse Sanja Fidler, uma das pesquisadoras que participou do desenvolvimento do projeto.

Com o tempo, a biblioteca de imagens de objetos do GANverse3D deve ser alimentada, permitindo uma transposição mais fiel de itens diversos. Atualmente, a plataforma é capaz de oferecer bons resultados com carros, prédios e alguns animais como cavalos.

O objetivo do time é baratear técnicas de modelagem 3D simples. Pelo exemplo do vídeo, é possível perceber que o carro tridimensional não traz todos os efeitos de luz e detalhes que a foto oferece. Ou seja, pode não funcionar para um filme ou jogo que demandam maior realismo.

Entretanto, torna-se uma ferramenta útil para arquitetos, designers e outros criadores que gostariam de criar elementos de modelagem. Ainda, podem ser usados na indústria de games e audiovisual para testar ideias, sem que os desenvolvedores precisem fazer uma modelagem complexa só para experimentação.

De acordo com Fidler, qualquer foto pode ser usada neste processo. No caso de uma imagem com vários carros, o sistema vai privilegiar o centro da foto, mas é possível escolher qual item será transposto para o 3D.

O sistema já está disponível dentro do Nvidia Omniverse, que funciona em placas de vídeo RTX da empresa.