NVIDIA usa inteligência artificial para transformar imagens 2D em cenas 3D

A NVIDIA desenvolveu uma nova tecnologia que permite transformar imagens 2D em cenas 3D em apenas alguns segundos com a ajuda da inteligência artificial (IA). A novidade é conhecida como Instant NeRF (Neural Radiance Field), um modelo de renderização neural que renderiza em alta resolução.

• Nvidia lança recurso que transforma qualquer imagem 2D em modelo 3D vetorial
• Nvidia apresenta Omniverse Cloud, novo conjunto de ferramentas para projetos 3D

A tecnologia adota um processo chamado de "renderização inversa", no qual a IA calcula como a luz realmente se comporta, o que permite aos pesquisadores reconstruírem uma cena 3D a partir de várias fotos 2D tiradas a partir de diferentes ângulos.

A Instant NeRF é a técnica de renderização neural mais rápida desenvolvida até hoje, alcançando mais de 1.000 speedups (acelerações) em alguns casos. A inteligência artificial consegue aprender tudo o que precisa a partir de algumas dezenas de fotos e, em seguida, renderizar a cena final — tudo em questão de milissegundos.

"As possibilidades dessa tecnologia são muito abrangentes, e essa é, com certeza, uma revolução para o 3D. São graus de realidade e profundidade alcançados em instantes, mas com dados muito mais simples", afirma o Diretor da divisão Entreprise da NVIDIA para América Latina, Marcio Aguiar.

Algumas das utilidades da nova ferramenta incluem a criação de avatares virtuais, ambientes inteiros, construção de mapas 3D, treinamento de robôs de veículos autônomos, além de outras possibilidades.

A NVIDIA é uma das empresas pioneiras do metaverso e ela tem feito diversos investimentos no campo da criação de cenas 3D. A big tech também ultrapassou a Meta no ranking de mercado da Dow Jones em fevereiro e revelou os próprios avatares realistas do NVIDIA Omniverse em novembro.

Como funcionam os NeRFs?

Os NeRFs usam redes neurais para representar e renderizar cenas 3D realistas com base em uma coleção de imagens 2D e funcionam melhor com fotos tiradas em sucessão próxima e sem quaisquer elementos em movimento, visto que a tecnologia ainda os renderiza como desfocados.

"Um NeRF essencialmente preenche os espaços em branco, treinando uma pequena rede neural para reconstruir a cena, prevendo a cor da luz que irradia em qualquer direção, de qualquer ponto no espaço 3D", disse a NVIDIA, acrescentando que funciona até mesmo quando os objetos são obstruídos por pilares ou outros objetos.

“Se as representações 3D tradicionais, como malhas poligonais, são semelhantes a imagens vetoriais, os NeRFs são como imagens de bitmap: eles capturam densamente a forma como a luz irradia de um objeto ou de uma cena”, disse o vice-presidente de pesquisa gráfica da NVIDIA, David Luebke.

“Nesse sentido, o Instant NeRF pode ser tão importante para o 3D quanto as câmeras digitais e a compressão JPEG foram para a fotografia 2D — aumentando muito a velocidade, a facilidade e o alcance da captura e compartilhamento em 3D”, completou.

Melhorando o NeRF Instantâneo

A renderização de cenas 3D já está muito mais rápida com a tecnologia NeRF, porém ainda leva tempo dependendo da complexidade, visto que a tarefa de treinar a IA ainda leva horas em alguns casos.

Com o NeRF instantâneo, o tempo de renderização reduz significativamente por conta de uma técnica desenvolvida pela NVIDIA conhecida como codificação de grade de hash multirresolução — um novo método de entrada otimizado para GPUs NVIDIA.

Os pesquisadores da NVIDIA também buscam entender como essa técnica de codificação de entrada pode ser usada para acelerar vários desafios de IA, como aprendizado por reforço, tradução de idiomas e algoritmos de aprendizado profundo de uso geral.