Engenheiros do MIT criam mundo 3D super-realista — Matrix, é você?

Pesquisadores do MIT, em parceria com as Universidades de Harvard e Stanford, todos nos EUA, estão trabalhando no desenvolvimento de um mundo virtual totalmente interativo, simulando ambientes digitais — internos e externos — com sistemas de áudio e vídeo de alta fidelidade.

• Mundo virtual da NVIDIA quer acelerar a evolução de robôs e carros autônomos
• O que é metaverso? Saiba mais sobre a realidade futurista que já está entre nós

Comparando com filmes de ficção científica, seria algo como "entrar na Matrix”, permitindo, por exemplo, que usuários, móveis e objetos estáticos interajam em um universo virtual como fariam na vida real, com sensações táteis e sensoriais que funcionariam de acordo com as leis da física.

“Nossa plataforma calcula orientações de objetos, características físicas e a velocidade de materiais fluidos, moles ou rígidos durante o processo de interação, reproduzindo colisões precisas e sons de impacto comuns em situações do dia a dia, como empurrar uma cadeira ou derrubar um copo de vidro”, explica o engenheiro do MIT Chuang Gan, coautor do estudo.

ThreeDWorld

A plataforma chamada ThreeDWorld (TDW) foi projetada para ser flexível e totalmente adaptável, gerando cenas realistas sintéticas e renderização de áudio em tempo real. Esse conjunto de dados audiovisuais pode ser ajustado para trabalhar com humanos e redes neurais de aprendizagem de forma integrada.

Agentes robóticos e avatares personalizados podem ser inseridos na simulação para realizar qualquer tipo de tarefa. Com óculos de realidade virtual (RV), por exemplo, o usuário pode interagir dentro desse espaço digital como se estivesse no mundo real, preservando todas as sensações com as quais já está acostumado.

“A maior parte da inteligência artificial (IA) é baseada no aprendizado supervisionado, que depende de enormes conjuntos de dados de imagens ou sons compilados por humanos, o que torna esses sistemas muito caros. Um simulador como o TDW contorna esse problema gerando cenas onde todos os parâmetros e anotações já são conhecidos”, acrescenta o professor de ciências cognitivas do MIT Josh McDermott, autor principal do estudo.

Unity3D

Para construir um sistema compatível com a maioria dos dispositivos, os pesquisadores usaram a plataforma de videogame Unity3D Engine, criando uma simulação composta por dois elementos: uma build que renderiza imagens, sintetiza o áudio e executa as simulações de física; e um controlador com interface baseada na linguagem Python que envia os comandos para a build.

Os programadores precisam apenas construir e povoar a cena desejada com modelos 3D extraídos de uma biblioteca repleta de objetos, peças móveis, animais, veículos e outros itens que respondem fielmente às mudanças de iluminação e ao comportamento físico no espaço digital.

A equipe também criou plantas baixas virtuais já mobiliadas que os usuários podem preencher com agentes robóticos e avatares, simulando interações audiovisuais acionadas pelas colisões entre personagens e objetos dentro da simulação, com atenuação e reverberação de ruídos para tornar a experiência mais realista.

Dois motores físicos no TDW alimentam deformações e reações entre objetos em interação — um para corpos rígidos e outro para objetos macios e fluidos. O sistema executa cálculos instantâneos em relação à massa, volume e densidade, permitindo que os algoritmos aprendam como os objetos com diferentes propriedades físicas se comportariam juntos.

“Ao expandir os recursos de simulação física do TDW para representar o mundo real com mais precisão, estamos tentando desenvolver novos benchmarks para o avanço das tecnologias de IA e usar esses dados para resolver novos problemas que até agora eram difíceis de imaginar”, encerra Chuang Gan.

Fonte: MIT