Samsung explica como melhora fotos e vídeos feitos por diferentes raças

A Samsung apresentou recentemente sua linha Galaxy S22 cheia de novidades em câmeras, incluindo não apenas sensores maiores como também otimizações em software que vêm agradando aos críticos e público geral, incluindo o chamado Nightography para ambientes noturnos, melhorias no Space Zoom e modo retrato mais acertado. Para descobrir um pouco mais sobre como essas novidades trabalham e quais os desafios da marca em um mercado tão diverso quanto o da América Latina, o Canaltech conversou com o líder global de câmeras na divisão de Mobile Experience da Samsung Electronics, Dr. Sungdae Joshua Cho.

• Linha Galaxy Note está morta? Samsung responde
• Review Galaxy S22 Ultra | O celular mais completo até o momento

Dr. Cho está na Samsung desde 2004, já tendo trabalhado em times que desenvolveram funcionalidades como Wide Selfie, Sound & Shot e os editores de fotos e vídeos, além de ter liderado equipes responsáveis por funções focadas em inteligência artificial e realidade aumentada, como Single Take Photo, AR Emoji e Bixby Vision. Ele é o líder do time responsável por inovações de IA em software desde o Galaxy S9, estando focado no desenvolvimento de sistemas de câmera, framework, aplicativos e serviços de realidade aumentada para smartphones e tablets Galaxy.

Melhorias no Space Zoom

Um dos pontos que mais impressionou analistas — especialmente no Galaxy S22 Ultra — foi o quanto o Space Zoom melhorou entre as gerações. Mesmo com reduções em especificações em alguns pontos, a Samsung conseguiu elevar consideravelmente o nível de detalhes das imagens registradas a longas distâncias, algo notável especialmente em aproximações superiores a 30x.

De acordo com Dr. Cho, isso é resultado dos esforços em aprimorar a performance de componentes como NPU e GPU em quase duas vezes a cada ano, o que consequentemente dá mais margem para os desenvolvedores entregarem software baseado em IA cada vez mais robustos, aprimorando algoritmos responsáveis por funções como o Super Zoom. Ainda segundo ele, este é um esforço contínuo que seguirá ao longo dos próximos anos.

Modo retrato vs modo noturno

Outro ponto questionado foi sobre as evoluções da Samsung no modo retato e nas capturas feitas em condições de baixa luz, ambas situações naturalmente desafiadoras e que vêm mostrando resultados cada vez melhores a cada ano. Com a linha Galaxy S22, a Samsung destaca a capacidade de tirar melhores fotos no modo retrato em ambientes desafiadores, seja com a câmera frontal, com a câmera principal traseira, ou mesmo com a lente telefoto, que apresenta uma abertura menor e com isso tem normalmente maior dificuldade nesse tipo de cenário.

Segundo Dr. Cho, ambos os cenários são desafiadores em suas próprias maneiras. O modo retrato é especialmente difícil pela necessidade de entender o que precisa ser destacado, já que muitas vezes você está capturando uma cena com muitos elementos se movimentando ao fundo. Para tal, é necessário segmentar devidamente cada área da cena para definir o que é o objeto a ser destacado e em quais níveis ele se distancia do fundo, para então definir o nível de desfoque e onde ele deve ser aplicado.

Já no caso de ambientes noturnos — o chamado Nightography — a maior dificuldade está em trazer detalhes das partes mais escuras sem estourar as áreas mais claras, e para tal é necessário um algoritmo de IA devidamente treinado para elevar o alcance dinâmico sem sacrificar os detalhes ou a resolução. Para essa situação é usada uma solução de captura de múltiplos quadros, que mescla informações registradas nas mais variadas configurações de exposição para gerar uma imagem final com o melhor de tudo o que foi registrado.

Em ambos os casos a inteligência artificial é essencial — apoiada pelos incrementos em NPU e GPU —, pois são necessários milhares (ou mesmo milhões) de cálculos para definir o melhor cenário para a foto ou vídeo final, e tudo precisa ser feito o mais rapidamente possível, com o menor custo computacional possível e com o menor consumo de energia possível.

Expert RAW

Outro ponto de destaque da linha Galaxy S22 (que já vinha sendo comentado desde a chegada do Android 12 para a família Galaxy S21) foi o Expert RAW. A funcionalidade permite captura de imagens com ajustes finos, compressão mínima e profundidade de cores de até 16 bits, dando ao usuário o controle total de como os registros serão feitos e qual será o resultado final, em experiência similar ao que acontece com câmeras DSLR.

Dr. Cho destaca que as câmeras DSLR contam com sensores maiores devido ao espaço físico maior permitido pelas câmeras DSLR, e com isso o grande desafio da Samsung foi como entregar resultados em fotos RAW feitas por smartphones que fossem ao menos quase tão bons quantos, e com isso ser suficiente para substituir a câmera profissional. Segundo ele, os arquivos RAW que você consegue com câmeras e com smartphones serão diferentes pelas características de cada um, mas a ideia da marca era de entregar uma experiência geral tão boa quanto.

Partindo disso, a Samsung focou na parte do software e até mesmo colaborou com a Adobe para que os arquivos RAW pudessem ser editados de maneira satisfatória nos smartphones, sendo ainda usada a tecnologia de multiframes para gerar imagens RAW com qualidade superior já nativamente. Nela, são tiradas cerca de 15 fotos — a depender da condição de luz — simultaneamente quando o botão do obturador é pressionado, e então todas são sintetizadas em conjunto para criar uma imagem computacional RAW.

Desafios de se trabalhar com alta resolução

Diferente da geração passada quando Galaxy S21 e S21 Plus trouxeram câmeras de 12 MP, este ano toda a linha Galaxy S22 conta com sensores de ao menos 50 MP na câmera principal, e segundo Dr. Sungdae Joshua Cho um dos maiores desafios da nova geração foi justamente conseguir entregar os melhores resultados em resoluções tão altas.

De acordo com o executivo, a grande preocupação estava especialmente em ambientes de menor luminosidade, já que o usuário quer ter uma experiência de point-and-shoot (apontar e tirar a foto), ou seja, sem ter que esperar para que o registro seja feito. Novamente ele reforça o trabalho da inteligência artificial em funções como o multiframe e o adaptative pixel, onde o software define qual a melhor configuração para que as fotos saiam com alta qualidade e resolução, além de comentar sobre a importância de melhorias no processamento em segundo plano, velocidade do obturador e memória das câmeras.

Câmera potente sem se preocupar com aquecimento

Não é novidade para ninguém que um dos pontos que mais "estressam" os celulares é justamente a captura de imagens e vídeos, em especial quando se tratam de vídeos em altíssimas resoluções ou taxas de quadros por segundo.

Perguntado sobre como a Samsung vem trabalhando para evitar o superaquecimento das câmeras nos países com altas temperaturas da América do Sul, Dr. Cho comentou que em termos de software vem sendo feito um grande esforço para usar menos memória e recursos computacionais. Isso reforça a importância da nova geração de NPU e GPU trabalhando com inteligência artificial nos dispositivos, permitindo enfrentar cargas mais pesadas de trabalho com um menor esforço que as gerações passadas.

Como celulares Samsung registram pessoas de raças diversas

Outro ponto de suma importância é o cuidado maior que diversas marcas vêm tomando para que seus produtos capturem pessoas das mais diversas raças como elas de fato são, evitando forçar características de determinados padrões. Isso sempre foi muito criticado especialmente em fabricantes asiáticas devido ao algoritmo de processamento focado no público local, que acaba por muitas vezes distorcendo cores e formas ao registrar fotos de pessoas pretas ou pardas, em especial.

Perguntado sobre como a Samsung vem trabalhando para otimizar seus celulares para registrar fotos e vídeos em um mercado como o da América Latina, que é extremamente diverso e muito importante a nível global para a marca, Dr. Cho afirmou que são seguidos dois passos na hora de registrar as imagens:

1. Detectar o rosto corretamente;
2. Otimizar o tom da pele de acordo com tons de cores preferidos.

Para o primeiro passo é usado um algoritmo de inteligência artificial treinado com imagens das mais variadas raças, sendo assim capaz de detectar o rosto de maneira precisa, independente de como são as feições do usuário. Já o segundo passo é feito com base em pesquisas e estudos que geraram dados significativos sobre as preferências de tons de pele em diferentes raças, sendo assim capaz de gerar de maneira relativamente acertada os tons corretos de acordo com o padrão facial identificado.

Além disso, a Samsung incluiu em seu aplicativo de câmera a opção do próprio usuário determinar se quer tons de pele naturais — ou seja, aqueles gerados pelo mecanismo comentado acima — ou mais claros, buscando agradar quem quer um processamento maior neste sentido.