Como os benchmarks de smartphones funcionam – parte 2

Por Pedro Cipoli | 02 de Dezembro de 2015 às 18h08

Na primeira parte deste artigo, exploramos três dos principais apps de benchmark do mercado, comumente utilizados para medir o poder de fogo dos smartphones e tablets. Todos eles foram criados especificamente para plataformas móveis, diferentemente do CPUz, que fez uma migração (tortuosa) dos PCs para os smartphones. É o mesmo caso do 3DMark e PCMark que vamos explorar agora, ambos fabricados pela Futuremark, empresa referência de benchmarks para computadores, que trouxe o know-how que tornou a empresa famosa no Windows para os sistemas móveis.

Ao contrário do que acontece com as versões de computadores, porém, ambos são gratuitos, o que é interessante, já que as licenças custam centenas de dólares nos PCs. Essa postura permite que qualquer usuário teste as capacidades de seus dispositivos, aproveitando a pegada mais técnica dos apps da Futuremark. Vamos entender os que os resultados significam.

3DMark

É mais um portal do que propriamente um app isolado. Ao baixá-lo da Play Store, o 3DMark analisa o dispositivo e sugere o teste mais recomendado, levando em consideração as especificações do dispositivo, entre 4 disponíveis:

Benchmarks
  • Ice Storm: voltado para aparelhos mais básicos, roda todos os testes gráficos com resolução fixa de 720p usando a API OpenGL ES versão 2.0, com uma série de efeitos desativados e filtros configurados como básicos. Grande parte dos intermediários atuais consegue facilmente bater esse teste (“max out”), já que tanto os dois testes gráficos quanto os de cálculo físico (concentrados na CPU) são limitados a 60 frames por segundo (framerate típico de smartphones e tablets). O bacana é que, por contar com uma base de configurações própria, o app já informa se o seu modelo consegue bater o teste, nem valendo a pena perder tempo rodando-o.
Benchmarks
  • Ice Storm Unlimited: também configurado em 720p, 60 frames por segundo e com API OpenGL ES 2.0, a grande diferença entre a versão normal e a “Unlimited” está nos filtros e efeitos, que pesam, e muito, sobre a GPU. É um caso bem semelhante ao que acontece com computadores, com desempenhos diferentes conforme filtros e efeitos vão sendo ativados, ainda que a resolução seja mantida, resultando em taxas de frames por segundo completamente diferentes.
Benchmarks
  • Ice Storm Extreme: mantidos os filtros e efeitos da versão “Unlimited”, máximo de 60 frames por segundo e API OpenGL ES 2.0, mas aumenta as renderizações para 1080p (o que independe da resolução de tela do smartphone, mesmo modelos Quad-HD ou 4K). Até mesmo alguns modelos mais avançados acabam apanhando aqui, em especial os que são meio “desequilibrados”, com uma CPU mais poderosa do que a GPU (caso do Zenfone 2).
Benchmarks
  • Sling Shot: até o momento, poucos são os modelos capazes de rodar esse benchmark. Não pela configuração em si, mas pela falta de suporte ao OpenGL ES 3.1, ainda relativamente recente e presente em alguns poucos tops de linha mais recentes (o Zenfone 2, por exemplo, não é). Dessa pequena parcela de smartphones pode encarar o Sling Shot, que é um benchmark bem hardcore e até o momento não “gabaritado”, renderizando os testes em Quad-HD nativo e pesando bastante sobre a GPU.
Benchmarks

PCMark

São dois testes apenas, mais focados em mostrar como o smartphone se comportará no dia a dia do que, propriamente, ser um parâmetro de benchmark:

Work performance: mede a capacidade de executar tarefas comuns (que incluem 90% do uso real de um smartphone).

  • Web Browsing: mede o tempo de carregamento de páginas web, tentando, tanto quanto possível, distribuir a carga de trabalho entre todos os núcleos de CPU, já que tanto o Chrome quanto a maioria dos navegadores de smartphones consegue lidar tranquilamente com múltiplas threads. Aqui pesa tanto a eficiência single-core quanto a quantidade de núcleos, ambos proporcionais ao resultado final.
  • Video Playback: um teste mais voltado para “punir” smartphones mais simples do que realmente testar algo. Basicamente, ele checa se o smartphone consegue rodar um vídeo em 1080p usando a API do próprio Android, que basicamente ativa os decodificadores dedicados do SoC. Caso o modelo em questão não os possua, essa tarefa é “terceirizada” pela GPU para rodar via software, mas raros são os modelos que não possuem decodificadores próprios com uma GPU capaz de fazê-lo.
  • Writing: mede tarefas de produtividade de texto, como abrir, cortar, copiar, editar e colar. O resultado é uma combinação de eficiência single-thread e velocidade de transferência da memória RAM, assim como os tempos de latência.
  • Edição de fotos: manipula imagens de 4 megapixels, ou seja, fotos bastante pequenas, mas o resultado mede a proporcional que pode ser expandido para fotos maiores. Geralmente, a própria configuração de câmera já assume uma configuração capaz de manipulá-la, já que há um pós-processamento e compressão em tempo real, mas manipulações posteriores, como filtros, ajustes para postar em redes sociais, são os pontos realmente medidos aqui.

Work Battery Life: um teste mais realista (ou menos extremo) do que o realizado pelo GeekBench. O que é medido aqui não é o tempo mínimo de duração de bateria com uma carga de trabalho artificial, mas sim o tempo que o smartphone consegue aguentar tarefas comuns, como jogos e navegação web, com a tela ligada. O resultado é medido como um “tempo de tela”, uma média que o smartphone irá aguentar de uso ignorando o tempo de stand-by.

Mitos sobre os benchmarks

Assim como acontece com PCs, é importante entender o que esses resultados significam, já que são testes sintéticos. Eles não mostram resultados objetivos, que podem ser utilizados como parâmetros para todo mundo, já que é difícil encontrar dois usuários que usam um modelo de forma idêntica. Então, ter cautela é sempre bom para interpretar os resultados, já que diferentes pontuações não significam, necessariamente, que um smartphone é melhor do que outro.

Benchmarks

Por exemplo, uma diferença de 10.000 pontos no Antutu significa que um smartphone é consideravelmente mais poderoso do que outro? Sim. Agora, essa potência extra será usada para o que? Significa que um jogo rodará melhor? Dificilmente. Mais importante ainda: como essa potência extra interfere na autonomia de bateria? É interessante cruzar resultados nesse ponto, comparando os resultados do Antutu e do Work Battery Life (PCMark) para tirar algumas conclusões bem interessantes.

Pouco tempo atrás, alguns fabricantes configuravam os smartphones com um “modo benchmark”, colocando a configuração para rodar a 100% quando o aparelho detectava que um app de testes era aberto. Isso gerava resultados artificiais, além de danificar o aparelho no longo prazo — ainda bem que essa prática foi (aparentemente) extinta, já que os SoCs atuais trazem um foco em desempenho muito maior, o que gera uma quantidade de calor também muito maior (caso do Snapdragon 810), o que poderia danificar o smartphone em curtíssimo prazo, além de danificar a bateria, que odeia calor.

Benchmarks

Os três parágrafos acima podem ser resumidos em apenas uma frase: benchmarks servem como referência, não como um resultado estritamente objetivo. Como são uma das poucas formas rápidas de medir as capacidades de um smartphone, fabricantes acabam focando excessivamente em inflar esses números. Esse é o principal motivo de análises “humanas”, como as que fazemos aqui no Canaltech, serem tão importantes, já que testam parâmetros muito mais diretos para o benefício do usuário, como a pegada do aparelho, autonomia real de uso, cargas de trabalho reais e uma série de outros itens, como a atualização para versões mais novas do sistemas operacional. O resto é benchmark, que diz muito pouco se um aparelho "é bom", ou não.

Instagram do Canaltech

Acompanhe nossos bastidores e fique por dentro das novidades que estão por vir no CT.