MediaTek é acusada de trapacear benchmarks e justifica como "prática normal"
Por Felipe Junqueira | 09 de Abril de 2020 às 14h00
Se você confia em benchmarks para escolher seu smartphone com base naquele que parece ser o mais poderoso, é bom repensar. A MediaTek usa estratégias para melhorar a pontuação desses testes nos dispositivos que usam seus chips, e deu a entender que sua principal concorrente, possivelmente a Qualcomm, faz a mesma coisa. Ou seja: essas pontuações não são parâmetros para medir com confiabilidade o desempenho de um celular.
O site Anandtech foi quem descobriu o truque. A publicação conseguiu as diferentes versões do OppoReno 3 Pro — a europeia, que usa a plataforma Helio P-95, e a chinesa, com Dimensity 1000L — e suspeitou da diferença de pontuação, considerando o hardware de cada um.
Aqui é necessário entrar em uma explicação mais técnica, mas vamos tentar fazer isso da melhor maneira possível. A suspeita apareceu porque o Helio P95 alcançou pontuação maior que o mais poderoso Dimensity 1000L no PCMark. O que é estranho, porque o primeiro é mais antigo e possui apenas dois núcleos potentes e com arquitetura de dois anos atrás, enquanto o segundo traz tecnologia mais recente e quatro núcleos poderosos.
O Dimensity 1000L, inclusive, está no topo dos smartphones intermediários chineses, segundo o AnTuTu. Por isso o estranhamento: um chipset que é vendido como o mais potente da empresa, um intermediário premium, fica abaixo de outro da mesma fabricante, anunciado como intermediário e com arquitetura mais antiga?
Isso levou os responsáveis pelo teste a analisar os códigos de cada aparelho. E assim, descobriram que o Helio P95 rodava benchmarks no chamado Sports Mode que, quando desativado – utilizando uma versão furtiva do PCMark, desconhecida pelas fabricantes –, reduziu drasticamente a pontuação final do aparelho. Ou seja, há um truque para aumentar a performance nesses testes, o que não necessariamente configura melhoria de desempenho no uso real.
Posteriormente, o site conseguiu detectar o mesmo modo em outros dispositivos que usam chipsets da MediaTek, como o Realme C3, Redmi Note 8 Pro e Sony Xperia XA1, este último lançado em 2017, indicando que não é uma coisa nova. E que não foi truque da fabricante do Reno 3 Pro, também. Além disso, a versão do smartphone que tem o Snapdragon 765G em vez do Helio P95 rodou benchmark sem nenhum truque aparente.
MediaTek explica
A fabricante dos dois chipsets se manifestou sobre o assunto, tanto em resposta direta ao Anandtech como em uma postagem no blog da própria empresa. Em resumo, a companhia não nega o truque e ainda joga no colo da “principal concorrente” o uso do mesmo tipo de procedimento, justificando que é uma maneira de mostrar o verdadeiro potencial da plataforma.
O texto começa explicando que a MediaTek “segue padrões aceitos da indústria e está confiante de que testes de benchmark representam as capacidades de nossos chipsets com precisão”. Explica que cada fabricante tem liberdade em ativar modos de desempenho para esses tipos de teste, e admite que eles não representam exatamente a experiência de uso real, que ainda por cima varia dependendo do aplicativo.
“Algumas marcas possuem diferentes tipos de modos ligados em regiões diferentes, então o desempenho do dispositivo pode variar dependendo das necessidades de cada mercado. Acreditamos que mostrar a capacidade bruta de uma plataforma em testes de benchmark está alinhado com as práticas de outras companhias e dá aos consumidores um retrato preciso do desempenho do dispositivo”, diz o comunicado.
Além disso, a MediaTek criticou o Anandtech por questionar a “otimização de benchmarks”, que seria, segundo a empresa, prática comum na indústria. E, sem citar nomes, disse que concorrentes também fazem esse tipo de truque.
“Se eles analisassem outros dispositivos, veriam que, como nós, nosso principal concorrente possui chipsets que operam da mesma maneira – que o Anandtech considerou trapacear em testes de benchmarks”, acusa a empresa.
A grande conclusão, no final das contas, é que os benchmarks já deixaram de ser uma maneira confiável de verificar o poder de um smartphone há muito tempo. No máximo, hoje em dia servem para ajudar a confirmar se o aparelho realmente se encaixa na categoria de desempenho esperada.
Você concorda? Conta aí o que você acha nos comentários.
Fonte: Anandtech