Huawei andou burlando resultados em testes de benchmarking

O site Anandtech, especializado em análises de benchmark, divulgou, nesta quinta-feira (6) um levantamento em que acusa a Huawei de modificar seus aparelhos para detectarem que estão em análise e, assim, apresentarem um desempenho maior que o esperado nos testes.

De acordo com o site, tal suspeita começou já na análise da linha P20. Os engenheiros repararam que o desempenho tanto do Huawei P20 quanto do Huawei P20 Pro foram piores do que o do Mate 10. A estranheza está no fato de que ambos usam o mesmo processamento, um SoC Kirin 970.

Os analistas passaram então para o Honor Play, anunciado pela empresa durante a IFA, evento na Alemanha, no último dia 30. Da mesma forma, os testes se mostraram muito superiores.

A conclusão a que os analistas chegaram era de que a empresa estaria realizando uma prática comum há alguns anos atrás: a de permitir que seus dispositivos trabalhassem acima da capacidade recomendada ao serem colocados em testes.

O veículo realizou testes com o Honor Play, com o mesmo SoC Kirin 970, comparando os mecanismos de reconhecimento de benchmark ligados e desligados. O resultado foi quase o dobro de potência, sendo que também registrados o dobro do consumo de energia. Contudo, a eficiência com o sistema de reconhecimento foi menor. Ou seja, a relação entre desempenho e consumo de energia caiu.

O que diz a Huawei

O site ainda informa que, durante a IFA, conversou com Wang Chenglu, presidente de software do Consumer Business Group da Huawei. Em resposta, ele questiona se este tipo de teste é a melhor forma de mostrar para os consumidores as capacidades de um smartphone.

Segundo ele, tais testes parecem muito distantes da forma como consumidores de fato usam o dispositivo, sendo que ele prefere testes padronizados para mostrar um resultado mais próximo da atividade real do smartphone. Por exemplo, Chenglu aponta que para testes de ligação, há uma fidelidade como a forma que consumidores usam aparelhos.

Em contrapartida, em benchmarkings nos quais se exige mais da capacidade gráfica do smartphone, há, segundo ele, uma tendência de se fugir muito da realidade. Ele ainda apontou ao Anandtech que “outros fazem o mesmo para conseguir notas mais altas, e a Huawei não pode permanecer quieta”.

De certa forma, oficialmente, ele confirma que a empresa está usando esta tática para conseguir notas mais altas nestas análises. Chenglu ainda afirma que a prática é comum na China, de forma que está em conversas com outras fabricantes e empresas de benchmarking para buscar uma solução melhor do que fazer este tipo de maquiagem nos testes. Contudo, por enquanto, esta parece ser a melhor opção para a empresa se manter competitiva, de acordo com ele.

Por fim, o site questionou o presidente que a Huawei é um líder de mercado e não um seguidor de tendências de suas concorrentes locais, o que pode levar uma falta de confiança nos testes voltados para aparelhos mais recentes da chinesa.

Histórico

Vale lembrar que esta não é a primeira vez que uma empresa também uma decisão do tipo. Em 2013, este mesmo veículo descobriu que o Exynos do Galaxy S4 também tinha um mecanismo para mascarar o resultado de benchmark.

Após esta denúncia, algumas companhias de análise começaram a reparar em outras fabricantes que também aumentavam o desempenho de seus aparelhos, usando mais energia para alcançar números mais altos.

O site aponta, contudo, que, desde então, nenhum outro caso deste tipo havia sido relatado — até o listado sobre a Huawei.

Fonte: Anadtech