Weather.com: o verdadeiro caso de big data

Prever o tempo sempre foi uma questão relacionada à explosão de dados – tanto é que um dos primeiros programas de computador escritos para o Eniac, o primeiro computador digital de grande escala do mundo, foi um modelo climático que contava com 25.000 cartões perfurados. Com o avanço tecnológico, melhores condições foram oferecidas para a execução dessas tarefas, mas foi na nuvem (sem trocadilhos, por favor!) que o setor encontrou um ambiente verdadeiramente propício para trabalhar todos esses dados e sinais emitidos pelo planeta.

O Weather.com é a maior empresa de previsão do tempo do mundo. O estudo dos mais de 4 Gigabytes de dados gerados a cada segundo pelas mais de 48.000 estações espalhadas pelo globo é um trabalho hercúleo, que só está sendo melhor aproveitado graças à infraestrutura em nuvem fornecida pela AWS. Até pouco tempo, a empresa trabalhava com 13 data centers próprios, espalhados por diversas partes do mundo, interligados e interdependentes. Há 2 anos, começou a migrar toda sua estrutura para a cloud e hoje, os 20.000 cores e 200 TB de RAM da estrutura da AWS processam 20 TB de dados todos os dias. Quase todos os serviços da empresa, atualmente, rodam na nuvem – com exceção de uma ou outra aplicação do canal de TV, já que vídeos em HD ainda "sofrem" com a velocidade atual da internet. Mas a tendência, segundo Bryson Koehler, CIO e CTO do Weather.com, é estar 100% na nuvem dentro de algum tempo.

"Evoluímos 10 anos nesses 24 meses, e o fato de reconstruirmos nosso ambiente na AWS foi determinante", afirmou o executivo durante entrevista no AWS re:Invent, principal evento global da AWS que aconteceu no início de novembro em Las Vegas, EUA. As previsões do tempo, que apresentavam um índice de assertividade de pouco menos de 70% há cinco anos, passaram agora a ser 77% corretas. Além disso, a empresa gasta 2/3 menos dinheiro em infraestrutura – uma economia que acaba sendo revertida para ainda mais inovações.

Como a previsão do tempo é feita?

Há cinco anos, o Weather.com previa o tempo para 20.000 localidades ao redor do mundo. Hoje, a empresa divide o planeta em 27.000 pequenas partes (grids definidos por latitude/longitude), que são atualizadas a cada 15 minutos com dados meteorológicos para os próximos 10 dias. "Não importa se a pessoa faz a requisição da previsão em Nova Iorque, no meio da selva amazônica ou em alto-mar, a forma como trabalhamos em cada canto do mundo é a mesma", diz Bryson.

Atualmente, a empresa coleta dados de 48.000 estações espalhadas pelo planeta – e não são só de fontes oficiais. Há estações de instituições privadas, indivíduos fanáticos por previsão do tempo (que formam uma espécie de "smartgrid" da Weather.com), e até dados de sensores colocados em aviões de 48 grandes companhias comerciais. São 55.000 voos diários, que fornecem informações da atmosfera em maiores altitudes.

Se 4 GB de dados coletados a cada segundo já parecem muito, pense que eles ainda precisam ser TRABALHADOS e, principalmente, DISTRIBUÍDOS para os milhões de dispositivos móveis, clientes e sites espalhados pelo mundo. A estrutura disponibilizada pela AWS para o Weather.com recebe cerca de 150.000 requisições por segundo, e esse número tende a crescer sempre que há nevascas, furacões, tornados, enchentes e outros acontecimentos meteorológicos em qualquer grande metrópole do planeta.

E a Internet das Coisas?

Partindo do princípio de que a maioria dos smartphones, hoje, contém diversos sensores, por que não utilizá-los para aprimorar ainda mais a previsão do tempo? Bryson diz que o Weather.com está de olho nessa tendência, e já estuda a melhor maneira de aproveitar esses novos inputs. "Podemos puxar informações dos smartphones relacionadas à pressão atmosférica, temperatura, trepidações... enfim, ainda estamos tentando entender como lidar com esses dados porque se a pessoa está dentro de um ambiente com ar condicionado, a informação está 'contaminada' de alguma maneira. A Internet das Coisas vai mudar a previsão do tempo de forma dramática nos próximos anos. Não posso te dizer exatamente como porque estamos apenas começando a entender esses dados. A boa notícia é que teremos toneladas de novos dados, mas precisamos saber como processá-los", completa.