Big Data deverá ser forte tendência no ano de 2014

Com o crescimento massivo no uso da internet em todo o mundo, aumentou-se também a quantidade de dados gerados por esses usuários com as mais diversas finalidades. Desde dados de cadastro simples em newsletters, passando por informações mantidas por sistemas de GPS, a enormes bases de dados de potências como Google, Facebook, Microsoft, Yahoo! e Twitter, essa quantidade cada vez maior de dados acumulados passou a ser vista como uma valiosa e interessante fonte de riqueza desde os anos 1990.

Em uma definição bastante simplista, o assim chamado Big Data é um conceito que compreende grandes massas de dados de natureza variável e alto valor agregado, que existem em uma quantidade alta demais para ser manipulada de formas convencionais. A preocupação com a manipulação de grandes volumes de dados começou nos primórdios da internet como a conhecemos hoje, mais precisamente com o boom das pontocom por volta de 1995. De lá para cá, houve um aumento exponencial na quantidade de usuários de internet em todo o mundo (conforme demonstrado no gráfico abaixo). E é claro, a geração de dados cresceu seguindo essa mesma progressão.

Desde o surgimento do Google - uma das primeiras responsáveis por iniciar a transformação da internet de uma mera rede de hiperlinks em uma fonte sistematizada e indexada de informações - a rede mundial de computadores deu origem a novas oportunidades de negócios e de comércio. Através das décadas, o surgimento das redes sociais (que na época costumávamos chamar de "sites de relacionamento"), a web 2.0 e a explosão dos dispositivos móveis vêm gerando um volume de dados tão alarmante que novas tecnologias e modelos de negócio foram criados para lidar com essa avalanche. Os Data Warehouses (armazéns de dados) foram se difundindo cada vez mais, sistemas de bancos de dados mais eficientes como os de tecnologiaNoSQL ganharam força, novas técnicas de análise de dados foram criadas e novos profissionais de Business Inteligence se tornaram altamente requistados.

E pelo andar da carruagem, esse crescimento está longe de diminuir de ritmo. Diversos especialistas sabem disso e começaram a dar conselhos de como uma empresa pode tirar proveito dessa galinha dos ovos de ouro. Segundo o Gartner, investimentos em Big Data por parte das empresas de TI deverão atingir cerca de 3,4 bilhões de dólares até o fim de 2013, com a expectativa que esse número chegue ao seu triplo até 2018.

Até mesmo startups estão conseguindo bons lucros por se dedicar ao Big Data, como a Hortonworks (empresa especializada em gerenciamento de massas de dados com a tecnologia Hadoop, que movimentou US$ 50 milhões), a DataStax (que fornece e presta suporte para o sistema Cassandra e faturou US$ 45 milhões) e os criadores do banco de dados NoSQL Couchbase (que já puseram 25 milhões de dólares no bolso).

Embora soluções de Big Data tenham começado a ser mais disseminadas para resolver problemas tidos por empresas de mídias sociais, sua necessidade está se tornando mais crescente em diversos outros setores, como na educação, na saúde e no mercado financeiro. Muitas empresas tidas como conservadoras estão gradativamente abandonando os sistemas de bancos de dados SQL tradicionais e adotando tecnologias NoSQL - como o próprio Google, que depois de anos fazendo uso do MySQL teve vários de seus servidores migrados para MariaDB em setembro de 2013.

Todas essas mudanças, transformações e tendências relacionadas à forma com que os dados são manipulados dizem muito sobre que tipo de profissional deverá ter grande importância de 2014 em diante. Novos empregos surgiram e ainda surgem por causa do Big Data e embora ainda não exista consenso sobre como deve ser o perfil de um profissional dessa área, os assim chamados Cientistas de Dados deverão desempenhar papel fundamental no mercado de TI em escala global nos próximos anos.