5 respostas para empresas que querem iniciar um projeto de Big Data em 2017

Por Dan Kogan*

Cada vez mais organizações começaram a armazenar, processar e extrair valor de dados de todas as formas e tamanhos. Agora, a tendência é a adoção de sistemas que oferecem suporte a grandes volumes de dados estruturados e não estruturados continuará crescendo. Com isso, haverá uma demanda de mercado por plataformas que ajudem os administradores de dados a governar e proteger o Big Data e que permitam aos usuários analisar esses dados.

Esses sistemas amadurecerão para operar de forma integrada com os padrões e sistemas de TI empresarial, tornando o momento propício para empresas que querem iniciar um projeto de Big Data. Se a sua companhia está nessa situação, aqui estão as respostas para cinco dúvidas comuns entre os que querem aproveitar o melhor do Big Data.

É complicado manter um projeto de Big Data?

Big Data está se tornando cada vez mais ágil e acessível. Hadoop tem sido frequentemente usado para aprendizado de máquinas e modelos analíticos preditivos, mas cada vez mais as pessoas estão se perguntando: quão rápido é o Hadoop para a exploração de dados interativos e ad-hoc? Em 2017, as opções serão expandidas para acelerar o desempenho interativo de consultas no Hadoop. Essa mudança já começou, como evidenciado pela adoção de bancos de dados analíticos junto ao Hadoop, como Exasol e MemSQL, novas tecnologias de armazenamento como Apache Kudu e agregação de dados e tecnologias de indexação para o Hadoop, como AtScale, Kyvos Insights e Jethro.

Todos os meus dados precisarão estar no Hadoop?

No passado, observamos que a onda do Big Data fez surgir várias tecnologias para atender às necessidades de análises específicas do Hadoop. Porém para empresas com ambientes complexos e heterogêneos, as respostas para suas perguntas estão escondidas em diversas fontes de dados, que variam desde sistemas de registros e warehouses em nuvem até dados estruturados e não estruturados de fontes de dados do Hadoop e de outros tipos. Em 2017, clientes precisarão fazer análises com todos os tipos de dados. Consequentemente, as plataformas de BI que forem agnósticas em relação a dados e fontes prosperarão, enquanto aquelas desenvolvidas especificamente para o Hadoop e que não são compatíveis com outros casos de uso serão deixadas de lado. A aquisição da Platfora é um indicador dessa tendência.

Como saber se a quantidade de dados que minha empresa utiliza comporta um projeto de Big Data?

A variedade, e não o volume ou a velocidade, é o que orienta os investimentos em Big Data. Big Data é definido por três Vs: volume alto, velocidade alta e variedade ampla de ativos de informação. Embora os três Vs estejam em expansão, variedade está se tornando o maior responsável por investimentos de Big Data. Essa tendência continuará crescendo com as empresas buscando integrar mais fontes e se concentrar na “cauda longa” do Big Data. A partir de agora, as plataformas de análise serão avaliadas com base em sua capacidade de oferecer uma conectividade direta em tempo real com essas diversas fontes.

De que modo minha equipe irá conseguir entender esses dados?

A convergência da Internet das coisas (IoT), da nuvem e do Big Data gera novas oportunidades para a análise de autoatendimento. Futuramente, parece que tudo terá um sensor que envia informações para a “nave-mãe”. Normalmente, os dados de IoT são heterogêneos e estão armazenados em diversos sistemas relacionais e não relacionais, desde clusters do Hadoop até bancos de dados NoSQL. Embora as inovações em armazenamento e serviços gerenciados tenham agilizado o processo de captura, acessar e entender os dados ainda é um desafio para o usuário final. Por isso, é importante escolher ferramentas de análise capazes de se conectar a uma ampla gama de fontes de dados hospedadas na nuvem e combiná-las de forma intuitiva para que o usuário final consiga entender os dados e responder perguntas a partir deles.

Além da análise, é possível colocar a preparação dos dados nas mãos das áreas de negócios?

A preparação de dados de autoatendimento está se tornando essencial, à medida que os usuários começam a modelar o Big Data. O surgimento das plataformas de análise de autoatendimento facilitou a acessibilidade do usuário corporativo do Hadoop. Mas os usuários corporativos desejam reduzir ainda mais o tempo e a complexidade da preparação de dados para análise. As ferramentas de preparação de dados de autoatendimento permitem que os dados do Hadoop sejam preparados na origem, além de disponibilizar os dados como instantâneos para facilitar e agilizar sua exploração. Vimos muitas inovações nesse campo, como o Alteryx, o Trifacta e o Paxata, que foram desenvolvidos por empresas cujo objetivo é colocar a preparação de dados de Big Data nas mãos do usuário final. Essas ferramentas estão reduzindo os obstáculos que impedem a entrada dos clientes tardios e retardatários do Hadoop, e elas continuarão a ganhar espaço.

*Dan Kogan é diretor de marketing de produtos da Tableau.