A construção de um Data Warehouse em 7 etapas

O Data Warehouse (DW), ou no português Armazém de Dados, se trata de uma tecnologia de grande importância para o desenvolvimento de uma solução de Business Intelligence (BI). O DW é um repositório de dados consolidado e centralizado, que permite o fácil acesso às informações armazenadas.

O DW também possibilita repostas rápidas e o armazenamento de grandes volumes de dados, devido, principalmente a sua modelagem, que possui uma arquitetura multidimensional. Porém, para a construção desse poderoso armazém de dados, devemos seguir alguns passos que nos auxiliam no correto desenvolvimento.

Leia também: Tipos de métricas existentes no Data Warehouse

Vamos conhecer então as sete etapas de construção do DW:

1. Levantamento das necessidades: devemos antes de tudo fazer o levantamento de todas as informações desejadas pelo usuário. Nesse primeiro momento fazemos o cruzamento de Dimensões e Fatos necessários para alcançar os anseios dos gestores. Nesse primeiro momento trabalhamos em O QUÊ o DW terá, e não O COMO, por isso não devemos nos preocupar com a existência efetiva dos dados e sim com os desejos requisitados.
2. Mapeamento dos dados: nessa etapa fazemos o mapeamento dos dados, identificando a fonte e como chegar até eles. Aqui vemos a viabilidade dos desejos elencados na primeira etapa, verificando a existência ou não dos dados para o alcance das necessidades solicitadas.
3. Construção da Staging Area: após o mapeamento, construímos a estrutura chamada Staging Area, que se trata da área de transição dos dados do DW. Nessa área os dados são copiados e desacoplados dos sistemas de operação (OLTP) e recebem o devido tratamento para as futuras cargas nas tabelas de Fatos e Dimensões.
4. Construção das Dimensões: construímos nessa etapa a estrutura das Dimensões que farão parte do DW. Definimos também a historicidade que os dados irão possuir nas Dimensões.
5. Construção ds(s) Fato(s): construímos nessa etapa (após a construção das Dimensões) a(s) estrutura(s) da(s) Fato(s). Aqui é avaliado e definido a granularidade da informação que será armazenada em cada Fato. Avaliamos também a expectativa de crescimento e de armazenamento que serão utilizados.
6. Definição do processo geral de carga: após concluirmos as etapas anteriores, precisamos criar o motor para que tudo seja carregado, atualizado, orquestrado e processado de forma automática e ordenada. Por isso, a necessidade do processo geral de carga que é o “cérebro” do DW.
7. Criação dos metadados: por fim, precisamos desenvolver toda a documentação dos metadados, que incluem o processo de construção e o dicionário de dados. Os metadados fornecem apoio importante para a gestão do conhecimento.

Lembrando que o Data Mart é a divisão do DW em subconjuntos de informações organizadas por assuntos específicos. Logo, todas essas etapas, com exceção do “levantamento das necessidades” (que deve ser realizada, preferencialmente, uma única vez), devem ser repetidas a cada novo Data Mart criado.

Segue o fluxo do processo de construção, que pode ser cíclico até que todos os Data Marts sejam desenvolvidos:

É importante respeitar a sequência dessas etapas, pois elas possuem dependência de término para início. Ou seja, a etapa sucessora só deve ser iniciada quando a sua predecessora for concluída.

Por fim, com a devida atenção dada a cada uma dessas atividades e a conclusão de cada uma delas com êxito fará com que as chances de sucesso no projeto de construção do DW seja praticamente garantido. Dessa forma teremos, efetivamente, um repositório que armazenará as informações que auxiliarão a organização na tomada de decisão.