Em outubro de 2024, a Erathos preparou o webinar “Como começar uma área de dados? Dicas para acertar em cheio” ministrado pelo nosso CTO, Luca Piermartiri.

Neste blog, vamos trazer um resumo do que foi apresentado os pontos principais do evento!

Iniciamos o evento trazendo o conceito de cultura data-driven dentro das empresas, que você pode ler mais sobre neste blog, e logo desenvolvemos quais são os principais comportamentos dentro de times de dados que impedem o sucesso de negócio e a implementação adequada da cultura data-driven. Abaixo compilamos as principais disfunções que mapeamos:

Principais disfunções de times de dados

1. Silos de dados

Se você utiliza mais de um sistema/plataforma para realizar processos diversos de negócio, você possui informações isoladas, acarretando em silos de dados. Essa disfunção gera um grande atraso na realização de análises, considerando que é necessário extrair relatórios manualmente de cada um desses sistemas e consolidar em um excel, por exemplo, de modo a tentar visualizar e conectar essas informações para obter insights. um grande trabalho né?

2. Processos manuais

Muitas vezes dentro dos times de TI, para escapar da jornada complexa gerada pelos silos de dados, os integrantes decidem buscar uma forma de unificar esses processos manuais, como por exemplo em um grande e único excel, desenvolvendo uma solução em python que roda apenas no computador desse indivíduo para “resolver” o problema. Tudo isso, além de não ser benéfico para a empresa, por destinar muito tempo para processos que não agregam valor, também gera uma dependência de um profissional específico, pois são os únicos que realmente sabem o que acontece com os dados.

3. Falta de confiança

A partir dos silos de dados e processos manuais, dentre outros agravantes, é inevitável que surjam problemas de desconfiança com relação às informações apresentadas e inclusive entre áreas da empresa. Dados frequentemente incorretos devido a problemas na integração ou processos que solucionam apenas temporariamente os desafios geram incerteza e atrapalham a tomada de decisão. Há uma grande dificuldade em entregar informações de qualidade dentro de prazos críticos para realização de acionáveis.

4. Monopolização Analítica

Outro problema muito frequente dentro das organizações é a monopolização analítica pelo time de dados, consequentemente gerando uma trava para as demais áreas, tornando-as reféns quando se trata de realizar análises. Cada área deve ter certa capacidade analítica básica para evitar a dependência de TI, como por exemplo o cálculo de comissão do time comercial.

5. ‘TIzação de processos”

A dependência que as demais áreas podem vir a ter do time de TI acarreta em uma sobrecarga da área de dados, considerando a abertura de diversos tickets para atender a diferentes demandas, tanto simples quanto complexas. Nesse caso, voltamos ao ponto de que o time não consegue entregar tudo (e muito menos com a qualidade desejada), além de que a priorização pode afetar o desenvolvimento de projetos de dados em detrimento do avanço da área de negócios.

6. Construção de passivo de dados

A falta de documentação de processos e projetos é um erro comum e muito custoso para empresa. Não apenas gera dependência de pessoas específicas para entender o que foi efetivamente feito, mas também depende da capacidade de memória do passo a passo para compreender a altura da jornada em que algo possa ter dado errado, como por exemplo o cálculo da mesma métrica em análises diferentes apresentado resultados diferentes. A qualidade dos dados é muito influenciada pela boa prática de documentação, e infelizmente quando se percebe isso pode ser tarde demais dependendo do projeto.

7. Ticketeria

A abertura de tickets de diferentes áreas, sejam eles tarefas rasas e relativamente fáceis de se concluir ou sejam eles tarefas mais complexas e que demandam mais tempo, elas acabam ocupando grande parte das horas do time de dados. O objetivo deixa de ser gerar valor e passa a ser garantir que as coisas estão funcionando como deveriam e que as informações estão corretas para consumo (em outras palavras — apagar incêndios). O desenvolvimento de gambiarras para atender rapidamente à demandas urgentes nos dados é um erro bastante comum, que apenas evita o enfrentamento da raíz do problema, que muitas vezes encontra-se na infraestrutura incial.

8. Dificuldade de mensurar impacto

As disfunções mencionadas levam também a uma dificuldade de mensurar o impacto do time de dados, uma vez que grande parte das horas de trabalho são destinadas a manter a solução funcionando como deveria, ao invés de desenvolvendo projetos que geram valor. O time passa a ser visto como um centro de custos devido a dificuldade de mensurar o valor das análises entregues e a baixa capacidade de trabalhar em projetos de longo prazo, visto que o curto prazo sempre acaba sendo priorizado.

Três Níveis de Análise: Estratégico, Mão na massa e Processual

Visão Estratégica

Contemplando como começar uma área de dados do 0 por meio de uma visão estratégica temos algumas questões bem relevantes. A primeira delas é qual o papel dessa a área de dados, quais atividades ela terá que desempenhar e como esse papel vai mudar ao longo do tempo?

É importante lembrar que isso pode mudar dependendo da empresa e que as atividades da área de dados variam de acordo com as atividades que seriam atribuídas e ensinadas para as demais áreas. As ferramentas e processos que devem ser contruídos devem ser delimitados de forma clara e agilidade, simplicidade e melhoria contínua devem ser valores da área de dados.

Visão Mão na Massa

Você só precisa de 4 ferramentas na sua área de dados

• Uma para extrair/coletar as informações;

• Uma para armazenar as informações em um ambiente de dados analítico;

• Uma para transformar esses dados e gerar valor para o negócio;

• Uma para visualizar para realizar análises e tomar decisões.

Visão Processual

Para implemenetar tudo isso, é necessário:

• Resolvendo o Cold Start, ou seja, iniciando o trabalho de formiguinha e entregando análises para aprimorar o funcionamento de cada uma das áreas.

• Como ter clareza sobre one o esforço está indo? É ideal acompanhar o tempo e esforço dedicados para cada área do negócio, seja por meio d euma solução específica ou meio meio de uma planilha no Excel.

• Como nos aproximar da geração de valor para a empresa? Após a entrega de análises para diferentes áreas, é interessante reduzir o orçamento destinado a esses setores, arcando apenas com os custos de manutenção, e definir um projeto trimestral maior e a escolha de uma métrica principal que permita acompanhar a geração de valor desse time de dados (como por exemplo, número de vendas).

Cada minuto gasto com problemas de dados é um minuto a menos gasto com problemas de negócio. No começo de um time de dados, isso mais do que nunca define o sucesso ou não.

Como fazemos na Erathos

• Erathos como solução de extração de dados

• Informações enviadas para o BigQuery e transformações feitas através do dbt

• Looker Studio como ferramenta de visualização

• Não desenvolvemos nada que não seja necessário

• Nossos encontros semanais garantem o acompanhamento de métricas claras e bem definidas dentro da rotina