Revolucione a Automação de Dados com Integrações Eficientes

A evolução da automação de fluxos de dados chegou! Apresentamos a Erathos API, uma ferramenta inovadora que oferece flexibilidade e eficiência para equipes e desenvolvedores que buscam otimizar seus pipelines de dados. Com integrações robustas, como Apache Airflow, dbt e Databricks, a API da Erathos permite automatizar fluxos de trabalho, simplificar operações e escalar processos com facilidade.

O que é a Erathos API?

A API da Erathos permite que os desenvolvedores interajam programaticamente com a plataforma Erathos. Desde a execução de jobs até notificações em tempo real via webhooks, a API simplifica o gerenciamento de fluxos de trabalho complexos de dados.

Principais Funcionalidades:

• Execução de Jobs: Automatize tarefas, como atualizações de data warehouses ou encadeamento de múltiplos processos.

• Webhooks: Receba notificações em tempo real quando eventos específicos ocorrerem, com metadados detalhados de execução.

• Gerenciamento Seguro de Variáveis e Segredos: Armazene credenciais e outros valores sensíveis com segurança.

Por que usar a Erathos API?

Empresas orientadas por dados dependem de fluxos de trabalho eficientes. A API da Erathos potencializa sua operação ao integrar-se facilmente com ferramentas líderes como Airflow, dbt e Databricks.

Caso de Uso: Orquestração com Apache Airflow

A integração entre a Erathos e o Airflow oferece flexibilidade para automatizar processos complexos em ambas as plataformas. Confira dois cenários poderosos:

1. Acione DAGs no Airflow após a execução de um Job na Erathos

Automatize a execução de DAGs no Airflow com base em eventos concluídos na Erathos, aproveitando metadados para configurar dinamicamente os processos.

Exemplo de Webhook:

{
    "description": "Disparo de DAG no Airflow",
    "jobs": ["id_do_job"],
    "method": "POST",
    "url": "<https://airflow-servidor/api/v1/dags/${{erathos.JOB_ID}>}/dagRuns",
    "header": {
        "Authorization": "Bearer ${{secrets.TOKEN_AIRFLOW}}"
    },
    "body": {
        "conf": {
            "status_do_job": "${{erathos.STATUS}}",
            "linhas_processadas": "${{erathos.ROWS}}"
        }
    }
}

2. Use o Airflow para acionar a execução de um Job na Erathos

Ao contrário do cenário anterior, o Airflow também pode ser configurado para iniciar a execução de um job diretamente na plataforma Erathos. Isso é útil para incluir jobs da Erathos como parte de um pipeline maior gerenciado pelo Airflow.

Exemplo de Operador no Airflow:

Você pode usar o operador HttpOperator para enviar uma requisição POST para a API da Erathos, acionando um job programaticamente.

from airflow.providers.http.operators.http import HttpOperator

workspace_id = "<WORKSPACE_ID>"
job_id = "<JOB_ID>"
api_key = "<ERATHOS_API_KEY>"

execute_erathos_job = HttpOperator(
    task_id='execute_erathos_job',
    http_conn_id='erathos_api',  # Configurado nas conexões do Airflow
    endpoint=f'/developers/workspaces/{workspace_id}/jobs/{job_id}/run/',
    method='POST',
    headers={
        "Authorization": f"Api-Key {api_key}",
        "Content-Type": "application/json"
    },
    request_params={
        "force_full_refresh": False
    },
    response_check=lambda response: response.status_code == 201,
    dag=dag
)

Nesse exemplo, o operador dispara um job na Erathos, possibilitando que o Airflow gerencie e orquestre todo o pipeline, incluindo etapas executadas na plataforma Erathos.

Caso de Uso: Transformações de Dados com dbt

Integre seus fluxos dbt com a Erathos:

• Acione modelos do dbt após a execução de um pipeline, garantindo que as transformações estejam alinhadas com os dados mais recentes.

• Use metadados para personalizar comandos dbt, como selecionar esquemas ou tabelas específicos.

Caso de Uso: Análises em Escala com Databricks

Aproveite o poder do Databricks para análises em larga escala:

• Atualize tabelas Delta automaticamente após a conclusão de um job.

• Configure dinamicamente notebooks do Databricks com base nos metadados, como TABLE_NAME e SCHEMA_NAME.

Fluxo Exemplo:

1. Acione um notebook do Databricks após a execução de um job.

2. Atualize modelos de machine learning ou gere insights com os dados mais recentes do pipeline.

Como Começar

Pronto para transformar seus fluxos de dados? Siga estas etapas:

1. Gere sua Chave de API:

   1. Consulte a seção de Autenticação na Documentação da API para criar sua chave de API.

2. Obtenha o ID do Workspace:

   1. Utilize o endpoint List Workspaces para encontrar o ID do workspace que você deseja automatizar.

3. Selecione os Jobs:

   1. Identifique os IDs dos jobs com o endpoint List Jobs. Esses jobs serão usados para disparar os webhooks.

4. Crie e Registre Webhooks:

   1. Personalize o template JSON do webhook para integrar com ferramentas como Airflow, dbt e Databricks.

Conclusão

A Erathos API Beta é uma adição poderosa para organizações orientadas por dados. Com integrações robustas com ferramentas como Airflow, dbt e Databricks, a API oferece automação, otimização e escalabilidade para seus fluxos de trabalho.

Participe do programa beta hoje mesmo para explorar todas essas funcionalidades. Visite a Documentação da API e descubra como a Erathos API pode transformar suas operações de dados.