Data Warehouses

A funcionalidade de Integração de Data Warehouse do Tridens Monetization permite-lhe exportar de forma integrada os seus dados de subscrição, faturação, utilização e receitas do Tridens Monetization para as suas plataformas de análise preferidas. Este guia fornece um roteiro claro para configurar e gerir esta integração, com foco na escalabilidade para faturação baseada em utilização de elevado volume em indústrias como telecomunicações, energia e veículos elétricos.

Tópicos neste documento:

• 1. Introdução e Visão Geral
  • 1.1 Propósito e Casos de Uso
  • 1.2 Plataformas Suportadas
  • 1.3 Principais Recursos
• 2. Arquitetura e Componentes
  • 2.1 Arquitetura de Alto Nível
  • 2.2 Fluxo de Dados
  • 2.3 Componentes/Módulos Envolvidos
  • 2.4 Fluxo de Dados / Passos do Pipeline
• 3. Fontes e Destinos de Dados Suportados
  • 3.1 Fontes de Dados Tridens
  • 3.2 Data Warehouses de Destino
• 4. Modelação de Dados e Mapeamento de Esquema
  • 4.1 Definição de Objetos/Tabelas Expostos
• 5. Modos e Estratégias de Sincronização de Dados
  • 5.1 Frequência de Dados
  • 5.2 Lidar com Eliminações, Atualizações e Inserções
• 6. Segurança, Autenticação e Credenciais
  • 6.1 Armazenamento, Rotação e Encriptação de Credenciais
• 7. Permissões
• 8. Guia de Utilização / Configuração
  • 8.1 Configuração Passo a Passo para Data Warehouse

1. Introdução e Visão Geral

1.1 Propósito e Casos de Uso

A Integração de Data Warehouse do Tridens Monetization automatiza a extração, transformação e carregamento (ETL) de dados operacionais do Tridens Monetization para data warehouses de propriedade do cliente. Isto permite análises avançadas, relatórios de BI e fluxos de trabalho de machine learning fora do módulo nativo de análise do Tridens.

Principais Casos de Uso:

• Análise de Receitas: Sincronize métricas de subscrição (ex: MRR, taxas de churn) para análise de coorte em empresas de SaaS ou media.
• Insights sobre Padrões de Utilização: Carregue dados de contadores IoT em tempo real (ex: consumo de energia) no PostgreSQL para faturação preditiva em serviços públicos.
• Relatórios de Conformidade: Exporte registos de faturação auditados para MS SQL para reconciliação IFRS15/ASC 606.
• Integrações Personalizadas: Forneça eventos de utilização anonimizados para dashboards via JDBC genérico.

A integração de data warehouse reduz as exportações manuais (como CSV/API dumps), minimiza a latência da análise e suporta a evolução do esquema sem tempo de inatividade — fundamental para modelos de preços dinâmicos.

1.2 Plataformas Suportadas

Suporta conectores diretos para os seguintes destinos, aproveitando as APIs RESTful do Tridens e os padrões JDBC/ODBC:

1.3 Principais Recursos

• Sincronizações Incrementais: Atualizações de baixa latência.
• Evolução do Esquema: Gere automaticamente adições/remoções de campos.
• Escalabilidade: Execução serverless, mais de 1 milhão de eventos/dia.

2. Arquitetura e Componentes

2.1 Arquitetura de Alto Nível

A Integração de Data Warehouse segue um design de pipeline ETL modular:

Origem (Tridens Monetization) → Motor de Integração → Data Warehouse de Destino

Esta arquitetura garante escalabilidade, resiliência e movimento de dados de baixa latência através dos serviços do Tridens e dos data warehouses suportados.

Visão Geral da Arquitetura

• Origem: Os microserviços do Tridens Monetization expõem APIs REST e registos de eventos para extração de dados.
• Motor de Integração: O processo ETL é executado em AWS Lambda ou Pods de Kubernetes para extrair, transformar e carregar dados de forma eficiente.
• Destino: Data warehouses como Snowflake, PostgreSQL ou MS SQL armazenam dados estruturados prontos para análise.

Diagrama de Arquitetura

2.2 Fluxo de Dados

• Extrair: Extrair dados das APIs do Tridens.
• Transformar: Aplicar mapeamentos em memória aos objetos do data warehouse de destino.
• Carregar: Upsert em massa para o data warehouse de destino com limites de transação.

2.3 Componentes/Módulos Envolvidos

• Extrator: Notificações do Tridens Monetization.
• Carregador: Manipulador JDBC baseado em Java utilizando operações em massa.
• Motor de Transformação: Transforma DTOs em objetos compatíveis com o data warehouse.

2.4 Fluxo de Dados / Passos do Pipeline

1. Inicialização: Validar configuração, adquirir bloqueios.
2. Extrair: Obter dados do DTO e preparar para a estrutura do data warehouse.
3. Transformar: Aplicar regras de anonimização.
4. Validar: Verificações de esquema e nível de linha.
5. Carregar: Inserção/atualização transacional.
6. Commit: Atualizar metadados e emitir métricas.

3. Fontes e Destinos de Dados Suportados

3.1 Fontes de Dados Tridens

Extrações das principais entidades do Tridens via APIs REST:

Referência de API: Documentação da API Tridens

3.2 Data Warehouses de Destino

4. Modelação de Dados e Mapeamento de Esquema

4.1 Definição de Objetos/Tabelas Expostos

O Tridens expõe mais de 17 tabelas de dados principais.

Principais Tabelas:

• Subscriptions
• Balances
• Events
• Bills
• Invoices
• Payments
• Customers
• …

5. Modos e Estratégias de Sincronização de Dados

5.1 Frequência de Dados

O Tridens Monetization fornece entrega de dados em tempo real, aproveitando a arquitetura orientada a eventos e a captura de alterações de dados (CDC) para atualizações quase instantâneas.

Mecanismo:

• As Notifications garantem uma latência inferior a um segundo.
• Ideal para casos de uso como:
  • Ajustes de faturação em tempo real
  • Deteção de fraude
  • Insights instantâneos sobre o cliente

5.2 Lidar com Eliminações, Atualizações e Inserções

6. Segurança, Autenticação e Credenciais

6.1 Armazenamento, Rotação e Encriptação de Credenciais

7. Permissões

Acesso Mínimo Necessário:

• CREATE TABLE no esquema
• INSERT, UPDATE, DELETE nas tabelas de destino

Exemplo Baseado em Funções:

GRANT USAGE ON DATABASE analytics_db TO ROLE tridens_role;
GRANT CREATE SCHEMA ON DATABASE analytics_db TO ROLE tridens_role;

8. Guia de Utilização / Configuração

8.1 Configuração Passo a Passo para Data Warehouse

1. Navegue até System Configuration → Data Warehouse Integration.
2. Selecione o seu tipo de warehouse (ex: Snowflake).
3. Introduza as suas credenciais JDBC/ODBC e teste a ligação.
4. Guarde a configuração.