Data warehouse

La funzionalità Tridens Monetization Data Warehouse Integration consente di esportare in modo fluido dati di subscription, billing, usage e revenue da Tridens verso le piattaforme analytics preferite. Questa guida fornisce un percorso chiaro per configurare e gestire l’integrazione, con attenzione alla scalabilità per billing usage-based ad alto volume in settori come telecomunicazioni, energia e veicoli elettrici.

Argomenti in questo documento:

• Introduzione & Panoramica
  • 1.1 Scopo e casi d’uso
  • 1.2 Piattaforme supportate
  • 1.3 Funzionalità chiave

2. Architettura e componenti
   • 2.1 Architettura high-level
   • 2.2 Flusso dati
   • 2.3 Componenti/moduli coinvolti
   • 2.4 Passaggi del flusso dati/pipeline
3. Sorgenti e target dati supportati
   • 3.1 Sorgenti dati Tridens
   • 3.2 Data warehouse target
4. Data modeling e mappatura schema
   • 4.1 Definizione di oggetti/tabelle esposti
5. Modalità e strategie di sincronizzazione dati
   • 5.1 Frequenza dati
   • 5.2 Gestione delete, update, insert
6. Sicurezza, autenticazione e credenziali
   • 6.1 Credenziali, storage e rotazione
7. Permessi
8. Guida uso/configurazione
   • 8.1 Configurazione passo passo per Data Warehouse

1. Introduzione & Panoramica

1.1 Scopo e casi d’uso

La Tridens Monetization Data Warehouse Integration automatizza estrazione, trasformazione e caricamento (ETL) dei dati operativi da Tridens Monetization nei data warehouse di proprietà del cliente. Questo consente advanced analytics, BI reporting e workflow di machine learning fuori dal modulo analytics nativo di Tridens.

Casi d’uso principali

• Revenue Analytics: sincronizza metriche subscription (ad esempio MRR, churn rate) per analisi cohort in aziende SaaS o media.
• Usage Pattern Insights: carica dati real-time da contatori IoT (ad esempio consumo energetico) in PostgreSQL per billing predittivo nelle utility.
• Compliance Reporting: esporta record billing auditati in MS SQL per riconciliazione IFRS15/ASC 606.
• Custom Integrations: alimenta dashboard con eventi di utilizzo anonimizzati tramite JDBC generico.

L’integrazione data warehouse riduce esportazioni manuali (come dump CSV/API), minimizza la latenza analytics e supporta l’evoluzione dello schema senza downtime, elemento critico per modelli di pricing dinamici.

1.2 Piattaforme supportate

Supporta connettori diretti verso i seguenti target, sfruttando API RESTful Tridens e standard JDBC/ODBC:

1.3 Funzionalità chiave

• Incremental Syncs: aggiornamenti a bassa latenza.
• Schema Evolution: gestisce automaticamente aggiunta/rimozione di campi.
• Scalability: esecuzione serverless, oltre 1M eventi/giorno.

2. Architettura e componenti

2.1 Architettura high-level

La Data Warehouse Integration segue un design pipeline ETL modulare:

Source (Tridens Monetization) → Integration Engine → Target Data Warehouse

Questa architettura garantisce scalabilità, resilienza e movimento dati a bassa latenza tra i servizi Tridens e i data warehouse supportati.

Panoramica architettura

• Source: i microservizi Tridens Monetization espongono API REST e log eventi per l’estrazione dati.
• Integration Engine: il processo ETL viene eseguito su AWS Lambda o Kubernetes Pods per estrarre, trasformare e caricare dati in modo efficiente.
• Target: data warehouse come Snowflake, PostgreSQL o MS SQL memorizzano dati strutturati pronti per analytics.

Diagramma architettura

2.2 Flusso dati

• Extract: recupera dati dalle API Tridens.
• Transform: applica mappature in memoria agli oggetti del data warehouse target.
• Load: esegue bulk upsert nel data warehouse target con confini transazionali.

2.3 Componenti/moduli coinvolti

• Extractor: Tridens Monetization notifications.
• Loader: Java-based JDBC handler using bulk operations.
• Transformation Engine: trasforma DTO in oggetti compatibili con il data warehouse.

2.4 Passaggi del flusso dati/pipeline

1. Initialization: valida la configurazione e acquisisce lock.
2. Extract: recupera dati dal DTO e li prepara per la struttura del data warehouse.
3. Transform: applica regole di anonimizzazione.
4. Validate: controlli a livello schema e riga.
5. Load: insert/update transazionale.
6. Commit: aggiorna metadata ed emette metriche.

3. Sorgenti e target dati supportati

3.1 Sorgenti dati Tridens

Estrae dati dalle entità core Tridens tramite API REST:

API Reference: Tridens API Documentation

3.2 Data warehouse target

4. Data modeling e mappatura schema

4.1 Definizione di oggetti/tabelle esposti

Tridens espone oltre 17 tabelle dati core.

Tabelle principali:

• Subscriptions
• Balances
• Events
• Bills
• Invoices
• Payments
• Customers
• …

5. Modalità e strategie di sincronizzazione dati

5.1 Frequenza dati

Tridens Monetization fornisce consegna dati real-time, sfruttando event-driven architecture e change data capture (CDC) per aggiornamenti quasi immediati.

Meccanismo:

• Notifications garantisce latenza sub-secondo.
• Ideale per casi d’uso come:
  • rettifiche billing real-time
  • rilevamento frodi
  • insight cliente immediati

5.2 Gestione delete, update, insert

6. Sicurezza, autenticazione e credenziali

6.1 Storage, rotazione e crittografia delle credenziali

7. Permessi

Accesso minimo richiesto:

• CREATE TABLE on schema
• INSERT, UPDATE, DELETE on target tables

Esempio role-based:

GRANT USAGE ON DATABASE analytics_db TO ROLE tridens_role;
GRANT CREATE SCHEMA ON DATABASE analytics_db TO ROLE tridens_role;

8. Guida uso/configurazione

8.1 Configurazione passo passo per Data Warehouse

1. Vai a System Configuration -> Data Warehouse Integration.
2. Seleziona il tipo di warehouse, ad esempio Snowflake.
3. Inserisci le credenziali JDBC/ODBC e testa la connessione.
4. Salva la configurazione.