Entrepôts de données

La fonctionnalité Intégration de l’entrepôt de données Tridens Monetization vous permet d’exporter de manière transparente vos données d’abonnement, de facturation, d’utilisation et de revenus de Tridens vers vos plateformes d’analyse préférées. Ce guide fournit une feuille de route claire pour la mise en place et la gestion de cette intégration, en se concentrant sur l’évolutivité pour la facturation basée sur l’utilisation à haut volume dans des secteurs tels que les télécommunications, l’énergie et les véhicules électriques.

Sujets dans ce document :

1. Introduction & Aperçu
   • 1.1 Objectif et cas d’utilisation
   • 1.2 Plateformes prises en charge
   • 1.3 Caractéristiques principales
2. Architecture & Composants
   • 2.1 Architecture de haut niveau
   • 2.2 Flux de données
   • 2.3 Composants/Modules impliqués
   • 2.4 Étapes du flux de données / pipeline
3. Sources de données & Cibles prises en charge
   • 3.1 Sources de données Tridens
   • 3.2 Entrepôts de données cibles
4. Modélisation des données & Mappage de schéma
   • 4.1 Définition des objets/tables exposés
5. Modes & Stratégies de synchronisation des données
   • 5.1 Fréquence des données
   • 5.2 Gestion des suppressions, mises à jour et insertions
6. Sécurité, Authentification & Identifiants
   • 6.1 Identifiants, Stockage, Rotation
7. Autorisations
8. Guide d’utilisation / de configuration
   • 8.1 Configuration étape par étape pour les entrepôts de données

1. Introduction & Aperçu

1.1 Objectif et cas d’utilisation

L’ Intégration de l’entrepôt de données Tridens Monetization automatise l’extraction, la transformation et le chargement (ETL (Extraction, Transformation, and Loading)) de données opérationnelles de Tridens Monetization vers les entrepôts de données appartenant au client. Cela permet des analyses avancées, des rapports BI (Business Intelligence) et des flux de travail d’apprentissage automatique en dehors du module d’analyse natif de Tridens.

Principaux cas d’utilisation :

• Analyses des revenus : Synchronisez les mesures d’abonnement (par exemple, MRR (Monthly Recurring Revenue), taux de désabonnement) pour l’analyse de cohorte dans les entreprises SaaS (Software as a Service) ou de médias.
• Aperçus sur les modèles d’utilisation : Chargez des données de compteurs IoT (Internet of Things) en temps réel (par exemple, consommation d’énergie) dans PostgreSQL pour une facturation prédictive dans les services publics.
• Rapports de conformité : Exportez des enregistrements de facturation audités vers MS SQL pour le rapprochement IFRS15/ASC 606.
• Intégrations personnalisées : Alimentez des événements d’utilisation anonymisés dans des tableaux de bord via JDBC (Java Database Connectivity) générique.

L’intégration de l’entrepôt de données réduit les exportations manuelles (comme les vidages CSV/API), minimise la latence analytique et prend en charge l’évolution du schéma sans interruption – essentiel pour les modèles de tarification dynamique.

1.2 Plateformes prises en charge

Prend en charge les connecteurs directs vers les cibles suivantes, en tirant parti des API RESTful (Representational State Transfer) de Tridens et des normes JDBC/ODBC (Open Database Connectivity) :

1.3 Caractéristiques principales

• Syncs incrémentielles : Mises à jour à faible latence.
• Évolution du schéma : Gère automatiquement les ajouts/suppressions de champs.
• Évolutivité : Exécution sans serveur, plus de 1M d’événements/jour.

2. Architecture & Composants

2.1 Architecture de haut niveau

L’ Intégration de l’entrepôt de données suit une conception de pipeline ETL modulaire :

Source (Tridens Monetization) → Moteur d’intégration → Entrepôt de données cible

Cette architecture garantit l’évolutivité, la résilience et le mouvement des données à faible latence à travers les services Tridens et les entrepôts de données pris en charge.

Aperçu de l’architecture

• Source : Les microservices de Tridens Monetization exposent des API REST et des journaux d’événements pour l’extraction de données.
• Moteur d’intégration : Le processus ETL s’exécute sur AWS Lambda ou sur des pods Kubernetes pour extraire, transformer et charger les données efficacement.
• Cible : Les entrepôts de données comme Snowflake, PostgreSQL ou MS SQL stockent des données structurées prêtes pour l’analyse.

Diagramme d’architecture

2.2 Flux de données

• Extraire : Extraire les données des API Tridens.
• Transformer : Appliquer des mappages en mémoire aux objets de l’entrepôt de données cible.
• Charger : Bulk-upsert vers l’entrepôt de données cible avec des limites de transaction.

2.3 Composants/Modules impliqués

• Extracteur : Notifications Tridens Monetization.
• Chargeur : Gestionnaire JDBC basé sur Java utilisant des opérations en vrac.
• Moteur de transformation : Transforme les DTO (Data Transfer Objects) en objets compatibles avec l’entrepôt de données.

2.4 Étapes du flux de données / pipeline

1. Initialisation : Valider la configuration, acquérir des verrous.
2. Extraire : Récupérer les données du DTO et les préparer pour la structure de l’entrepôt de données.
3. Transformer : Appliquer des règles d’anonymisation.
4. Valider : Vérifications au niveau du schéma et des lignes.
5. Charger : Insertion/mise à jour transactionnelle.
6. Commit : Mettre à jour les métadonnées et émettre des mesures.

3. Sources de données & Cibles prises en charge

3.1 Sources de données Tridens

Extractions des entités de base de Tridens via les API REST :

Référence API : Documentation de l’API Tridens

3.2 Entrepôts de données cibles

4. Modélisation des données & Mappage de schéma

4.1 Définition des objets / tables exposés

Tridens expose plus de 17 tables de données de base.

Tables primaires :

• Abonnements
• Soldes
• Événements
• Factures (Bills)
• Factures (Invoices)
• Paiements
• Clients
• …

5. Modes & Stratégies de synchronisation des données

5.1 Fréquence des données

Tridens Monetization fournit une livraison de données en temps réel, en s’appuyant sur une architecture orientée événements et la capture de données modifiées (CDC (Change Data Capture)) pour des mises à jour quasi instantanées.

Mécanisme :

• Notifications garantissent une latence inférieure à la seconde.
• Idéal pour les cas d’utilisation tels que :
  • Ajustements de facturation en temps réel
  • Détection de fraude
  • Aperçus instantanés des clients

5.2 Gestion des suppressions, mises à jour, insertions

6. Sécurité, Authentification & Identifiants

6.1 Stockage, rotation et chiffrement des identifiants

7. Autorisations

Accès minimal requis :

• CREATE TABLE sur le schéma
• INSERT, UPDATE, DELETE sur les tables cibles

Exemple basé sur les rôles :

GRANT USAGE ON DATABASE analytics_db TO ROLE tridens_role;
GRANT CREATE SCHEMA ON DATABASE analytics_db TO ROLE tridens_role;

8. Guide d’utilisation / de configuration

8.1 Configuration étape par étape pour l’entrepôt de données

1. Naviguez vers System Configuration → Data Warehouse Integration.
2. Sélectionnez votre type d’entrepôt (par exemple, Snowflake).
3. Saisissez vos identifiants JDBC/ODBC et testez la connexion.
4. Enregistrer la configuration.