Data Warehouses

Die Funktion Tridens Monetization Data Warehouse Integration ermöglicht es Ihnen, Ihre Abonnement-, Abrechnungs-, Nutzungs- und Umsatzdaten nahtlos von Tridens in Ihre bevorzugten Analyseplattformen zu exportieren. Dieser Leitfaden bietet einen klaren Fahrplan für die Einrichtung und Verwaltung dieser Integration und konzentriert sich auf die Skalierbarkeit für hochvolumige nutzungsbasierte Abrechnungen in Branchen wie Telekommunikation, Energie und Elektrofahrzeuge.

Themen in diesem Dokument:

1. Einführung & Übersicht
   • 1.1 Zweck und Anwendungsfälle
   • 1.2 Unterstützte Plattformen
   • 1.3 Hauptmerkmale
2. Architektur & Komponenten
   • 2.1 High-Level-Architektur
   • 2.2 Datenfluss
   • 2.3 Beteiligte Komponenten/Module
   • 2.4 Datenfluss / Pipeline-Schritte
3. Unterstützte Datenquellen & Ziele
   • 3.1 Tridens-Datenquellen
   • 3.2 Ziel-Data-Warehouses
4. Datenmodellierung & Schema-Mapping
   • 4.1 Definition der bereitgestellten Objekte/Tabellen
5. Datensynchronisierungsmodi & Strategien
   • 5.1 Datenfrequenz
   • 5.2 Handhabung von Löschvorgängen, Aktualisierungen und Einfügungen
6. Sicherheit, Authentifizierung & Zugangsdaten
   • 6.1 Zugangsdaten, Speicherung, Rotation
7. Berechtigungen
8. Nutzungs / Konfigurationshandbuch
   • 8.1 Schritt-für-Schritt-Einrichtung für Data Warehouses

1. Einführung & Übersicht

1.1 Zweck und Anwendungsfälle

Die Tridens Monetization Data Warehouse Integration automatisiert die Extraktion, Transformation und das Laden (ETL (Extraction, Transformation, and Loading)) von Betriebsdaten aus Tridens Monetization in kunden-eigene Data Warehouses. Dies ermöglicht fortgeschrittene Analysen, BI-Reporting (Business Intelligence) und Workflows für maschinelles Lernen außerhalb des nativen Tridens-Analysemoduls.

Wichtige Anwendungsfälle:

• Umsatzanalyse: Synchronisieren Sie Abonnementkennzahlen (z. B. MRR (Monthly Recurring Revenue), Churn-Raten) für Kohortenanalysen in SaaS- (Software as a Service) oder Medienunternehmen.
• Einblicke in Nutzungsmuster: Laden Sie Echtzeit-IoT-Zählerdaten (Internet of Things) (z. B. Energieverbrauch) in PostgreSQL für vorausschauende Abrechnungen in Versorgungsunternehmen.
• Compliance-Berichterstattung: Exportieren Sie geprüfte Abrechnungsdatensätze nach MS SQL für den Abgleich gemäß IFRS15/ASC 606.
• Benutzerdefinierte Integrationen: Speisen Sie anonymisierte Nutzungsereignisse über generisches JDBC (Java Database Connectivity) in Dashboards ein.

Die Data-Warehouse-Integration reduziert manuelle Exporte (wie CSV/API-Dumps), minimiert die Analyse-Latenz und unterstützt die Schemaentwicklung ohne Ausfallzeiten – entscheidend für dynamische Preismodelle.

1.2 Unterstützte Plattformen

Unterstützt direkte Connectoren zu den folgenden Zielen unter Nutzung der Tridens RESTful (Representational State Transfer) APIs und JDBC/ODBC-Standards (Open Database Connectivity):

1.3 Hauptmerkmale

• Inkrementelle Synchronisierungen: Aktualisierungen mit geringer Latenz.
• Schemaentwicklung: Verarbeitet das Hinzufügen/Entfernen von Feldern automatisch.
• Skalierbarkeit: Serverlose Ausführung, mehr als 1 Mio. Ereignisse/Tag.

2. Architektur & Komponenten

2.1 High-Level-Architektur

Die Data Warehouse Integration folgt einem Design einer modularen ETL-Pipeline:

Quelle (Tridens Monetization) → Integrations-Engine → Ziel-Data-Warehouse

Diese Architektur gewährleistet Skalierbarkeit, Ausfallsicherheit und Datenbewegungen mit geringer Latenz über Tridens-Dienste und unterstützte Data Warehouses hinweg.

Architektur-Übersicht

• Quelle: Tridens Monetization Microservices stellen REST APIs und Ereignisprotokolle für die Datenextraktion bereit.
• Integrations-Engine: Der ETL-Prozess läuft auf AWS Lambda oder Kubernetes-Pods, um Daten effizient zu extrahieren, zu transformieren und zu laden.
• Ziel: Data Warehouses wie Snowflake, PostgreSQL oder MS SQL speichern strukturierte, analysebereite Daten.

Architektur-Diagramm

2.2 Datenfluss

• Extraktion: Daten aus Tridens APIs abrufen.
• Transformation: In-Memory-Mappings auf Ziel-Data-Warehouse-Objekte anwenden.
• Laden: Bulk-Upsert in das Ziel-Data-Warehouse mit Transaktionsgrenzen.

2.3 Beteiligte Komponenten/Module

• Extraktor: Tridens Monetization Benachrichtigungen.
• Loader: Java-basierter JDBC-Handler unter Verwendung von Bulk-Operationen.
• Transformations-Engine: Transformiert DTOs (Data Transfer Objects) in Data-Warehouse-kompatible Objekte.

2.4 Datenfluss / Pipeline-Schritte

1. Initialisierung: Konfiguration validieren, Sperren erwerben.
2. Extraktion: Daten aus DTO abrufen und für die Data-Warehouse-Struktur vorbereiten.
3. Transformation: Anonymisierungsregeln anwenden.
4. Validierung: Prüfungen auf Schema- und Zeilenebene.
5. Laden: Transaktionales Einfügen/Aktualisieren.
6. Commit: Metadaten aktualisieren und Metriken ausgeben.

3. Unterstützte Datenquellen & Ziele

3.1 Tridens-Datenquellen

Extrahiert aus Kern-Entitäten von Tridens über REST APIs:

API-Referenz: Tridens API-Dokumentation

3.2 Ziel-Data-Warehouses

4. Datenmodellierung & Schema-Mapping

4.1 Definition der bereitgestellten Objekte/Tabellen

Tridens stellt über 17 Kern-Datentabellen bereit.

Primäre Tabellen:

• Subscriptions
• Balances
• Events
• Bills
• Invoices
• Payments
• Customers
• …

5. Datensynchronisierungsmodi & Strategien

5.1 Datenfrequenz

Tridens Monetization bietet Datenbereitstellung in Echtzeit unter Nutzung einer ereignisgesteuerten Architektur und Change Data Capture (CDC (Change Data Capture)) für fast sofortige Aktualisierungen.

Mechanismus:

• Benachrichtigungen gewährleisten eine Latenz von unter einer Sekunde.
• Ideal für Anwendungsfälle wie:
  • Abrechnungsanpassungen in Echtzeit
  • Betrugserkennung
  • Sofortige Einblicke in Kundendaten

5.2 Handhabung von Löschvorgängen, Aktualisierungen und Einfügungen

6. Sicherheit, Authentifizierung & Zugangsdaten

6.1 Zugangsdaten Speicherung, Rotation und Verschlüsselung

7. Berechtigungen

Erforderlicher Mindestzugriff:

• CREATE TABLE im Schema
• INSERT, UPDATE, DELETE in Zieltabellen

Rollenbasiertes Beispiel:

GRANT USAGE ON DATABASE analytics_db TO ROLE tridens_role;
GRANT CREATE SCHEMA ON DATABASE analytics_db TO ROLE tridens_role;

8. Nutzungs / Konfigurationshandbuch

8.1 Schritt-für-Schritt-Einrichtung für Data Warehouses

1. Navigieren Sie zu System Configuration → Data Warehouse Integration.
2. Wählen Sie Ihren Warehouse-Typ (z. B. Snowflake).
3. Geben Sie Ihre JDBC/ODBC Zugangsdaten ein und testen Sie die Verbindung.
4. Konfiguration speichern.