Hurtownie danych

Funkcja Tridens Monetization Data Warehouse Integration umożliwia płynny eksport danych o subskrypcjach, rozliczeniach, użyciu i przychodach z Tridens do wybranych platform analitycznych. Ten przewodnik przedstawia jasną ścieżkę konfiguracji i zarządzania integracją, ze szczególnym uwzględnieniem skalowalności dla rozliczeń opartych na wysokim wolumenie użycia w branżach takich jak telekomunikacja, energetyka i pojazdy elektryczne.

Tematy w tym dokumencie:

• Wprowadzenie i przegląd
• 1.1 Cel i przypadki użycia
• 1.2 Obsługiwane platformy
• 1.3 Kluczowe funkcje

2. Architektura i komponenty

• 2.1 Architektura wysokiego poziomu
• 2.2 Przepływ danych
• 2.3 Zaangażowane komponenty/moduły
• 2.4 Kroki przepływu danych / potoku

3. Obsługiwane źródła danych i cele

• 3.1 Źródła danych Tridens
• 3.2 Docelowe hurtownie danych

4. Modelowanie danych i mapowanie schematu

• 4.1 Definicja udostępnianych obiektów/tabel

5. Tryby i strategie synchronizacji danych

• 5.1 Częstotliwość danych
• 5.2 Obsługa usunięć, aktualizacji i wstawień

6. Bezpieczeństwo, uwierzytelnianie i dane dostępowe

• 6.1 Przechowywanie, rotacja i szyfrowanie danych dostępowych

7. Uprawnienia
8. Przewodnik użycia / konfiguracji

• 8.1 Konfiguracja Data Warehouse krok po kroku

1. Wprowadzenie i przegląd

1.1 Cel i przypadki użycia

Tridens Monetization Data Warehouse Integration automatyzuje ekstrakcję, transformację i ładowanie (ETL) danych operacyjnych z Tridens Monetization do hurtowni danych należących do klienta. Umożliwia to zaawansowaną analitykę, raportowanie BI i przepływy pracy uczenia maszynowego poza natywnym modułem analitycznym Tridens.

Kluczowe przypadki użycia:

• Analityka przychodów: synchronizacja metryk subskrypcji, takich jak MRR i wskaźnik churn, na potrzeby analizy kohortowej w firmach SaaS lub mediowych.
• Analiza wzorców użycia: ładowanie danych z liczników IoT w czasie rzeczywistym, na przykład zużycia energii, do PostgreSQL na potrzeby predykcyjnego rozliczania w sektorze utilities.
• Raportowanie zgodności: eksport audytowanych rekordów rozliczeniowych do MS SQL na potrzeby uzgodnień IFRS15/ASC 606.
• Integracje niestandardowe: przekazywanie zanonimizowanych zdarzeń użycia do dashboardów przez ogólny JDBC.

Integracja z hurtownią danych ogranicza ręczne eksporty, takie jak zrzuty CSV/API, minimalizuje opóźnienia analityczne i obsługuje ewolucję schematu bez przestojów, co jest kluczowe dla dynamicznych modeli cenowych.

1.2 Obsługiwane platformy

Obsługiwane są bezpośrednie konektory do następujących celów, wykorzystujące API REST Tridens oraz standardy JDBC/ODBC:

1.3 Kluczowe funkcje

• Synchronizacje przyrostowe: aktualizacje z niskim opóźnieniem.
• Ewolucja schematu: automatyczna obsługa dodawania i usuwania pól.
• Skalowalność: wykonywanie serverless, ponad 1 mln zdarzeń dziennie.

2. Architektura i komponenty

2.1 Architektura wysokiego poziomu

Data Warehouse Integration wykorzystuje modularny potok ETL:

Source (Tridens Monetization) → Integration Engine → Target Data Warehouse

Ta architektura zapewnia skalowalność, odporność i przepływ danych z niskim opóźnieniem między usługami Tridens a obsługiwanymi hurtowniami danych.

Przegląd architektury

• Source: mikroserwisy Tridens Monetization udostępniają API REST oraz dzienniki zdarzeń do ekstrakcji danych.
• Integration Engine: proces ETL działa w AWS Lambda albo Kubernetes Pods, aby sprawnie ekstrahować, transformować i ładować dane.
• Target: hurtownie danych, takie jak Snowflake, PostgreSQL lub MS SQL, przechowują uporządkowane dane gotowe do analizy.

Diagram architektury

2.2 Przepływ danych

• Extract: pobieranie danych z API Tridens.
• Transform: stosowanie mapowań w pamięci do obiektów docelowej hurtowni danych.
• Load: masowe operacje upsert do docelowej hurtowni danych z granicami transakcji.

2.3 Zaangażowane komponenty/moduły

• Extractor: powiadomienia Tridens Monetization.
• Loader: handler JDBC oparty na Javie, używający operacji masowych.
• Transformation Engine: transformuje DTO na obiekty zgodne z hurtownią danych.

2.4 Kroki przepływu danych / potoku

1. Initialization: walidacja konfiguracji i pozyskanie blokad.
2. Extract: pobranie danych z DTO i przygotowanie ich do struktury hurtowni danych.
3. Transform: zastosowanie reguł anonimizacji.
4. Validate: sprawdzenie schematu i walidacja na poziomie wierszy.
5. Load: transakcyjne wstawienie lub aktualizacja.
6. Commit: aktualizacja metadanych i emisja metryk.

3. Obsługiwane źródła danych i cele

3.1 Źródła danych Tridens

Ekstrakcja odbywa się z podstawowych encji Tridens przez API REST:

Dokumentacja API: Tridens API Documentation

3.2 Docelowe hurtownie danych

4. Modelowanie danych i mapowanie schematu

4.1 Definicja udostępnianych obiektów/tabel

Tridens udostępnia ponad 17 podstawowych tabel danych.

Główne tabele:

• Subscriptions
• Balances
• Events
• Bills
• Invoices
• Payments
• Customers
• …

5. Tryby i strategie synchronizacji danych

5.1 Częstotliwość danych

Tridens Monetization zapewnia dostarczanie danych w czasie rzeczywistym, wykorzystując architekturę zdarzeniową oraz change data capture (CDC) do niemal natychmiastowych aktualizacji.

Mechanizm:

• Notifications zapewniają opóźnienia poniżej sekundy.
• Idealne dla przypadków użycia takich jak:
• korekty rozliczeń w czasie rzeczywistym
• wykrywanie nadużyć
• natychmiastowe informacje o kliencie

5.2 Obsługa usunięć, aktualizacji i wstawień

6. Bezpieczeństwo, uwierzytelnianie i dane dostępowe

6.1 Przechowywanie, rotacja i szyfrowanie danych dostępowych

7. Uprawnienia

Minimalny wymagany dostęp:

• CREATE TABLE w schemacie
• INSERT, UPDATE, DELETE na tabelach docelowych

Przykład oparty na rolach:

GRANT USAGE ON DATABASE analytics_db TO ROLE tridens_role;
GRANT CREATE SCHEMA ON DATABASE analytics_db TO ROLE tridens_role;

8. Przewodnik użycia / konfiguracji

8.1 Konfiguracja Data Warehouse krok po kroku

1. Przejdź do System Configuration → Data Warehouse Integration.
2. Wybierz typ hurtowni danych, na przykład Snowflake.
3. Wprowadź JDBC/ODBC credentials (dane dostępowe JDBC/ODBC) i przetestuj połączenie.
4. Zapisz konfigurację.