Podatkovna skladišča

Funkcija Integracija podatkovnega skladišča Tridens Monetization vam omogoča nemoten izvoz vaših podatkov o naročninah, obračunavanju, uporabi in prihodkih iz Tridensa v vaše priljubljene analitične platforme. Ta vodnik ponuja jasno pot za nastavitev in upravljanje te integracije, s poudarkom na skalabilnosti za visoko količinsko obračunavanje na podlagi uporabe v panogah, kot so telekomunikacije, energetika in električna vozila.

Teme v tem dokumentu:

1. Uvod in pregled
   • 1.1 Namen in primeri uporabe
   • 1.2 Podprte platforme
   • 1.3 Ključne lastnosti
2. Arhitektura in komponente
   • 2.1 Visokonivojska arhitektura
   • 2.2 Tok podatkov
   • 2.3 Vključene komponente/moduli
   • 2.4 Koraki toka podatkov / cevovoda
3. Podprti viri podatkov in cilji
   • 3.1 Viri podatkov Tridens
   • 3.2 Ciljna podatkovna skladišča
4. Modeliranje podatkov in preslikava sheme
   • 4.1 Definicija izpostavljenih objektov/tabel
5. Načini in strategije sinhronizacije podatkov
   • 5.1 Pogostost podatkov
   • 5.2 Ravnanje z izbrisi, posodobitvami in vstavljanji
6. Varnost, avtentikacija in poverilnice
   • 6.1 Poverilnice, shranjevanje, rotacija
7. Dovoljenja
8. Vodnik za uporabo / konfiguraciju
   • 8.1 Nastavitev po korakih za podatkovno skladišče

1. Uvod in pregled

1.1 Namen in primeri uporabe

Integracija podatkovnega skladišča Tridens Monetization avtomatizira ekstrakcijo, transformacijo in nalaganje (ETL (ang. Extraction, Transformation, and Loading)) operativnih podatkov iz Tridens Monetization v podatkovna skladišča v lasti strank. To omogoča napredno analitiko, BI poročanje (ang. Business Intelligence) in delovne tokove strojnega učenja zunaj izvornega analitičnega modula Tridens.

Ključni primeri uporabe:

• Analitika prihodkov: Sinhronizirajte metrike naročnin (npr. MRR (ang. Monthly Recurring Revenue), stopnje osipa) za kohortno analizo v podjetjih SaaS (ang. Software as a Service) ali medijskih podjetjih.
• Vpogledi v vzorce uporabe: Naložite podatke števcev IoT (ang. Internet of Things) v realnem času (npr. poraba energije) v PostgreSQL za prediktivno obračunavanje v komunalnih storitvah.
• Poročanje o skladnosti: Izvozite revidirane zapise o obračunu v MS SQL za uskladitev po IFRS15/ASC 606.
• Integracije po meri: Prenesite anonimizirane dogodke uporabe v nadzorne plošče prek generičnega JDBC (ang. Java Database Connectivity).

Integracija podatkovnega skladišča zmanjšuje ročne izvoze (kot so izpisi CSV/API), minimizira zakasnitev analitike in podpira razvoj sheme brez prekinitve delovanja – kar je ključno za dinamične cenovne modele.

1.2 Podprte platforme

Podpira neposredne priključke na naslednje cilje z uporabo RESTful (ang. Representational State Transfer) API-jev Tridens ter standardov JDBC/ODBC (ang. Open Database Connectivity):

1.3 Ključne lastnosti

• Inkrementalne sinhronizacije: Posodobitve z nizko zakasnitvijo.
• Razvoj sheme: Samodejno upravlja dodajanje/odstranjevanje polj.
• Skalabilnost: Brezstrezniška izvedba, več kot 1 milijon dogodkov/dan.

2. Arhitektura in komponente

2.1 Visokonivojska arhitektura

Integracija podatkovnega skladišča sledi zasnovi modularnega cevovoda ETL:

Vir (Tridens Monetization) → Integracijski mehanizem → Ciljno podatkovno skladišče

Ta arhitektura zagotavlja skalabilnost, odpornost in premikanje podatkov z nizko zakasnitvijo med storitvami Tridens in podprtimi podatkovnimi skladišči.

Pregled arhitekture

• Vir: Mikro-storitve Tridens Monetization izpostavljajo REST API-je in dnevnike dogodkov za ekstrakcijo podatkov.
• Integracijski mehanizem: Postopek ETL se izvaja na AWS Lambda ali Kubernetes Podih za učinkovito ekstrakcijo, transformacijo in nalaganje podatkov.
• Cilj: Podatkovna skladišča, kot so Snowflake, PostgreSQL ali MS SQL, shranjujejo strukturirane podatke, pripravljene na analizo.

Diagram arhitekture

2.2 Tok podatkov

• Ekstrakcija: Pridobivanje podatkov iz API-jev Tridens.
• Transformacija: Uporaba preslikav v pomnilniku na ciljne objekte podatkovnega skladišča.
• Nalaganje: Množično posodabljanje (ang. bulk upsert) v ciljno podatkovno skladišče s transakcijskimi mejami.

2.3 Vključene komponente/moduli

• Ekstraktor: Obvestila Tridens Monetization.
• Nalagalnik: Nalagalnik JDBC na osnovi Jave, ki uporablja množične operacije.
• Mehanizem za transformacijo: Pretvori DTO-je (ang. Data Transfer Objects) v objekte, združljive s podatkovnim skladiščem.

2.4 Koraki toka podatkov / cevovoda

1. Inicilizacija: Preverjanje konfiguracije, pridobitev zaklepov.
2. Ekstrakcija: Pridobivanje podatkov iz DTO-ja in priprava za strukturo podatkovnega skladišča.
3. Transformacija: Uporaba pravil za anonimizacijo.
4. Validacija: Preverjanje sheme in nivoja vrstic.
5. Nalaganje: Transakcijsko vstavljanje/posodabljanje.
6. Potrditev: Posodobitev metapodatkov in oddajanje metrik.

3. Podprti viri podatkov in cilji

3.1 Viri podatkov Tridens

Ekstrakcija iz jedrnih entiteto Tridens prek REST API-jev:

Referenca API: Dokumentacija Tridens API

3.2 Ciljna podatkovna skladišča

4. Modeliranje podatkov in preslikava sheme

4.1 Definicija izpostavljenih objektov / tabel

Tridens izpostavlja več kot 17 jedrnih podatkovnih tabel.

Primarne tabele:

• Naročnine
• Stanja
• Dogodki
• Obračuni (Bills)
• Računi (Invoices)
• Plačila
• Stranke
• …

5. Načini in strategije sinhronizacije podatkov

5.1 Pogostost podatkov

Tridens Monetization omogoča dostavo podatkov v realnem času z uporabo arhitekture, vodene z dogodki, in zajema sprememb podatkov (CDC (ang. Change Data Capture)) za skoraj takojšnje posodobitve.

Mehanizem:

• Obvestila zagotavljajo zakasnitev pod eno sekundo.
• Idealno za primere uporabe, kot so:
  • Prilagoditve obračuna v realnem času
  • Zaznavanje goljufij
  • Takojšnji vpogledi v stranke

5.2 Ravnanje z izbrisi, posodobitvami, vstavljanji

6. Varnost, avtentikacija in poverilnice

6.1 Shranjevanje, rotacija in šifriranje poverilnic

7. Dovoljenja

Minimalni zahtevani dostop:

• CREATE TABLE na shemi
• INSERT, UPDATE, DELETE na ciljnih tabelah

Primer na podlagi vlog:

GRANT USAGE ON DATABASE analytics_db TO ROLE tridens_role;
GRANT CREATE SCHEMA ON DATABASE analytics_db TO ROLE tridens_role;

8. Vodnik za uporabo / konfiguraciju

8.1 Nastavitev po korakih za podatkovno skladišče

1. Pomaknite se na System Configuration → Data Warehouse Integration.
2. Izberite vrsto svojega skladišča (npr. Snowflake).
3. Vnesite svoje poverilnice JDBC/ODBC in preizkusite povezavo.
4. Shranite konfiguracijo.