数据仓库
面向技术用户的综合指南，用于将 Tridens Monetization 与您的数据仓库集成。
分类:
Tridens Monetization Data Warehouse Integration 功能允许您将订阅、计费、使用量和收入数据从 Tridens 无缝导出到首选分析平台。本指南为设置和管理此集成提供清晰路线图，重点关注电信、能源和电动汽车等行业中高容量用量计费的可扩展性。
本文档主题：
1. 简介与概览
1.1 目的和用例
Tridens Monetization Data Warehouse Integration 可自动执行从 Tridens Monetization 到客户自有数据仓库的运营数据提取、转换和加载 (ETL)。这可在 Tridens 原生分析模块之外启用高级分析、BI 报告和机器学习工作流。
关键用例：
- 收入分析： 同步订阅指标（例如 MRR、流失率），用于 SaaS 或媒体公司的群组分析。
- 使用模式洞察： 将实时 IoT 仪表数据（例如能源消耗）加载到 PostgreSQL，用于公用事业中的预测性计费。
- 合规报告： 将已审计的计费记录导出到 MS SQL，用于 IFRS15/ASC 606 对账。
- 自定义集成： 通过通用 JDBC 将匿名化使用事件馈送到仪表板。
数据仓库集成减少手动导出（如 CSV/API 转储），最大限度降低分析延迟，并支持无停机的架构演进，这对于动态定价模型至关重要。
1.2 支持的平台
支持到以下目标的直接连接器，利用 Tridens RESTful API 和 JDBC/ODBC 标准：
| 平台 | 集成类型 | 支持的部署 |
|---|---|---|
| Snowflake | 通过 Snowpipe 原生连接器进行暂存加载 | 账户和仓库级别 |
| PostgreSQL | JDBC | 本地部署、AWS RDS、GCP SQL |
| Microsoft SQL Server (MS SQL) | JDBC | Azure SQL、本地部署、Always Encrypted |
| MySQL | JDBC | AWS Aurora、GCP SQL、自托管 |
| Generic JDBC | 自定义驱动程序 | 任何符合 JDBC 的数据仓库（例如 BigQuery、Redshift） |
1.3 关键功能
- 增量同步： 低延迟更新。
- 架构演进： 自动处理字段添加/删除。
- 可扩展性： 无服务器执行，100 万以上事件/天。
2. 架构与组件
2.1 高层架构
Data Warehouse Integration 遵循模块化 ETL 管道设计：
Source (Tridens Monetization) → Integration Engine → Target Data Warehouse
此架构确保 Tridens 服务与受支持数据仓库之间的数据移动具备可扩展性、弹性和低延迟。
架构概览
- Source: Tridens Monetization 微服务公开 REST API 和事件日志以进行数据提取。
- Integration Engine: ETL 流程在 AWS Lambda 或 Kubernetes Pods 上运行，以高效提取、转换和加载数据。
- Target: Snowflake、PostgreSQL 或 MS SQL 等数据仓库存储结构化、可供分析的数据。
架构图
2.2 数据流
- Extract: 从 Tridens API 拉取数据。
- Transform: 将内存中映射应用到目标数据仓库对象。
- Load: 在事务边界内批量 upsert 到目标数据仓库。
2.3 涉及的组件/模块
- Extractor: Tridens Monetization 通知。
- Loader: 使用批量操作的 Java JDBC 处理程序。
- Transformation Engine: 将 DTO 转换为数据仓库兼容对象。
2.4 数据流/管道步骤
- Initialization: 验证配置，获取锁。
- Extract: 从 DTO 获取数据并为数据仓库结构做准备。
- Transform: 应用匿名化规则。
- Validate: 架构和行级检查。
- Load: 事务性插入/更新。
- Commit: 更新元数据并发出指标。
3. 支持的数据源和目标
3.1 Tridens 数据源
通过 REST API 从 Tridens 核心实体提取：
| 实体 | 描述 |
|---|---|
| Subscriptions | 计划、变更、状态 |
| Usage Records | 计量事件（例如通话、短信、数据用量、能源） |
| Billing/Invoices | 费用、付款 |
| Customers/Accounts | 层级、余额 |
API 参考： Tridens API Documentation
3.2 目标数据仓库
| 目标 | 最低版本 | 驱动程序 |
|---|---|---|
| Snowflake | N/A | Snowflake JDBC 3.13+ |
| PostgreSQL | 12 | pgJDBC 42.5+ |
| MS SQL | 2019 | MS JDBC 12.4+ |
| MySQL | 8.0 | Connector/J 8.1+ |
| Generic JDBC | N/A | Custom |
4. 数据建模与架构映射
4.1 公开对象/表的定义
Tridens 公开超过 17 个核心数据表。
主要表：
- Subscriptions
- Balances
- Events
- Bills
- Invoices
- Payments
- Customers
- …
5. 数据同步模式与策略
5.1 数据频率
Tridens Monetization 利用事件驱动架构和变更数据捕获 (CDC) 提供实时数据交付，以实现近乎即时的更新。
机制：
- Notifications 确保亚秒级延迟。
- 适用于以下用例：
- 实时计费调整
- 欺诈检测
- 即时客户洞察
5.2 处理删除、更新、插入
| 操作 | 策略 |
|---|---|
| Inserts | 使用唯一主键创建新行。 |
| Updates | 通过主键列上的 MERGE 或 UPSERT 执行。 |
| Deletes | 根据目标仓库支持情况作为软删除处理。 |
6. 安全、身份验证与凭据
6.1 凭据、存储、轮换和加密
| 安全机制 | 描述 |
|---|---|
| Storage | 凭据存储在 Tridens Monetization 上（已加密） |
| Encryption | 所有载荷在传输中和静态存储时均使用 AES-256 加密。 |
7. 权限
所需最低访问权限：
- 架构上的
CREATE TABLE - 目标表上的
INSERT、UPDATE、DELETE
基于角色的示例：
GRANT USAGE ON DATABASE analytics_db TO ROLE tridens_role;
GRANT CREATE SCHEMA ON DATABASE analytics_db TO ROLE tridens_role;
8. 使用/配置指南
8.1 数据仓库分步设置
- 导航到 System Configuration → Data Warehouse Integration。
- 选择您的仓库类型（例如 Snowflake）。
- 输入您的 JDBC/ODBC credentials 并测试连接。
- 保存配置。
