데이터 웨어하우스

Tridens Monetization Data Warehouse Integration 기능을 사용하면 구독, 청구, 사용량, 수익 데이터를 Tridens에서 선호하는 분석 플랫폼으로 원활하게 내보낼 수 있습니다. 이 가이드는 통신, 에너지, 전기차 같은 산업의 대량 사용량 기반 청구 확장성에 중점을 두고, 이 통합을 설정하고 관리하기 위한 명확한 로드맵을 제공합니다.

이 문서의 주제:

• 1. 소개 및 개요
  • 1.1 목적 및 사용 사례
  • 1.2 지원 플랫폼
  • 1.3 주요 기능

2. 2. 아키텍처 및 구성 요소
   • 2.1 상위 수준 아키텍처
   • 2.2 데이터 흐름
   • 2.3 관련 구성 요소/모듈
   • 2.4 데이터 흐름 / 파이프라인 단계
3. 3. 지원 데이터 소스 및 대상
   • 3.1 Tridens 데이터 소스
   • 3.2 대상 데이터 웨어하우스
4. 4. 데이터 모델링 및 스키마 매핑
   • 4.1 노출되는 객체/테이블 정의
5. 5. 데이터 동기화 모드 및 전략
   • 5.1 데이터 빈도
   • 5.2 삭제, 업데이트, 삽입 처리
6. 6. 보안, 인증 및 자격 증명
   • 6.1 자격 증명, 저장, 순환 및 암호화
7. 7. 권한
8. 8. 사용 / 구성 가이드
   • 8.1 Data Warehouse 단계별 설정

1. 소개 및 개요

1.1 목적 및 사용 사례

Tridens Monetization Data Warehouse Integration은 Tridens Monetization의 운영 데이터를 고객 소유 데이터 웨어하우스로 추출, 변환, 적재(ETL)하는 과정을 자동화합니다. 이를 통해 기본 Tridens 분석 모듈 외부에서 고급 분석, BI 보고, 머신러닝 워크플로를 사용할 수 있습니다.

주요 사용 사례:

• 수익 분석: SaaS 또는 미디어 회사의 코호트 분석을 위해 구독 지표(예: MRR, churn rates)를 동기화합니다.
• 사용 패턴 인사이트: 유틸리티의 예측 청구를 위해 실시간 IoT 미터 데이터(예: 에너지 소비)를 PostgreSQL에 적재합니다.
• 컴플라이언스 보고: IFRS15/ASC 606 조정을 위해 감사된 청구 기록을 MS SQL로 내보냅니다.
• 사용자 지정 통합: generic JDBC를 통해 익명화된 사용 이벤트를 대시보드로 전달합니다.

데이터 웨어하우스 통합은 수동 내보내기(CSV/API 덤프 등)를 줄이고, 분석 지연 시간을 최소화하며, 다운타임 없이 스키마 진화를 지원합니다. 이는 동적 가격 모델에 중요합니다.

1.2 지원 플랫폼

Tridens RESTful API와 JDBC/ODBC 표준을 활용하여 다음 대상에 대한 직접 커넥터를 지원합니다.

1.3 주요 기능

• 증분 동기화: 낮은 지연 시간 업데이트.
• 스키마 진화: 필드 추가/제거를 자동으로 처리합니다.
• 확장성: 서버리스 실행, 일 100만+ 이벤트.

2. 아키텍처 및 구성 요소

2.1 상위 수준 아키텍처

Data Warehouse Integration은 모듈형 ETL 파이프라인 설계를 따릅니다.

Source (Tridens Monetization) → Integration Engine → Target Data Warehouse

이 아키텍처는 Tridens 서비스와 지원 데이터 웨어하우스 간에 확장성, 복원력, 낮은 지연 시간의 데이터 이동을 보장합니다.

아키텍처 개요

• Source: Tridens Monetization 마이크로서비스는 데이터 추출을 위해 REST API와 이벤트 로그를 노출합니다.
• Integration Engine: ETL 프로세스는 AWS Lambda 또는 Kubernetes Pods에서 실행되어 데이터를 효율적으로 추출, 변환, 적재합니다.
• Target: Snowflake, PostgreSQL, MS SQL 같은 데이터 웨어하우스는 분석 준비가 완료된 구조화 데이터를 저장합니다.

아키텍처 다이어그램

2.2 데이터 흐름

• Extract: Tridens API에서 데이터를 가져옵니다.
• Transform: 대상 데이터 웨어하우스 객체에 인메모리 매핑을 적용합니다.
• Load: 트랜잭션 경계를 사용하여 대상 데이터 웨어하우스에 대량 upsert합니다.

2.3 관련 구성 요소/모듈

• Extractor: Tridens Monetization 알림.
• Loader: 대량 작업을 사용하는 Java 기반 JDBC 핸들러.
• Transformation Engine: DTO를 데이터 웨어하우스 호환 객체로 변환합니다.

2.4 데이터 흐름 / 파이프라인 단계

1. Initialization: 구성을 검증하고 잠금을 획득합니다.
2. Extract: DTO에서 데이터를 가져와 데이터 웨어하우스 구조에 맞게 준비합니다.
3. Transform: 익명화 규칙을 적용합니다.
4. Validate: 스키마 및 행 수준 검사를 수행합니다.
5. Load: 트랜잭션 방식으로 insert/update합니다.
6. Commit: 메타데이터를 업데이트하고 메트릭을 내보냅니다.

3. 지원 데이터 소스 및 대상

3.1 Tridens 데이터 소스

REST API를 통해 핵심 Tridens 엔터티에서 추출합니다.

API Reference: Tridens API Documentation

3.2 대상 데이터 웨어하우스

4. 데이터 모델링 및 스키마 매핑

4.1 노출되는 객체/테이블 정의

Tridens는 17개 이상의 핵심 데이터 테이블을 노출합니다.

Primary Tables:

• Subscriptions
• Balances
• Events
• Bills
• Invoices
• Payments
• Customers
• …

5. 데이터 동기화 모드 및 전략

5.1 데이터 빈도

Tridens Monetization은 이벤트 기반 아키텍처와 **change data capture(CDC)**를 활용하여 거의 즉각적인 업데이트를 위한 실시간 데이터 전달을 제공합니다.

메커니즘:

• Notifications는 초 단위 미만의 지연 시간을 보장합니다.
• 다음과 같은 사용 사례에 적합합니다.
  • 실시간 청구 조정
  • 부정 탐지
  • 즉각적인 고객 인사이트

5.2 삭제, 업데이트, 삽입 처리

6. 보안, 인증 및 자격 증명

6.1 자격 증명, 저장, 순환 및 암호화

7. 권한

필요한 최소 접근 권한:

• 스키마에 대한 CREATE TABLE
• 대상 테이블에 대한 INSERT, UPDATE, DELETE

Role-Based Example:

GRANT USAGE ON DATABASE analytics_db TO ROLE tridens_role;
GRANT CREATE SCHEMA ON DATABASE analytics_db TO ROLE tridens_role;

8. 사용 / 구성 가이드

8.1 Data Warehouse 단계별 설정

1. System Configuration → Data Warehouse Integration으로 이동합니다.
2. 웨어하우스 유형(예: Snowflake)을 선택합니다.
3. JDBC/ODBC credentials를 입력하고 연결을 테스트합니다.
4. 구성을 저장합니다.