Хранилища данных

Функция Tridens Monetization Data Warehouse Integration позволяет без лишних усилий экспортировать данные о подписках, биллинге, потреблении и доходах из Tridens в предпочитаемые аналитические платформы. Это руководство дает понятный план настройки и управления этой интеграцией с акцентом на масштабируемость для высоконагруженного биллинга по модели usage-based в таких отраслях, как телеком, энергетика и электромобили.

Темы в этом документе:

1. Введение и обзор
   • 1.1 Назначение и сценарии использования
   • 1.2 Поддерживаемые платформы
   • 1.3 Ключевые возможности
2. Архитектура и компоненты
   • 2.1 Архитектура высокого уровня
   • 2.2 Поток данных
   • 2.3 Задействованные компоненты и модули
   • 2.4 Шаги потока данных / конвейера
3. Поддерживаемые источники данных и целевые хранилища
   • 3.1 Источники данных Tridens
   • 3.2 Целевые хранилища данных
4. Моделирование данных и сопоставление схем
   • 4.1 Описание открываемых объектов и таблиц
5. Режимы и стратегии синхронизации данных
   • 5.1 Частота данных
   • 5.2 Обработка удалений, обновлений и вставок
6. Безопасность, аутентификация и учетные данные
   • 6.1 Хранение, ротация и шифрование учетных данных
7. Права доступа
8. Руководство по использованию и настройке
   • 8.1 Пошаговая настройка для хранилища данных

1. Введение и обзор

1.1 Назначение и сценарии использования

Интеграция Tridens Monetization Data Warehouse Integration автоматизирует извлечение, преобразование и загрузку (ETL) операционных данных из Tridens Monetization в хранилища данных, принадлежащие клиенту. Это дает возможность использовать продвинутую аналитику, BI-отчетность и рабочие процессы машинного обучения вне встроенного модуля аналитики Tridens.

Ключевые сценарии использования:

• Аналитика выручки: синхронизация метрик подписок, например MRR и churn rate, для когортного анализа в SaaS- или media-компаниях.
• Анализ шаблонов потребления: загрузка данных в реальном времени от IoT-счетчиков, например потребления энергии, в PostgreSQL для прогнозного биллинга в коммунальном секторе.
• Отчетность для соответствия требованиям: экспорт проверенных записей биллинга в MS SQL для сверки IFRS15/ASC 606.
• Пользовательские интеграции: передача анонимизированных событий потребления в дашборды через универсальный JDBC.

Интеграция с хранилищем данных сокращает ручные выгрузки, такие как CSV или API-dump, уменьшает задержку в аналитике и поддерживает эволюцию схемы без простоя, что критично для динамических моделей ценообразования.

1.2 Поддерживаемые платформы

Поддерживаются прямые коннекторы к следующим целевым системам с использованием REST API Tridens и стандартов JDBC/ODBC:

1.3 Ключевые возможности

• Инкрементальная синхронизация: обновления с низкой задержкой.
• Эволюция схемы: автоматически обрабатывает добавление и удаление полей.
• Масштабируемость: serverless-исполнение, более 1 млн событий в день.

2. Архитектура и компоненты

2.1 Архитектура высокого уровня

Интеграция с хранилищем данных использует модульную ETL-конвейерную архитектуру:

Источник (Tridens Monetization) → Интеграционный движок → Целевое хранилище данных

Такая архитектура обеспечивает масштабируемость, устойчивость и низкую задержку передачи данных между сервисами Tridens и поддерживаемыми хранилищами данных.

Обзор архитектуры

• Источник: микросервисы Tridens Monetization предоставляют REST API и журналы событий для извлечения данных.
• Интеграционный движок: ETL-процесс запускается в AWS Lambda или Kubernetes Pods для эффективного извлечения, преобразования и загрузки данных.
• Цель: хранилища данных, такие как Snowflake, PostgreSQL или MS SQL, хранят структурированные данные, готовые к аналитике.

Диаграмма архитектуры

2.2 Поток данных

• Извлечение: получение данных из API Tridens.
• Преобразование: применение сопоставлений в памяти к объектам целевого хранилища данных.
• Загрузка: массовый upsert в целевое хранилище данных с границами транзакции.

2.3 Задействованные компоненты и модули

• Extractor: уведомления Tridens Monetization.
• Loader: Java-based JDBC handler с массовыми операциями.
• Transformation Engine: преобразует DTO в объекты, совместимые с хранилищем данных.

2.4 Шаги потока данных / конвейера

1. Инициализация: проверка конфигурации, получение блокировок.
2. Извлечение: получение данных из DTO и подготовка структуры для хранилища данных.
3. Преобразование: применение правил анонимизации.
4. Проверка: контроль схемы и строк.
5. Загрузка: транзакционная вставка или обновление.
6. Фиксация: обновление метаданных и отправка метрик.

3. Поддерживаемые источники данных и целевые хранилища

3.1 Источники данных Tridens

Извлечение выполняется из основных сущностей Tridens через REST API:

Справка по API: Документация Tridens API

3.2 Целевые хранилища данных

4. Моделирование данных и сопоставление схем

4.1 Описание открываемых объектов и таблиц

Tridens предоставляет более 17 основных таблиц данных.

Основные таблицы:

• Подписки
• Балансы
• События
• Счета
• Инвойсы
• Платежи
• Клиенты
• …

5. Режимы и стратегии синхронизации данных

5.1 Частота данных

Tridens Monetization обеспечивает передачу данных в реальном времени, используя event-driven architecture и change data capture (CDC) для обновлений практически мгновенно.

Механизм:

• Уведомления обеспечивают задержку менее секунды.
• Подходит для сценариев, например:
  • корректировки биллинга в реальном времени
  • обнаружения мошенничества
  • мгновенной аналитики по клиентам

5.2 Обработка удалений, обновлений и вставок

6. Безопасность, аутентификация и учетные данные

6.1 Хранение, ротация и шифрование учетных данных

7. Права доступа

Минимально необходимые права:

• CREATE TABLE для схемы
• INSERT, UPDATE, DELETE для целевых таблиц

Пример на основе ролей:

GRANT USAGE ON DATABASE analytics_db TO ROLE tridens_role;
GRANT CREATE SCHEMA ON DATABASE analytics_db TO ROLE tridens_role;

8. Руководство по использованию и настройке

8.1 Пошаговая настройка для хранилища данных

1. Подготовьте целевую базу данных и учетную запись с нужными правами.
2. Включите интеграцию в Tridens Monetization.
3. Укажите параметры подключения, драйвер и целевую платформу.
4. Проверьте соединение и выполните первую синхронизацию.
5. Настройте расписание, инкрементальную загрузку и контроль ошибок.
6. Проверьте, что таблицы в хранилище данных заполняются ожидаемыми данными.