Almacenes de datos

La función Tridens Monetization Data Warehouse Integration le permite exportar de forma fluida sus datos de suscripción, facturación, uso e ingresos desde Tridens a sus plataformas de análisis preferidas. Esta guía proporciona una hoja de ruta clara para configurar y gestionar esta integración, centrándose en la escalabilidad para la facturación basada en el uso de gran volumen en industrias como las de telecomunicaciones, energía y vehículos eléctricos.

Temas en este documento:

• 1. Introducción y descripción general
  • 1.1 Propósito y casos de uso
  • 1.2 Plataformas compatibles
  • 1.3 Características clave
• 2. Arquitectura y componentes
  • 2.1 Arquitectura de alto nivel
  • 2.2 Flujo de datos
  • 2.3 Componentes/módulos involucrados
  • 2.4 Pasos del flujo de datos / canalización
• 3. Orígenes y destinos de datos compatibles
  • 3.1 Orígenes de datos de Tridens
  • 3.2 Almacenes de datos de destino
• 4. Modelado de datos y mapeo de esquemas
  • 4.1 Definición de objetos/tablas expuestos
• 5. Modos y estrategias de sincronización de datos
  • 5.1 Frecuencia de datos
  • 5.2 Gestión de eliminaciones, actualizaciones e inserciones
• 6. Seguridad, autenticación y credenciales
  • 6.1 Almacenamiento, rotación y cifrado de credenciales
• 7. Permisos
• 8. Guía de uso / configuración
  • 8.1 Configuración paso a paso para almacenes de datos

1. Introducción y descripción general

1.1 Propósito y casos de uso

La Tridens Monetization Data Warehouse Integration automatiza el proceso de extracción, transformación y carga (ETL, Extract, Transform, Load) de datos operativos de Tridens Monetization en almacenes de datos propiedad del cliente. Esto permite flujos de trabajo de análisis avanzado, informes de inteligencia empresarial (BI, Business Intelligence) y aprendizaje automático fuera del módulo de análisis nativo de Tridens.

Casos de uso clave:

• Análisis de ingresos: Sincronice métricas de suscripción (por ejemplo, MRR, Monthly Recurring Revenue o Ingresos recurrentes mensuales, tasas de abandono) para el análisis de cohortes en empresas de SaaS (Software as a Service o Software como servicio) o medios.
• Información sobre patrones de uso: Cargue datos de medidores de Internet de las cosas (IoT, Internet of Things) en tiempo real (por ejemplo, consumo de energía) en PostgreSQL para la facturación predictiva en empresas de servicios públicos.
• Informes de cumplimiento: Exporte registros de facturación auditados a MS SQL para la conciliación IFRS15/ASC 606.
• Integraciones personalizadas: Introduzca eventos de uso anonimizados en paneles a través de JDBC (Java Database Connectivity o Conectividad de base de datos Java) genérico.

La integración del almacén de datos reduce las exportaciones manuales (como volcados de CSV/API), minimiza la latencia de los análisis y admite la evolución del esquema sin tiempo de inactividad, lo cual es fundamental para los modelos de precios dinámicos.

1.2 Plataformas compatibles

Admite conectores directos a los siguientes destinos, aprovechando las API RESTful de Tridens y los estándares JDBC/ODBC (Open Database Connectivity o Conectividad de base de datos abierta):

1.3 Características clave

• Sincronizaciones incrementales: Actualizaciones de baja latencia.
• Evolución del esquema: Gestiona la adición/eliminación de campos automáticamente.
• Escalabilidad: Ejecución sin servidor, más de 1 millón de eventos al día.

2. Arquitectura y componentes

2.1 Arquitectura de alto nivel

La Data Warehouse Integration sigue un diseño de canalización ETL modular:

Origen (Tridens Monetization) → Motor de integración → Almacén de datos de destino

Esta arquitectura garantiza la escalabilidad, la resiliencia y el movimiento de datos de baja latencia a través de los servicios de Tridens y los almacenes de datos compatibles.

Descripción general de la arquitectura

• Origen: Los microservicios de Tridens Monetization exponen API REST y registros de eventos para la extracción de datos.
• Motor de integración: El proceso ETL se ejecuta en AWS Lambda o Kubernetes Pods para extraer, transformar y cargar datos de manera eficiente.
• Destino: Almacenes de datos como Snowflake, PostgreSQL o MS SQL almacenan datos estructurados listos para el análisis.

Diagrama de arquitectura

2.2 Flujo de datos

• Extraer: Obtener datos de las API de Tridens.
• Transformar: Aplicar mapeos en memoria a los objetos del almacén de datos de destino.
• Cargar: Realizar una actualización/inserción (upsert) masiva en el almacén de datos de destino con límites de transacción.

2.3 Componentes/módulos involucrados

• Extractor: Notificaciones de Tridens Monetization.
• Cargador: Controlador JDBC basado en Java que utiliza operaciones masivas.
• Motor de transformación: Transforma DTO (Data Transfer Object o Objeto de transferencia de datos) en objetos compatibles con el almacén de datos.

2.4 Pasos del flujo de datos / canalización

1. Inicialización: Validar configuración, adquirir bloqueos.
2. Extraer: Obtener datos del DTO y prepararlos para la estructura del almacén de datos.
3. Transformar: Aplicar reglas de anonimización.
4. Validar: Verificaciones de esquema y a nivel de fila.
5. Cargar: Inserción/actualización transaccional.
6. Confirmar: Actualizar metadatos y emitir métricas.

3. Orígenes y destinos de datos compatibles

3.1 Orígenes de datos de Tridens

Extrae de las entidades principales de Tridens a través de API REST:

Referencia de la API: Documentación de la API de Tridens

3.2 Almacenes de datos de destino

4. Modelado de datos y mapeo de esquemas

4.1 Definición de objetos/tablas expuestos

Tridens expone más de 17 tablas de datos principales.

Tablas primarias:

• Suscripciones
• Saldos
• Eventos
• Facturas
• Pagos
• Clientes
• …

5. Modos y estrategias de sincronización de datos

5.1 Frecuencia de datos

Tridens Monetization proporciona una entrega de datos en tiempo real, aprovechando la arquitectura impulsada por eventos y la captura de datos de cambios (CDC, Change Data Capture) para actualizaciones casi instantáneas.

Mecanismo:

• Las Notificaciones garantizan una latencia inferior al segundo.
• Ideal para casos de uso como:
  • Ajustes de facturación en tiempo real
  • Detección de fraude
  • Información instantánea del cliente

5.2 Gestión de eliminaciones, actualizaciones e inserciones

6. Seguridad, autenticación y credenciales

6.1 Almacenamiento, rotación y cifrado de credenciales

7. Permisos

Acceso mínimo requerido:

• CREATE TABLE en el esquema
• INSERT, UPDATE, DELETE en las tablas de destino

Ejemplo basado en roles:

GRANT USAGE ON DATABASE analytics_db TO ROLE tridens_role;
GRANT CREATE SCHEMA ON DATABASE analytics_db TO ROLE tridens_role;

8. Guía de uso / configuración

8.1 Configuración paso a paso para almacenes de datos

1. Navegue a System Configuration → Data Warehouse Integration.
2. Seleccione su tipo de almacén (por ejemplo, Snowflake).
3. Ingrese sus credenciales JDBC/ODBC y pruebe la conexión.
4. Guarde la configuración.