Composant Stambia de CDC (Change Data Capture)

Le Change Data capture est un processus couramment utilisé pour détecter et suivre les changements apportés à vos données, afin d'effectuer une action spécifique suite à ce changement.

La plupart du temps, ce processus est utilisé pour répliquer ces données vers une application externe ou une base de données tierce.

Le composant Stambia de CDC simplifie la gestion de la détection des changements en fournissant un moyen rapide et facile de configurer vos processus CDC et de gérer les nouvelles données.


 
Composant CDC - Détectez les changements et modifications de vos données

Découvrez comment capturer facilement vos modifications de données avec notre composant CDC (Change Data Capture) pour Stambia ELT. 

Cas d'utilisation et caractéristiques principales du CDC

Mises à jour en temps réel de vos bases de données BI

Les projets BI sont l'un des cas d'utilisation les plus courants où la capture des modifications sur les données est nécessaire.

En mettant en place un suivi des changements, vous réduisez les coûts globaux liés à l'extraction de vos données et à la détermination du delta dans vos bases de données BI cibles.

Les changements qui se produisent sont répliqués dans une zone de travail, qui est le miroir des tables sources.

A partir de ces tables d'attente où sont stockées les modifications, l'entrepôt de données est alimenté sur la base de la logique d'entreprise.

Capture des modifications des données sur les bases de données BI - CDC Composant
 

Les échanges en temps réel dans une architecture Data Hub

Les échanges en temps réel dans une architecture Data Hub

D'autre part, les changements de données dans vos applications sources doit aussi être reflété dans les autres applications ou les autres bases de données de votre SI.

Pour répondre à ce besoin, une architecture Data Hub doit être mise en place, pour agir comme un centre de flux et d'échanges d'informations entre les différents systèmes.

Par exemple, une entreprise de fabrication pourrait mettre en place un CDC pour sa base de données de production, afin de mettre à jour Salesforce en temps réel.

Dans ce scénario, en plus du CDC, une solution capable de connecter et d'échanger des données vers et depuis différentes technologies et applications est indispensable.

 

La transformation des données détectées par le CDC

De nombreux outils de réplication fournissent des capacités de transformation de données très basiques, ce qui fait sue la donnée modifiée ne peut être chargée que telle quelle vers sa destination.

L'impossibilité d'effectuer des transformations complexes sur vos données entraîne l'existence de deux couches, à savoir la réplication et l'intégration.

Il est donc souvent nécessaire de gérer deux ensembles d'outils différents pour ces deux couches.

La transformation des données détectées par le CDC
 

La possibilité de faire une replication bi-directionnelle

Réplication bidirectionnelle dans les bases de données

 

Enfin, il est parfois nécessaire, surtout dans une architecture de Data Hub, de disposer d'une réplication bidirectionnelle.

Prenons le même exemple d'une entreprise de fabrication.
Une fois que les modifications des données du système existant sont mises à jour sur Salesforce, le processus doit maintenant prendre l'identifiant Salesforce et mettre à jour la base de données existante en guise d'accusé de réception.

La capacité de l'outil à effectuer une telle réplication bidirectionnelle devient alors essentielle.

t

Comment Stambia peut mettre en œuvre le CDC

 
Stambia et le composant CDC Change Data Capture

Le composant de CDC de Stambia simplifie la mise en place d'un processus CDC et vous permet d'utiliser toutes les fonctionnalités d'intégration qui l'accompagnent, en tant qu'outil d'intégration de données.

La même solution packagées avec les modèles CDC peut répondre à tous les besoins. Il n'y a donc pas de perte de temps.

 

Fonctionalités principales du composant CDC

Détection de la modification

Stambia étant un outil E-LT, il s'appuie sur les capacités CDC de la base de données source.

De nombreuses technologies de bases de données offrent désormais des API ou des processus intégrés qui peuvent être utilisés pour éviter toute surcharge sur le système source.

Par exemple, PostgreSQL fournit des journaux appelé "Write Ahead Logs" (WAL) qui peuvent être utilisés pour la réplication des données, avec une gestion intégrée des abonnés.

Avec la même agilité que les autres composants de Stambia, le composant Change Data Capture est directement utilisable et offre un haut niveau de productivité grâce à l'approche orientée modèle de Stambia et à l'utilisation des fichiers natifs "transactionnels ou redo log" des bases de données ou l'utilisation de simples triggers.

Stambia Change Data Capture : Détection de la modification
 

Obtenir historique (snapshot) des données

Obtenir historique (snapshot) des données

Dans Stambia Designer, vous pouvez changer vos mappings d'un chargement CDC à un chargement complet (et vice versa) en un clic.

En outre, les modèles (templates) de traitement vous aident à choisir rapidement l'approche de chargement/intégration, de sorte qu'il n'est pas nécessaire de concevoir manuellement les stratégies de chargement et d'intégration.

Les templates de réplication Stambia (Replicator) sont une autre fonctionnalité facile à utiliser pour un chargement historique ou synchronisés avec le CDC.

Ils sont très pratiques et permettent de gagner beaucoup de temps, lorsque vos structures source et cible sont les mêmes (peu de transformation)

 
Vidéo Stambia et son template de réplication des données
 

Gérer tout type de transformation

Lorsque vos structures source et cible sont différentes et que vous devez effectuer des transformations et une logique complexe sur les données répliquées, les mappings Stambia sont la solution.

Dans vos mappings, vous pouvez effectuer des agrégations, et de nombreux types de tranformations, incluant des jointures ou opérations avec d'autres objets.

Les données peuvent être déplacées vers une autre base de données sur site, dans le nuage (cloud) ou vers une application.

Mapping Stamboa pour gérer tout type de transformation - sur site ou dans une application cloud
 

Gérer des abonnées multiples sur les données

 Composant CDC - Change Data Capture - Gérez des abonnées multiples sur les données

De plus, les templates de Change Data Capture peuvent gérer plusieurs abonnés.

Ceci est particulièrement utile lorsqu'une organisation a besoin d'utiliser les modifications d'une source pour plusieurs cibles.

Par exemple, une modification dans l'application CRM peut être envoyée à la base de données de l'entrepôt de données, et en même temps dans un ERP ou une application spécifique.

 

Utiliser le CDC dans differents types d'architectures

En tant que solution d'intégration de données (ELT / ETYL) Stambia s'adapte à tout type d'architecture et de projet. Le Composant de CDC peut être utilisé dans des :

  • projets BI & Analytics
  • architectectures Data Hub Architecture
  • projets Big Data
  • architectures et projets Cloud
  • des projets API et micro-services
  • intégration d'applications
Stambia ETL - ELTsolution unifiée d'intégration de données et son composant CDC pour détecter les changements
 

Spécifications techniques et prérequis

SpécificationsDescription

Protocoles

JDBC, HTTP

Bases de données

Composant CDC utilisable pour :

  • MS SQL
  • Oracle
  • MySQL
  • PostgreSQL
  • DB2 400
  • Teradata
  • Informix
  • HSQL

Connectivité

Vous pouvez extraire ou écrire des données pour:

  • Tout système de base de données relationnelle tel qu'Oracle, PostgreSQL, MSSQL, ...
  • Tout système de base de données NoSQL tel que MongoDB, Elastic, ...
  • Tout système Cloud tel qu'Amazon Web Service (AWS), Google Cloud Platform (GCP), Microsoft Azure, ...
  • Toutes les applications ERP telles que SAP, Microsoft Dynamics, ...
  • Toutes les applications SAAS telles que Salesforce, ...

Pour plus d'informations, consultez la documentation technique

Vous voulez en savoir plus ?
Consultez nos ressources

Anonymisation
Déployez, Configurez vos environnements d'exécution. Planifiez et surveillez vos flux de données dans une console simple et complète avec Stambia Production Analytics
Stambia Production Analytics
Anonymisation
Découvrez les meilleures pratiques d'intégration, de livraison et de déploiement continus pour les équipes DevOps avec Stambia ELT
DevOps et CICD
Anonymisation
Demandez conseil à un des nos experts en intégration de données.
Nous contacter
Anonymisation
Découvrez nos formations et certifications
En savoir plus
Anonymisation
Votre démonstration taillée sur mesure
Obtenez votre démonstration

Abonnez-vous à la newsletter Stambia

Chaque mois, recevez la newsletter avec nos meilleurs articles !

Remplissez simplement ce formulaire pour recevoir notre newsletter mensuelle Stambia. Je comprends qu’en m’abonnant, je choisis explicitement de recevoir la newsletter et que je peux facilement et à tout moment me désinscrire.

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.