Composant Stambia de CDC (Change Data Capture)

Le Change Data capture est un processus couramment utilisé pour détecter et suivre les changements apportés à vos données, afin d'effectuer une action spécifique suite à ce changement.

La plupart du temps, ce processus est utilisé pour répliquer ces données vers une application externe ou une base de données tierce.

Le composant Stambia de CDC simplifie la gestion de la détection des changements en fournissant un moyen rapide et facile de configurer vos processus CDC et de gérer les nouvelles données.

 

Découvrez comment capturer facilement vos modifications de données avec notre composant CDC (Change Data Capture) pour Stambia ELT. 

Les projets BI sont l'un des cas d'utilisation les plus courants où la capture des modifications sur les données est nécessaire.

En mettant en place un suivi des changements, vous réduisez les coûts globaux liés à l'extraction de vos données et à la détermination du delta dans vos bases de données BI cibles.

Les changements qui se produisent sont répliqués dans une zone de travail, qui est le miroir des tables sources.

A partir de ces tables d'attente où sont stockées les modifications, l'entrepôt de données est alimenté sur la base de la logique d'entreprise.

D'autre part, les changements de données dans vos applications sources doit aussi être reflété dans les autres applications ou les autres bases de données de votre SI.

Pour répondre à ce besoin, une architecture Data Hub doit être mise en place, pour agir comme un centre de flux et d'échanges d'informations entre les différents systèmes.

Par exemple, une entreprise de fabrication pourrait mettre en place un CDC pour sa base de données de production, afin de mettre à jour Salesforce en temps réel.

Dans ce scénario, en plus du CDC, une solution capable de connecter et d'échanger des données vers et depuis différentes technologies et applications est indispensable.

De nombreux outils de réplication fournissent des capacités de transformation de données très basiques, ce qui fait sue la donnée modifiée ne peut être chargée que telle quelle vers sa destination.

L'impossibilité d'effectuer des transformations complexes sur vos données entraîne l'existence de deux couches, à savoir la réplication et l'intégration.

Il est donc souvent nécessaire de gérer deux ensembles d'outils différents pour ces deux couches.

Enfin, il est parfois nécessaire, surtout dans une architecture de Data Hub, de disposer d'une réplication bidirectionnelle.

Prenons le même exemple d'une entreprise de fabrication.
Une fois que les modifications des données du système existant sont mises à jour sur Salesforce, le processus doit maintenant prendre l'identifiant Salesforce et mettre à jour la base de données existante en guise d'accusé de réception.

La capacité de l'outil à effectuer une telle réplication bidirectionnelle devient alors essentielle.

Le composant de CDC de Stambia simplifie la mise en place d'un processus CDC et vous permet d'utiliser toutes les fonctionnalités d'intégration qui l'accompagnent, en tant qu'outil d'intégration de données.

La même solution packagées avec les modèles CDC peut répondre à tous les besoins. Il n'y a donc pas de perte de temps.

Stambia étant un outil E-LT, il s'appuie sur les capacités CDC de la base de données source.

De nombreuses technologies de bases de données offrent désormais des API ou des processus intégrés qui peuvent être utilisés pour éviter toute surcharge sur le système source.

Par exemple, PostgreSQL fournit des journaux appelé "Write Ahead Logs" (WAL) qui peuvent être utilisés pour la réplication des données, avec une gestion intégrée des abonnés.

Avec la même agilité que les autres composants de Stambia, le composant Change Data Capture est directement utilisable et offre un haut niveau de productivité grâce à l'approche orientée modèle de Stambia et à l'utilisation des fichiers natifs "transactionnels ou redo log" des bases de données ou l'utilisation de simples triggers.

Dans Stambia Designer, vous pouvez changer vos mappings d'un chargement CDC à un chargement complet (et vice versa) en un clic.

En outre, les modèles (templates) de traitement vous aident à choisir rapidement l'approche de chargement/intégration, de sorte qu'il n'est pas nécessaire de concevoir manuellement les stratégies de chargement et d'intégration.

Les templates de réplication Stambia (Replicator) sont une autre fonctionnalité facile à utiliser pour un chargement historique ou synchronisés avec le CDC.

Ils sont très pratiques et permettent de gagner beaucoup de temps, lorsque vos structures source et cible sont les mêmes (peu de transformation)

Lorsque vos structures source et cible sont différentes et que vous devez effectuer des transformations et une logique complexe sur les données répliquées, les mappings Stambia sont la solution.

Dans vos mappings, vous pouvez effectuer des agrégations, et de nombreux types de tranformations, incluant des jointures ou opérations avec d'autres objets.

Les données peuvent être déplacées vers une autre base de données sur site, dans le nuage (cloud) ou vers une application.

De plus, les templates de Change Data Capture peuvent gérer plusieurs abonnés.

Ceci est particulièrement utile lorsqu'une organisation a besoin d'utiliser les modifications d'une source pour plusieurs cibles.

Par exemple, une modification dans l'application CRM peut être envoyée à la base de données de l'entrepôt de données, et en même temps dans un ERP ou une application spécifique.

En tant que solution d'intégration de données (ELT / ETYL) Stambia s'adapte à tout type d'architecture et de projet. Le Composant de CDC peut être utilisé dans des :

• projets BI & Analytics
• architectectures Data Hub Architecture
• projets Big Data
• architectures et projets Cloud
• des projets API et micro-services
• intégration d'applications