L'architecture data orientée événements (event-driven / EDA) avec Stambia

La gestion des données est un enjeux majeur pour les organisations. Mais ce qui l'est davantage aujourd'hui est de traiter la donnée rapidement.

De plus en plus, nous souhaitons réagir en temps réel aux événements survenant au sein d'un système d'information.

Plus que la gestion de la donnée elle-même, c'est la gestion des événements sur les données qui devient de plus en plus pertinente tant pour les analyses que pour la gestion opérationnelle..


mapping stambia

Découvrez comment capter vos événements sur les données en toute simplicité avec une architecture oriéntée événements grâce à Stambia.

Pourquoi mettre en place une architecture EDA (event-driven) sur les données ?

Avoir des données plus fraîches pour ses analyses

Le premier enjeux est de pouvoir prendre des décisions immédiatement.
Or, pour prendre une décision, il faut de l'information.

Ingérer, détecter des données, en temps-réel ou au fil de l'eau, permet de bâtir des systèmes analytiques (décisionnels) qui fournissent une vue immédiate de la situation.

Les flux d'intégrations des données doivent donc permettre à la fois un traitement sur des fortes volumétries (agrégations, ingestion de données complètes) mais également un traitement sur de petites volumétries, en temps-réel.

Data cleaning is a key element in analytics
 

Réagir rapidement à des événements sur les données

fast delivery data events

Dans certains domaines, le temps de réaction est primordial. On peut penser aux chaines de production d'un industriel, qui fonctionnent en flux tendu : la moindre défaillance, le plus petit retard, peut engendrer des conséquence sur toute la chaîne de valeur.

C'est pourquoi il est important de pouvoir détecter très en amont le moindre indice permettant de réagir au plus vite. Cette détection sera possible si nous savons intégrer la donnée en provenance des capteurs des équipements industriels.

Le constat sera le même pour le traitement d'une commande ou d'incidents relatifs à une commande. Plus nous sommes prévenus rapidement, plus nous pouvons réagir au bon moment.

 

Capter les informations et données en provenance du Web

On le sait désormais, toute la donnée ne se trouve pas qu'à l'intérieur d'une organisation. Beaucoup d'analyse de données ou de processus de gestion intègrent désormais des données extérieures (comme la météo, les cours de bourse ou les taux de changes, etc.).

Ces données sont en très grande partie disponibles sur internet soit de manière publique, soit par le biais d'API privées.

Il est devenu indispensable pout toute société d'être en mesure de collecter des informations extérieures pour connaître l'état de son écosystème et optimiser les opérations..

Scraping Data from the web
 

Capter les informations en provenance des objets connectés (IOT)

Industry 4.0 - Data events from IOT

Les objets connectés (IOT) font beaucoup parler d'eux.

En effet, tout individu aujourd'hui dispose d'au moins un objet connecté en permanence à portée de main (téléphone, montre, ordinateur, pèse personne, réfrigérateur, aspirateur, ….).

Chacun de ces objets est porté d'information sur lui-même (sa propre santé) ou sur l'activité, voire la santé, de celui qui l'utilise. Cette information, extraite et utilisée au bon moment peut apporter de grands services non seulement aux organisations mais aussi aux individus, permettant même parfois de leur sauver la vie.

La mise en place de mécanismes de détection des données en provenance d'objets connectés peut donc être un élément clé dans la réussite de certains projets d'entreprise..

t

Comment détecter et gérér des événements avec Stambia

 

Les événements systèmes (fichiers, emails, …)

Stambia Process - Event detection - file or email

Un des premiers types d'événement, ce sont les présences de données sur les périphériques systèmes.

La présence de fichiers dans un répertoire, sur un serveur FTP ou SSH, ou bien encore la présence d'un email avec une pièce jointe.

Cela reste l'événement encore le plus fréquemment utilisé au sein des organisations.

Stambia propose des mécanismes de détection intelligente de ces évènements, ainsi que des mécanismes de gestion automatisés, comme la création ou l'alimentation automatique de tables de suivi et pilotage de ces événements.

.

.

 

Les événement de type message (ESB, MOM, Kafka, Pub/Sub…)

De plus en plus présents au sein des organisations les architectures à base de messages, proposant des mécanismes de "publish & subscribe", sont également des sources ou cibles des traitements Stambia.

Du traditionnel connecteur JMS ou AMQP, à l'usage de bus Open Source comme Kafka, ou encore Google Pub/Sub, la réception ou la publication de messages se fait graphiquement et permet la conception de flux de type Asynchrone ou en mode streaming..

Stambia Process AMQP JMS messsage.png
 

Les données physiques (Objets connectés / MQTT / Capteurs / ..)

events and IOT management MQTT OPC

Les données en provenance de capteurs ou d'objets connectés sont aussi des éléments importants dans le processus de digitalisation de certaines organisations.

Stambia permet de se connecter à ces sources (ou même des cibles) en utilisant les protocoles standards de ces architectures, tel que MQTT pour les objets connectés et OPC pour les capteurs industriels.

L'avantage de la solution Stambia est de rester identique dans son mode de développement quel que soit le type de projet, de source, de cible, ou la fréquence d'exécution des traitements.

 

La détection des changements (CDC, Change Data Capture)

Les données importantes viennent encore majoritairement des applications traditionnelles, reposant très souvent sur des bases de données relationnelles.

Ainsi, la détection des changements dans ces bases de données, par des mécanismes de Change Data Capture, demeure un des éléments pertinents pour alimenter des systèmes en quasi temps-réel.

Stambia propose nativement des fonctionnalités de détection des changements dans les bases de données source. Ces détections de changements avec Stambia peuvent se faire de plusieurs manières.

  • Par trigger sur les tables et objets
  • Par utilisation des API de CDC fournies par les éditeurs de bases de données
  • Par la lecture des journaux de bases de données (lorsque ceux-ci sont lisibles)
  • Par le partenariat avec des éditeurs spécialisés dans ce type de détection

Une fois ces détections opérées, Stambia prend en compte automatiquement dans ses mappings les données qui ont changé en source.

Il n'y a aucune gestion complémentaire à réaliser. Toute donnée nouvelle sera prise en compte et intégrée de manière intelligente dans les cibles.

mapping stambia with CDC change data capture
 

Coupler à des intégration intelligentes (incrémentale, SCD…)

 Stambia mapping with incremental update

La détection des changements ou des événements est importante.

Néanmoins, un changement dans une source ne signifie pas nécessairement un changement dans les cibles.

En effet, en fonction de la donnée modifiée en source, ainsi que de ce qui s'est passé entre temps dans la cible, il se peut que la modification ne soit pas nécessairement à appliquer dans les systèmes cibles.

Pour prendre en compte ces règles de gestions particulières, Stambia met à disposition des modes d'intégration cible qui permettront d'intégrer intelligemment les données.

Par exemple, le mode "incrémental" permettra de comparer les données sources, issues des changements détectés, avec les données cibles déjà existantes et de décider s'il faut insérer, mettre à jour, voire historiser les données..

 

L'utilisation de services web / Architecture SOA

Enfin, une solution efficace est de réagir immédiatement et de manière synchronisé, dès qu'un événement se produit. L'architecture SOA est une approche également perticente. Stambia permet d'exposer des services web de manière graphique et sans aucune ligne de programmation.

Ces services web peuvent être appelés par tout type de programme et donc être intégrés aux processus de gestion de l'entreprise.

Cela permet non seulement de réagir immédiatement, mais aussi de se placer dans une système de questions/réponses entre les applications. La construction de processus de gestion complexe peut donc être réalisée avec une grande simplicité et beaucoup d'agilité.

Publish or Invoke API webservices with Stambia ETL
 

Specifications techniques et prérequis

SpecificationsDescription

Une architecture simple et agile

1. Designer : environnement de développement
2. Runtime : moteur d'exécution des processus d'intégration de données, Web services, ...
3. Production Analytics : consultation des exécutions et mise en production

Connectivité

• Toute base de données relationnelle tel que Oracle, PostgreSQL, MSSQL, ...
• Toute base NoSQL tel que MongoDB, Elasticsearch, Cassandra…
• Toute base de données spécifique tel que Vertica, Teradata, Netezza, Action Vector, Sybase IQ, Snowflake…
• Tout système Cloud tel que Amazon Web Service (AWS), Google Cloud Platform (GCP), Microsoft Azure, ...
• Toute application ou ERP tel que as SAP, Microsoft Dynamics, ...
• Toute application SAAS tel que Salesforce, Snowflake, Google Big Query, …
• Toute plateforme Big Data tel que as Spark, Hadoop, …
• Toute Middleware de type MOM ou ESB tel que JMS, Apache Active MQ, Kafka, Google Pub/Sub, AMQP, …
• Tout fichier hiérarchique tel que XML, JSON, …
• Les tableurs tel que Excel, Google Spreadsheet

Pour en savoir plus, consultez notre documentation technique

Protocoles

FTP, FTPS, SFTP, SSH
Email (SMTP, MAPI)
AMQP, JMS, MQTT,…
HTTP, REST, SOAP,…
OPC

Data Integration - Fonctionnalités standard

○ Reverse : la structure de la base de données peut être reversée grâce à la notion de reverse de meta-données
○ Opérations DDL /DML : supporte les opérations de manipulation des objets et des données (DML/DDL) comme l'insertion, la mise à jour, la suppressions, etc. (Insert, Update, Select, Delete, Create or Drop)
○ Méthode d'intégration : Append, Incremental Update
○ Staging : une base de données peut être utilisée comme étape intermédiaire (staging aera) pour la transformation, la réconcialation des données, etc. Les modes supportés sont :
○ staging as subquery
○ staging as view
○ staging as table
○ Rejet : des règles de rejet peuvent être définies pour filtrer ou détecter les données qui ne respectent pas les conditions définies lors des intégrations.
○ 3 types de rejet peuvent être créées : Fatal, Warning, Reject
○ Traitement différentié en fonction du type de donnée pour chaque donnée rejetée
○ Recyclage des rejets créés lors de précédentes exécutions
○ Réplication : la réplication de base de données est supportée depuis n'importe quelle source comme des bases de données relationnelle ou NoSQL, des fichiers plats, des fichiers XML / JSON, système Cloud, etc.

Data Integration - Fonctionnalités avncées

○ Slowly Changing Dimension (SCD) : les intégrations peuvent être réalisées en utilisant le changements de dimension à évolution lente (SCD)
○ Support complet des utilitaires Teradata tel que TPT avec possibilité d'utiliser les méthodes spécifiques tel que MLOAD, FastLoad etc.
○ Fonctions d'optimisation telles que SQL query band pour des étapes spécifiques.
○ Differents types d'intégration automatisées, tel que Slowly Changing Dimension Type II, Annule / Remplace, Incrémental, Merge etc.
○ Change Data Capture (CDC)
○ Privacy Protect : module pour la gestion du RGPD avec les fonctionnalités
○ Anonymization
○ Pseudonimization
○ Audits
○ ...
Data Quality Management (DQM) : gestion de la qualité des données directement intégrée aux méta-données et dans le Designer

Prérequis techniques

• Système d'exploitation :
○ Windows XP, Vista, 2008, 7, 8, 10 en mode 32 ou 64 bits
○ Linux en mode 32 ou 64 bits
○ Mac OS X en mode 64 bits
• Mémoire
○ Au moins 1 Gb de RAM
• Espace disque
○ A minima, il doit y avoir 300 Mo d'espace disque disponible
• Environnement Java
○ JVM 1.8 ou supérieure
Notes : pour Linux, il est nécessaire de disposer d'un système de fenêtrage GTK+ 2.6.0 avec toutes les dépendances
Cloud Image Docker disponible pour les moteurs d'exécution (Runtime) et la console d'exploitation (Production Analytics)
Support standard
  • Open API specifications (OAS)
    W3C XML
    WSI Compliant
    SQL
Scripting Jython, Groovy
Système de gestion de version Tout plugin supporté Eclipse : SVN, CVS, Git, … ainsi que tout système de partage de fichiers (Google Drive, One Drive / Sharepoint, Drop Box…
Migrer depuis d'autres solutions Oracle Data Integrator (ODI) *, Informatica, Datastage, talend, Microsoft SSIS 
* possibilité de migrer simplement et rapidement

Vous souhaitez en savoir plus ?
Consultez nos différentes ressources

Anonymisation
Demandez conseil à un des nos experts en intégration de données.
Nous contacter
Anonymisation
Découvrez nos formations et certifications
En savoir plus
Anonymisation
Votre démonstration taillée sur mesure
Obtenez votre démonstration

Abonnez-vous à la newsletter Stambia

Chaque mois, recevez la newsletter avec nos meilleurs articles !

Remplissez simplement ce formulaire pour recevoir notre newsletter mensuelle Stambia. Je comprends qu’en m’abonnant, je choisis explicitement de recevoir la newsletter et que je peux facilement et à tout moment me désinscrire.

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.