Stambia Data Integration

Dans un contexte ou la data est au cœur des organisations, l'intégration des données devient un processus clé de réussite des transformations digitales. Pas de transformation numérique sans mouvement ou transformation des données.

Les organisations doivent relever plusieurs challenges :

  • Pouvoir désiloter les systèmes d'information
  • Traiter de manière agile et rapide des volumes de données croissants et des types d'information très différents (donnée structurée, semi-structurée ou non structurée)
  • Gérer tout aussi bien des chargements massifs que des ingestions au fil de l'eau des données, afin de prendre des décision pertinentes
  • Maîtriser les coûts d'infrastructure de la donnée

Dans ce contexte Stambia répond en apportant une solution unifiée pour tout type de traitement de la donnée, qui peut être déployée aussi bien dans le cloud que sur site, et qui garantie une maîtrise et une optimisation des coûts de possession et de transformation de la donnée.

 

Pour en approfondir ces points, consulter notre page Pourquoi Stambia ?

architecture stambia data integration

Les cas d'usage de Stambia Data Integration

Les projets avec Stambia

Avec une architecture unique et la même plateforme de développement, Stambia Enterprise permet d'aborder tout type de projet d'intégration de données, que ce soit les projets adressant de très larges volumétries de données ou les projets plus orientés temps-réel.

Voici une liste non exhaustive de projets réalisables :

  • Alimentation de bases de données décisionnelles (datawarehouses, datamarts, infocentres), business intelligence
  • Projet Big Data, Hadoop, Spark et No SQL
  • Migration de plateforme vers le Cloud (Google Cloud Plateform, Amazon, Azure, Snowflake…)
  • Echanges de données avec des tiers (API, Services Web)
  • Projet de Data Hub, échanges de données entre applications (mode batch ou temps-réel, exposition ou utilisation de Services Web)
  • Réplication de données entre bases hétérogènes
  • Intégration ou production de fichiers
  • Gestion de référentiels de données métiers
     

     

    Quelques exemples d'architectures avec Stambia

    Comment fonctionne Stambia Data Integration ?

    Stambia repose sur plusieurs concepts clés

    Un Mapping Universel

    Contrairement aux approches traditionnelles, orientées process techniques, Stambia propose une vision dite "universelle" du mapping : toute technologie doit pouvoir être alimentée ou lue de manière simple, quelle que soit sa structure et sa complexité (table, fichier, Xml, Service Web, Application SAP, ...). C'est une vision Data, orientée métier.

    Pour en savoir plus consulter la page "Mapping Universel".

    Une approche par les modèles

    L'approche Stambia est basée sur les modèles. La notion de templates ou de technologies adaptatives offre une capacité d'abstraction et d'industrialisation des flux. Cette démarche permet de gagner en productivité, en agilité et en qualité sur les projets réalisés.


    Pour en savoir plus consulter la page "L'approche par les modèles".

    Un mode ELT

    L'architecture en mode "délégation de transformation ou ELT permet de maximiser les performances, diminuer les coûts d'infrastructure, et maîtriser les flux réalisés.



    Pour en savoir plus consulter la page "L'approche ELT".

    Une maîtrise de la trajectoire

    La vision de Stambia est de permettre à ses clients de maîtriser les coût de possession des plateformes d'intégration de données. Ceci est possible grâce au modèle économique de Stambia et aux approches technologiques choisies qui permettent d'augmenté la productivité et de dominuer la courbe d'apprentissage.

    Pour en savoir plus consulter notre Offre tarifaire.

    Et une architecture simple et légère

    L'architecture de Stambia Enterprise repose sur trois composants simples :

    • Les Designers sont les postes de développement et de test. Les Designers reposent sur une architecture Eclipse facilitant le partage ainsi qu'une gestion souple des développements et des projets en équipe.

    • Les Runtimes sont les processus qui exécutent les jobs en production. Ils reposent sur une architecture Java facilitant leur déploiement sur site ou dans le Cloud. Ils sont compatibles avec Docker et les architectures Kubernetes

    • Stambia Analytics est le composant web permettant la mise en production (déploiement, paramétrage et planification) et le suivi des jobs, ainsi que le pilotage des différents runtimes.
    architecture stambia data integration

    Spécifications et pré-requis techniques

    SpécificationsDescription

    Architecture simple et agile

    • 1. Designer : environnement de développement
    • 2. Runtime : moteur d'exécution des processus d'intégration de données, Web services, ...
    • 3. Production Analytics : consultation des exécutions et mise en production
    Connectivité

    Vous pouvez extraire les données de :

    • Tout système de base de données relationnelle comme Oracle, PostgreSQL, Microsoft SQL Server (MSSQL), MariaDB, ...
    • Tout système de base de données NoSQL comme MongoDB, Elasticsearch, Cassandra, ...
    • Tout système de base de données haute performance comme Netezza, Vertica, Teradata, Actian Vector, Sybase IQ, ...
    • Tout système Cloud comme Amazon Web Service (AWS), Google Cloud Platform (GCP), Microsoft Azure, Snowflake, ...
    • Toute application ERP comme SAP, Microsoft Dynamics, ...
    • Toute application SAAS comme Salesforce, Snowflake, Big Query, ...
    • Tout système Big Data comme Spark, Hadoop, ...
    • Tout système de messagerie MOM, ESB comme Apache Active MQ, Kafka, OpenJMS, Nirvana JMS, ...
    • Tout système de fichier comme CSV, XML, JSON, ...
    • Tout système de tableur comme Excel, Google Spreadsheet, ...

    Pour plus d'informations, consulter notre documentation technique

     

    Connectivité technique
    • FTP, SFTP, FTPS
    • Email (SMTP)
    • LDAP, OpenLDAP
    • Kerberos

    Caractéristiques standard

    • Reverse : la structure de la base de données peut être reversée grâce à la notion de reverse de meta-données
    • Opérations DDL /DML : supporte les opérations de manipulation des objets et des données (DML/DDL) comme l'insertion, la mise à jour, la suppressions, etc. (Insert, Update, Select, Delete, Create or Drop)
    • Méthode d'intégration : Append, Incremental Update
    • Staging : une base de données peut être utilisée comme étape intermédiaire (staging aera) pour la transformation, la réconcialation des données, etc. Les modes supportés sont :
      • staging as subquery
      • staging as view
      • staging as table
    • Rejet : des règles de rejet peuvent être définies pour filtrer ou détecter les données qui ne respectent pas les conditions définies lors des intégrations.
      • 3 types de rejet peuvent être créées : Fatal, Warning, Reject
      • Traitement différentié en fonction du type de donnée pour chaque donnée rejetée
      • Recyclage des rejets créés lors de précédentes exécutions
    • Réplication : la réplication de base de données est supportée depuis n'importe quelle source comme des bases de données relationnelle ou NoSQL, des fichiers plats, des fichiers XML / JSON, système Cloud, etc.
    Caractéristiques avancées
    • Slowly Changing Dimension (SCD) : les intégrations peuvent être réalisées en utilisant le changements de dimension à évolution lente (SCD)
    • Méthodes de chargement :
      • Generic load
      • COPY loader
    • Change Data Capture (CDC)
    • Privacy Protect : module pour la gestion du RGPD avec les fonctionnalités
      • Anonymization
      • Pseudonimization
      • Audits
      • ...
    • Data Quality Management (DQM) : gestion de la qualité des données directement intégrée aux méta-données et dans le Designer
    Pré-requis techniques
    • Système d'exploitation :
      • Windows XP, Vista, 2008, 7, 8, 10 en mode 32 ou 64 bits
      • Linux en mode 32 ou 64 bits
      • Mac OS X en mode 64 bits
    • Mémoire
      • Au moins 1 Gb de RAM
    • Espace disque
      • A minima, il doit y avoir 300 Mo d'espace disque disponible
    • Environnement Java
      • JVM 1.8 ou supérieure
    • Notes : pour Linux, il est nécessaire de disposer d'un système de fenêtrage GTK+ 2.6.0 avec toutes les dépendances
    Déploiement Cloud Image Docker disponible pour les moteurs d'exécution (Runtime) et la console d'exploitation (Production Analytics)
    Standard supportés
    • Open API Specifications (OAS)
    • Swagger 2.0
    • W3C XML
    • WSI compliant
    • SQL
    Langage de Scripting Jython, Groovy, Rhino (Javascript), ...
    Gestionnaire de sources Tout plugin supporté Eclipse : SVN, CVS, Git, ...
    Migrer depuis votre solution existante d'intégration de données Oracle Data Integrator (ODI) *, Informatica *, Datastage *, talend, Microsoft SSIS

    * possibilité de migrer simplement et rapidement

    Vous souhaitez en savoir plus ?

    Consultez nos différentes ressources

    Anonymisation
    Demandez conseil à un des nos experts en intégration de données.
    Nous contacter
    Anonymisation
    Découvrez nos formations et certifications
    En savoir plus
    Anonymisation
    Votre démonstration taillée sur mesure
    Obtenez votre démonstration