Composant ELT Stambia pour Teradata

 



Teradata est une base de données évolutive (scalable) très utilisée pour traiter de larges volumes de données. La plateforme Teradata Vantage offre une grande variété de solutions atour de la donnée et de l'analyse des données (Analytics), à travers une offre hybride Cloud.


Le composant Stambia pour Teradata a été conçu pour complémenter la robustesse de Teradata et simplifier l'intégration des données pour les projets Analytics (Business Intelligence et décisonnel) utilisant les solutions Teradata.


 
Découvrez comment l'approche unifiée de Stambia facilite le développement via l'interface graphique pour Teradata

Les processus d'intégration de données avec Teradata : 6 challenges


L'intégration de données agile pour Teradata est nécessaire

Pour tout projet analytics, il est important de choisir des solutions qui améliorent l'agilité. Quoique d'apparence simples, beaucoup de solution du marché peuvent devenir assez complexes dans la durée. En conséquence, de l'énérgie et un temps non négligeable sont utilisés pour gérer ces outils.

Teradata, avec sa plate-forme Vantage, s'attache à fournir les meilleures réponses et vous propose des produits cloud hybrides qui simplifient votre voyage vers l'Analytics et la Business Intelligence

En parallèle, l'intégration de données doit offrir la même simplicité, la même souplesse et la même facilité d'utilisation afin que vous puissiez consacrer votre temps aux exigences en matière de données et contraintes métiers, et ainsi être plus agile dans vos projets.

Intégration de données agile avec Teradata
 

Gérez le Datawarehouse traditionnel et le Big Data avec les mêmes compétences

Entrepôts de données et Big Data avec Teradata

Avec l’évolution des paysages des données, nous constatons que de plus en plus de clients utilisent diverses technologies et architectures pour répondre à différents types d’exigences.

En conséquence, les équipes informatiques traitent en permancence de nombreux nouveaux types de formats de données, d'applications et d'écosystèmes. Tout en étant capable de traiter cela, il est est essentiel pour un outil d’intégration de données de pouvoir intégrer et échanger des données entre les technologies Teradata et Hadoop ou intégrer Teradata à Spark.

Toutes ces fonctionnalités doivent faire partie de la même solution (même outil de développement, même architecture) pour faciliter la tâche des équipes informatiques pour ces différents types de projets.

 

Déployez l'intégration de données hybride sur site ou dans le cloud

Le cloud continue de se généraliser dans la plupart des organisations et l'adoption de modèles "As a Service" (en tant que service) devient de plus en plus populaire. En fait, de nombreuses organisations envisagent maintenant, et certaines ont déjà opté pour, une architecture multi-cloud.

Etant donné que certaines organisations préfèrent encore disposer de certaines données sur site, cela a conduit à l’adoption d’une architecture hybride. Il est donc nécessaire que les équipes informatiques puissent répondre aux besoins d'intégration entre ces différentes architectures.

Un élément qui devient clé : Posséder une solution prenant en charge les implémentations hybrides et multi-cloud, par exemple des projets d'intégration pour lesquels vous avez une instance Teradata sur site et (ou) Teradata Vantage sur AWS ou Azure, ainsi que GCP pour un autre besoin.

Intégration de données de cloud hybride avec Teradata
 

Obtenir les meilleures performances pour l'intégration Teradata par lots massifs ou en temps réel

Performance pour l'intégration de données avec Teradata

Lorsque vous possédez une solution Teradata, l'utilisation d'un outil d'intégration fournissant un moteur propriétaire et externe pour traiter et transformer les données n'est absolument pas nécessairement une bonne idée.

Avec des fonctionnalités très robustes pour l’intégration, l’analyse et la gestion des données, Teradata vérifie tous les critères en termes d’intégration (ou ETL).

Une solution d'intégration doit tirer parti de ces fonctionnalités pour améliorer les performances globales de vos projets d'analyse. La solution doit également automatiser l'intégration pour offrir agilité et flexibilité à votre développement, et permettre de gérer l'intégration de données par lots pour de grandes quantités de données, ainsi qu'une ingestion de données en temps réel pour une analyse immédiate de votre l'activité de votre organisation.

L’approche ELT est le meilleur moyen d’optimiser votre investissement et d’obtenir les meilleures performances.
 

Utilisez une solution personnalisable pour Teradata Vantage

À l'ère où les algorithmes d'apprentissage automatique sont la nouvelle norme, la capacité de fournir les bonnes données est très importante. Des données de qualité insuffisante ou mauvaise peuvent avoir un impact sur les résultats de ces algorithmes.

D'autre part, la plate-forme Teradata évolue constamment et ajoute constamment de nouvelles fonctionnalités améliorées pour offrir aux utilisateurs le meilleur parti de la solution. Une solution rigide n'a pas sa place dans le paysage technologique actuel.

Par conséquent, les solutions d'intégration de données doivent être hautement personnalisables et prêts à absorber les changements technologiques et les nouvelles exigences en matière de données.

Intégration de données flexible avec Teradata
 

Maîtriser et optimiser les coûts d'intégration avec Teradata Vantage

Maîtriser les coûts d'intégration de données avec Teradata

L’optimisation des coûts est l’un des sujets critiques pour la plupart des DSI, pour tout projet, qu'il soit nouveau ou existant, en matière de données et d’analyse de données. La complexité de la gestion des coûts, à chaque étape du projet, peut grandement dépendre du type d'outils utilisé.

Quand on parle de coût pour l'intégration de données, cela passe par des licences de logiciel, du matériel pour le supporter, des ressources humaines pour le concevoir et le mettre en œuvre, ainsi que par la maintenance à long terme des projets. L’évaluation de la solution d’intégration de données doit porter à la fois sur ses capacités techniques et sur les dépenses globales que vous engagerez pour l’utiliser.

L'étude des dépenses ne doivent pas porter uniquement sur les coûts initiaux, mais bien au contraire prévoir les dépenses sur les prochaines années. C’est un point important à réaliser avant de commencer tout choix de solution.

Comment Stambia fonctionne avec Teradata Vantage ?

 

Intégration Stambia avec Teradata and parallel transporter

Le composant Stambia pour Teradata est le meilleur moyen pour simplifier l'extraction ou l'intégration de données avec le système MPP Teradata, offrant une productivité accrue à travers une solution graphique facile à utiliser.

 

Reverse engineering natif des structures de la base de données Teradata

Le composant Stambia pour Teradata effectue "reverse engineering" de toutes les informations de la base de données Teradata, ce qui est réellement utile lors les développements pour l'optimisation et l'automatisation des travaux de transformation des données.

Ce sont des informations standard qui seront récupérées, telles que des schémas, des tables, des colonnes, des types de données, etc., mais aussi des informations spécifiques telles que les index primaires, les UPI, etc.

D'autre part, ces métadonnées peuvent être personnalisées et adaptées en fonction d'une optimisation spécifique pour atteindre un objectif précis, qu'il soit technique ou métier.

Reverse engineering et métadonnées avec Teradata
 

Développements orientés métier avec Stambia : simplifiez et soyez plus productif avec Teradata

Mapping de données avec Teradata et Stambia

L’approche par modèle de Stambia (à travers les "templates") permet d’adapter le connecteur à tous les types de projets.

Connectez-vous simplement à diverses technologies et formats de fichiers et concevez un "mapping" très simple pour extraire depouis la source, charger dans Teradata et transformer à l'intérieur de Teradata. Le "Universal Data Mapper" de Stambia permet aux utilisateurs de se concentrer sur les règles métier et de travailler sur une conception très simple et de haut niveau.

Les clients utilisant Teradata et Stambia confirment que le délai d'exécution nécessaire à la mise en œuvre de tout nouveau projet de données est beaucoup plus court par rapport à ce qui avait été fait auparavant.



 

Industrialisation et automatisation à travers les templates Stambia

En tant que solution ELT, Stambia utilise les utilitaires natifs de Teradata pour ingérer, analyser et transformer des données. C'est la meilleure approche en termes de performances, pour le traitement de grands ensembles de données. Cela réduit également considérablement le besoin d'un serveur ETL dédié, ce qui permet à Stambia d'avoir une empreinte très faible sur le Système d'Information.

D'autre part, l'approche basée sur le modèle de Stambia automatise de nombreuses étapes redondantes qui sont effectuées dans certains des autres outils d'ETL. Les grands avantages de cette approche sont:

  • Facilité de gestion des grandes équipes dans un projet de grande taille, grâce à une solution d'intégration cohérente et automatisée
  • Garantie de la performance attendue par l'approche ELT
  • Flexibilité d'adaptation aux divers besoins d'optimisation ou de personnalisation
L'industrialisation avec Teradata
 

Tirez parti des optimisations Teradata intégrées

Optimisations Teradata avec Stambia

Stambia utilise des méthodes spécifiques adaptées à Teradata pour intégrer ou extraire les données.

Le chargement ou l'exportation peuvent être effectués à l'aide d'outils tels que Teradata Parallel Transporter, Fastload, Multiload, Fastexport et d'autres utilitaires fournis par Teradata.

Le mode incrémental d'intégration des données propose différentes méthodes telles que "insérer et mettre à jour", renommer les tables, "supprimer et insérer" ou des opérations de "merge".

Les "Query band" peuvent être utilisés pour tracer les commandes SQL générées par Stambia, ce qui constitue un moyen d'optimiser et de maîtriser les processus.

Spécifications et pré-requis techniques

SpécificationsDescription

Architecture simple et agile

  • 1. Designer : environnement de développement
  • 2. Runtime : moteur d'exécution des processus d'intégration de données, Web services, ...
  • 3. Production Analytics : consultation des exécutions et mise en production

Protocoles

JDBC, HTTP, HTTPS

Stockage

En fonction de l'architecture, les stockages ci-dessous peuvent être utilisés :

  • HDFS
  • Azure Blob Sorage
  • Amazon S3
  • Google Cloud Storage
Connectivité

Vous pouvez extraire les données de :

  • Tout système de base de données relationnelle comme Oracle, PostgreSQL, Microsoft SQL Server (MSSQL), MariaDB, ...
  • Tout système de base de données NoSQL comme MongoDB, Elasticsearch, Cassandra, ...
  • Tout système de base de données haute performance comme Netezza, Vertica, Teradata, Actian Vector, Sybase IQ, ...
  • Tout système Cloud comme Amazon Web Service (AWS), Google Cloud Platform (GCP), Microsoft Azure, Snowflake, ...
  • Toute application ERP comme SAP, Microsoft Dynamics, ...
  • Toute application SAAS comme Salesforce, Snowflake, Big Query, ...
  • Tout système Big Data comme Spark, Hadoop, ...
  • Tout système de messagerie MOM, ESB comme Apache Active MQ, Kafka, OpenJMS, Nirvana JMS, ...
  • Tout système de fichier comme CSV, XML, JSON, ...
  • Tout système de tableur comme Excel, Google Spreadsheet, ...

Pour plus d'informations, consulter notre documentation technique

 

Connectivité technique
  • FTP, SFTP, FTPS
  • Email (SMTP)
  • LDAP, OpenLDAP
  • Kerberos

Données Structurées et semi-structurées

XML, JSON, Avro

Caractéristiques standard

  • Reverse : la structure de la base de données peut être reversée grâce à la notion de reverse de meta-données
  • Opérations DDL /DML : supporte les opérations de manipulation des objets et des données (DML/DDL) comme l'insertion, la mise à jour, la suppressions, etc. (Insert, Update, Select, Delete, Create or Drop)
  • Méthode d'intégration : Append, Incremental Update
  • Staging : une base de données peut être utilisée comme étape intermédiaire (staging aera) pour la transformation, la réconcialation des données, etc. Les modes supportés sont :
    • staging as subquery
    • staging as view
    • staging as table
  • Rejet : des règles de rejet peuvent être définies pour filtrer ou détecter les données qui ne respectent pas les conditions définies lors des intégrations.
    • 3 types de rejet peuvent être créées : Fatal, Warning, Reject
    • Traitement différentié en fonction du type de donnée pour chaque donnée rejetée
    • Recyclage des rejets créés lors de précédentes exécutions
  • Réplication : la réplication de base de données est supportée depuis n'importe quelle source comme des bases de données relationnelle ou NoSQL, des fichiers plats, des fichiers XML / JSON, système Cloud, etc.
Caractéristiques avancées
  • Slowly Changing Dimension (SCD) : les intégrations peuvent être réalisées en utilisant le changements de dimension à évolution lente (SCD)
  • Support complet des utilitaires Teradata tel que TPT avec possibilité d'utiliser les méthodes spécifiques tel que MLOAD, FastLoad etc.
  • Fonctions d'optimisation telles que SQL query band pour des étapes spécifiques.
  • Differents types d'intégration automatisées, tel que Slowly Changing Dimension Type II, Annule / Remplace, Incrémental, Merge etc.
  • Change Data Capture (CDC)
  • Privacy Protect : module pour la gestion du RGPD avec les fonctionnalités
    • Anonymization
    • Pseudonimization
    • Audits
    • ...
  • Data Quality Management (DQM) : gestion de la qualité des données directement intégrée aux méta-données et dans le Designer
Pré-requis techniques
  • Système d'exploitation :
    • Windows XP, Vista, 2008, 7, 8, 10 en mode 32 ou 64 bits
    • Linux en mode 32 ou 64 bits
    • Mac OS X en mode 64 bits
  • Mémoire
    • Au moins 1 Gb de RAM
  • Espace disque
    • A minima, il doit y avoir 300 Mo d'espace disque disponible
  • Environnement Java
    • JVM 1.8 ou supérieure
  • Notes : pour Linux, il est nécessaire de disposer d'un système de fenêtrage GTK+ 2.6.0 avec toutes les dépendances
Déploiement Cloud Image Docker disponible pour les moteurs d'exécution (Runtime) et la console d'exploitation (Production Analytics)
Standard supportés
  • Open API Specifications (OAS)
  • Swagger 2.0
  • W3C XML
  • WSI compliant
  • SQL
Langage de Scripting Jython, Groovy, Rhino (Javascript), ...
Gestionnaire de sources Tout plugin supporté Eclipse : SVN, CVS, Git, ...
Migrer depuis votre solution existante d'intégration de données Oracle Data Integrator (ODI) *, Informatica *, Datastage *, talend, Microsoft SSIS

* possibilité de migrer simplement et rapidement

Vous souhaitez en savoir plus ?

Consultez nos différentes ressources

 
Vidéo : Teradata BTEQ / SQL migration tool
Open Video
Anonymisation
Demandez conseil à un des nos experts en intégration de données.
Nous contacter
Anonymisation
Découvrez nos formations et certifications
En savoir plus
Anonymisation
Votre démonstration taillée sur mesure
Obtenez votre démonstration

Abonnez-vous à la newsletter Stambia

Chaque mois, recevez la newsletter avec nos meilleurs articles !

Remplissez simplement ce formulaire pour recevoir notre newsletter mensuelle Stambia. Je comprends qu’en m’abonnant, je choisis explicitement de recevoir la newsletter et que je peux facilement et à tout moment me désinscrire.

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.