Composant ELT Stambia pour Teradata

Teradata est une base de données évolutive (scalable) très utilisée pour traiter de larges volumes de données. La plateforme Teradata Vantage offre une grande variété de solutions atour de la donnée et de l'analyse des données (Analytics), à travers une offre hybride Cloud.

Le composant Stambia pour Teradata a été conçu pour complémenter la robustesse de Teradata et simplifier l'intégration des données pour les projets Analytics (Business Intelligence et décisonnel) utilisant les solutions Teradata.

Pour tout projet analytics, il est important de choisir des solutions qui améliorent l'agilité. Quoique d'apparence simples, beaucoup de solution du marché peuvent devenir assez complexes dans la durée. En conséquence, de l'énérgie et un temps non négligeable sont utilisés pour gérer ces outils.

Teradata, avec sa plate-forme Vantage, s'attache à fournir les meilleures réponses et vous propose des produits cloud hybrides qui simplifient votre voyage vers l'Analytics et la Business Intelligence

En parallèle, l'intégration de données doit offrir la même simplicité, la même souplesse et la même facilité d'utilisation afin que vous puissiez consacrer votre temps aux exigences en matière de données et contraintes métiers, et ainsi être plus agile dans vos projets.

Avec l’évolution des paysages des données, nous constatons que de plus en plus de clients utilisent diverses technologies et architectures pour répondre à différents types d’exigences.

En conséquence, les équipes informatiques traitent en permancence de nombreux nouveaux types de formats de données, d'applications et d'écosystèmes. Tout en étant capable de traiter cela, il est est essentiel pour un outil d’intégration de données de pouvoir intégrer et échanger des données entre les technologies Teradata et Hadoop ou intégrer Teradata à Spark.

Toutes ces fonctionnalités doivent faire partie de la même solution (même outil de développement, même architecture) pour faciliter la tâche des équipes informatiques pour ces différents types de projets.

Le cloud continue de se généraliser dans la plupart des organisations et l'adoption de modèles "As a Service" (en tant que service) devient de plus en plus populaire. En fait, de nombreuses organisations envisagent maintenant, et certaines ont déjà opté pour, une architecture multi-cloud.

Etant donné que certaines organisations préfèrent encore disposer de certaines données sur site, cela a conduit à l’adoption d’une architecture hybride. Il est donc nécessaire que les équipes informatiques puissent répondre aux besoins d'intégration entre ces différentes architectures.

Un élément qui devient clé : Posséder une solution prenant en charge les implémentations hybrides et multi-cloud, par exemple des projets d'intégration pour lesquels vous avez une instance Teradata sur site et (ou) Teradata Vantage sur AWS ou Azure, ainsi que GCP pour un autre besoin.

Lorsque vous possédez une solution Teradata, l'utilisation d'un outil d'intégration fournissant un moteur propriétaire et externe pour traiter et transformer les données n'est absolument pas nécessairement une bonne idée.

Avec des fonctionnalités très robustes pour l’intégration, l’analyse et la gestion des données, Teradata vérifie tous les critères en termes d’intégration (ou ETL).

Une solution d'intégration doit tirer parti de ces fonctionnalités pour améliorer les performances globales de vos projets d'analyse. La solution doit également automatiser l'intégration pour offrir agilité et flexibilité à votre développement, et permettre de gérer l'intégration de données par lots pour de grandes quantités de données, ainsi qu'une ingestion de données en temps réel pour une analyse immédiate de votre l'activité de votre organisation.

À l'ère où les algorithmes d'apprentissage automatique sont la nouvelle norme, la capacité de fournir les bonnes données est très importante. Des données de qualité insuffisante ou mauvaise peuvent avoir un impact sur les résultats de ces algorithmes.

D'autre part, la plate-forme Teradata évolue constamment et ajoute constamment de nouvelles fonctionnalités améliorées pour offrir aux utilisateurs le meilleur parti de la solution. Une solution rigide n'a pas sa place dans le paysage technologique actuel.

Par conséquent, les solutions d'intégration de données doivent être hautement personnalisables et prêts à absorber les changements technologiques et les nouvelles exigences en matière de données.

L’optimisation des coûts est l’un des sujets critiques pour la plupart des DSI, pour tout projet, qu'il soit nouveau ou existant, en matière de données et d’analyse de données. La complexité de la gestion des coûts, à chaque étape du projet, peut grandement dépendre du type d'outils utilisé.

Quand on parle de coût pour l'intégration de données, cela passe par des licences de logiciel, du matériel pour le supporter, des ressources humaines pour le concevoir et le mettre en œuvre, ainsi que par la maintenance à long terme des projets. L’évaluation de la solution d’intégration de données doit porter à la fois sur ses capacités techniques et sur les dépenses globales que vous engagerez pour l’utiliser.

L'étude des dépenses ne doivent pas porter uniquement sur les coûts initiaux, mais bien au contraire prévoir les dépenses sur les prochaines années. C’est un point important à réaliser avant de commencer tout choix de solution.

Le composant Stambia pour Teradata est le meilleur moyen pour simplifier l'extraction ou l'intégration de données avec le système MPP Teradata, offrant une productivité accrue à travers une solution graphique facile à utiliser.

Le composant Stambia pour Teradata effectue "reverse engineering" de toutes les informations de la base de données Teradata, ce qui est réellement utile lors les développements pour l'optimisation et l'automatisation des travaux de transformation des données.

Ce sont des informations standard qui seront récupérées, telles que des schémas, des tables, des colonnes, des types de données, etc., mais aussi des informations spécifiques telles que les index primaires, les UPI, etc.

D'autre part, ces métadonnées peuvent être personnalisées et adaptées en fonction d'une optimisation spécifique pour atteindre un objectif précis, qu'il soit technique ou métier.

L’approche par modèle de Stambia (à travers les "templates") permet d’adapter le connecteur à tous les types de projets.

Connectez-vous simplement à diverses technologies et formats de fichiers et concevez un "mapping" très simple pour extraire depouis la source, charger dans Teradata et transformer à l'intérieur de Teradata. Le "Universal Data Mapper" de Stambia permet aux utilisateurs de se concentrer sur les règles métier et de travailler sur une conception très simple et de haut niveau.

Les clients utilisant Teradata et Stambia confirment que le délai d'exécution nécessaire à la mise en œuvre de tout nouveau projet de données est beaucoup plus court par rapport à ce qui avait été fait auparavant.

En tant que solution ELT, Stambia utilise les utilitaires natifs de Teradata pour ingérer, analyser et transformer des données. C'est la meilleure approche en termes de performances, pour le traitement de grands ensembles de données. Cela réduit également considérablement le besoin d'un serveur ETL dédié, ce qui permet à Stambia d'avoir une empreinte très faible sur le Système d'Information.

D'autre part, l'approche basée sur le modèle de Stambia automatise de nombreuses étapes redondantes qui sont effectuées dans certains des autres outils d'ETL. Les grands avantages de cette approche sont:

• Facilité de gestion des grandes équipes dans un projet de grande taille, grâce à une solution d'intégration cohérente et automatisée
• Garantie de la performance attendue par l'approche ELT
• Flexibilité d'adaptation aux divers besoins d'optimisation ou de personnalisation

Stambia utilise des méthodes spécifiques adaptées à Teradata pour intégrer ou extraire les données.

Le chargement ou l'exportation peuvent être effectués à l'aide d'outils tels que Teradata Parallel Transporter, Fastload, Multiload, Fastexport et d'autres utilitaires fournis par Teradata.

Le mode incrémental d'intégration des données propose différentes méthodes telles que "insérer et mettre à jour", renommer les tables, "supprimer et insérer" ou des opérations de "merge".

Les "Query band" peuvent être utilisés pour tracer les commandes SQL générées par Stambia, ce qui constitue un moyen d'optimiser et de maîtriser les processus.