Componente ELT Stambia para Teradata

 



Teradata es una base de datos evolutiva (escalable) muy utilizada para procesar grandes volúmenes de datos. La plataforma Teradata Vantage ofrece una gran variedad de soluciones en torno al dato y de análisis de datos (Analytics), a través de una oferta híbrida en la nube.

El componente Stambia para Teradata fue concebido para complementar la robustez de Teradata y simplificar la integración de datos para los proyectos Analytics (Inteligencia de negocio y decisional) utilizando las soluciones Teradata.


 
Descubra cómo el enfoque unificado de Stambia facilita el desarrollo a través de la interfaz gráfica para Teradata

Los procesos de integración de datos con Teradata: 6 retos


La integración de datos ágil para Teradata es necesaria

Para todo proyecto Analytics es importante escoger soluciones que mejoren la agilidad. A pesar de su apariencia simple, muchas soluciones del mercado pueden hacerse complejas con el tiempo. En consecuencia, tanto energía como un tiempo considerable son utilizados para gestionar estas herramientas.

Teradata, con su plataforma Vantage, se enfoca en proporcionar las mejores respuestas y le propone producto en la nube híbridos que simplifican su viaje hacia Analytics y la inteligencia de negocio.

En paralelo, la integración de datos debe ofrecer la misma simplicidad, la misma ligereza y facilidad de uso con el fin de que usted puede consagrar su tiempo a las exigencias en materia de datos y requisitos del negocio, y de esta manera ser más ágil en sus proyectos.

Intégration de données agile avec Teradata
 

Gestione le almacén de datos tradicional y el Big Data con las mismas competencias

Entrepôts de données et Big Data avec Teradata

Con la evolución de los paisajes de datos, constatamos que cada vez más clientes utilizan diversas tecnologías y arquitecturas para responder a diferentes tipos de exigencias.

Consecuentemente, los equipos informáticos en permanencia procesan numerosos nuevos tipos de formatos de datos, de aplicaciones y de ecosistemas. Manteniendo la capacidad de procesar estos formatos, es esencial para una herramienta de integración de datos el poder integrar e intercambiar datos entre las tecnologías Teradata y Hadoop o integrar Teradata con Spark.

Todas estas funcionalidades deben formar parte de las misma solución (misma herramienta de desarrollo, misma arquitectura) para facilitar la tarea de los equipos informáticos para estos diferentes tipos de proyecto..

 

Despliegue la integración de datos híbrida en sitio o en la nube

La nube continúa generalizándose en la mayoría de las organización y la adopción de modelos “As a Service” (como servicio) se hace cada vez más popular. De hecho, numerosas organizaciones consideran actualmente, y algunas ya han optado por, una arquitectura multinube (multi-cloud).

Dado que ciertas organizaciones prefieren disponer todavía de ciertos datos en sitio, esta conduce a la adopción de una arquitectura híbrida. Se hace entonces necesario que los equipos informáticos puedan responder a las necesidades de integración entre estas diferentes arquitecturas.

Un elemento se hace clave: poseer una solución que se encargue de las implementaciones híbridas y multinube, por ejemplo proyectos de integración para los que usted tiene una instancia Teradata en sitio y (o) Teradata Vantage sobre AWS o Azure, así como GCP para otra necesidad.

Intégration de données de cloud hybride avec Teradata
 

Obtener los mejores rendimientos para la integración con Teradata por lotes masivos o en tiempo real

Performance pour l'intégration de données avec Teradata

Cuando usted posee una solución Teradata, el uso de una herramienta de integración que proporcione un motor propietario y externo para procesar y transformar los datos no es necesariamente una buena idea.

Con funcionalidades muy robustas para la integración, el análisis y la gestión de datos, Teradata verifica todos los criterios en términos de integración (o ETL).

Una solución de integración debe sacar provecho de estas funcionalidades para mejorar los rendimientos globales de sus proyectos de análisis.

La solución debe igualmente automatizar la integración para ofrecer agilidad y flexibilidad a su desarrollo, y permitir gestionar la integración de datos por lotes para grandes cantidades de datos, así como una ingesta de datos en tiempo real para un análisis inmediato de la actividad de su organización.

El enfoque ELT es el mejor medio para optimizar su inversión y obtener los mejores rendimientos.

 

Utilizar una solución personalizable para Teradata Vantage

En la era en la que los algoritmos de aprendizaje automático son la nueva norma, la capacidad de proveer buenos datos es muy importante. Datos de calidad insuficiente o deficiente pueden tener un impacto sobre los resultados de estos algoritmos.

Por otro lado, la plataforma Teradata evoluciona constantemente y añade constantemente nuevas funcionalidades mejoradas para que los usuarios saquen el mayor provecho de la solución. Una solución rígida no tiene lugar en el paisaje tecnológico actual.

Consecuentemente, las soluciones de integración de datos deben ser altamente personalizables y estar listas a absorber los cambios tecnológicos y las nuevas exigencias en materia de datos.

Intégration de données flexible avec Teradata
 

Tomar el control y optimizar los costos de integración con Teradata Vantage

Maîtriser les coûts d'intégration de données avec Teradata

La optimización de los costos es uno de los temas críticos para la mayoría de los directores de sistemas de información (DSI), para todo proyecto, nuevo o existente, en materia de datos y análisis de datos. La complejidad de la gestión de los costos, a cada etapa del proyecto, puede depender en gran medida del tipo de herramientas utilizadas.

Cuando se habla de costo en la integración de datos, esto pasa por licencias del programa informático, de los equipos para soportarlo, de los recursos humanos para diseñarlo e implantarlo, así como por el mantenimiento a largo plazo de los proyectos. La evaluación de la solución de integración de datos debe basarse tanto en sus capacidades técnicas y sobre los gastos globales en los que usted incurrirá para utilizarla.

El estudio de los gastos no debe basarse únicamente en los costos iniciales, sino al contrario prever los gastos en los años próximos. Es un punto importante a considerar antes de comenzar cualquier selección de una solución.

La nube continúa generalizándose en la mayoría de las organización y la adopción de modelos “As a Service” (como servicio) se hace cada vez más popular. De hecho, numerosas organizaciones consideran actualmente, y algunas ya han optado por, una arquitectura multinube (multi-cloud).
Dado que ciertas organizaciones prefieren disponer todavía de ciertos datos en sitio, esta conduce a la adopción de una arquitectura híbrida. Se hace entonces necesario que los equipos informáticos puedan responder a las necesidades de integración entre estas diferentes arquitecturas.
Un elemento se hace clave: poseer una solución que se encargue de las implementaciones híbridas y multinube, por ejemplo proyectos de integración para los que usted tiene una instancia Teradata en sitio y (o) Teradata Vantage sobre AWS o Azure, así como GCP para otra necesidad.

¿Cómo funciona Stambia con Teradata Vantage?

 

Intégration Stambia avec Teradata and parallel transporter

El componente de Stambia para Teradata es el mejor medio para simplificar la extracción o la integración de datos con el sistema MPP Teradata, con lo que se ofrece una mayor productividad a través de una solución gráfica fácil de usar.

 

Ingeniería inversa nativa de las estructuras de la base de datos Teradata

El componente de Stambia para Teradata realiza "ingeniería inversa" de todas las informaciones de la base de datos Teradata, lo cual es realmente útil durante los desarrollos para la optimización y la automatización de los trabajos de transformación de datos.

Son informaciones estándar que serán recuperadas, tales como diagramas, tablas, columnas, tipos de datos, etc., pero también informaciones específicas tales como índices primarios, UPI, etc.

Por otro lado, estos metadatos pueden ser personalizados y adaptados en función de una optimización específica para conseguir objetivos precisos, sean técnicos o de negocio.

Reverse engineering et métadonnées avec Teradata
 

Desarrollos orientados al negocio con Stambia: haga todo más simple y sea más productivo con Teradata

Mapping de données avec Teradata et Stambia

El enfoque por modelos de Stambia (a través de plantillas) permite adaptar el conector a todo tipo de proyecto.

Conéctese de manera simple a diversas tecnologías y formatos de archivo, y diseñe un mapeo simple para extraer desde la fuente, cargue en Teradata y transforme dentro de Teradata. El "Universal Data Mapper" de Stambia permite a los usuarios concentrarse en las reglas de negocio y de trabajar en un diseño muy simple y de alto nivel.

Los clientes que utilizan Teradata y Stambia confirman que el tiempo de ejecución necesario para la implantación de todo proyecto de datos nuevo es mucho más corto con respecto a lo que se hacía anteriormente.

 

Industrialización y automatización a través de las plantillas de Stambia

Al ser una solución de ELT, Stambia utiliza las funcionalidades nativas de Teradata para recibir, analizar y transformar datos. Es el mejor enfoque, en términos de rendimiento, para el procesamiento de grandes conjuntos de datos. Esto también reduce considerablemente la necesidad de un servidor ETL dedicado, lo cual le permite a Stambia tener una huella muy ligera sobre el sistema de información.

Por otro lado, el enfoque basado en el modelo de Stambia automatiza numerosas etapas redundantes que son realizadas en otras herramientas ETL.

Las mayores ventajas de este enfoque son:

  • Facilidad en la gestión de equipos grandes en un proyecto de gran envergadura, gracias a una solución de integración coherente y automatizada
  • Garantía del rendimiento esperado por un enfoque ELT
  • Flexibilidad de adaptación a diversas necesidades de optimización o de personalización.
L'industrialisation avec Teradata
 

Tirez parti des optimisations Teradata intégrées

Optimisations Teradata avec Stambia

Stambia utilise des méthodes spécifiques adaptées à Teradata pour intégrer ou extraire les données.

Le chargement ou l'exportation peuvent être effectués à l'aide d'outils tels que Teradata Parallel Transporter, Fastload, Multiload, Fastexport et d'autres utilitaires fournis par Teradata.

Le mode incrémental d'intégration des données propose différentes méthodes telles que "insérer et mettre à jour", renommer les tables, "supprimer et insérer" ou des opérations de "merge".

Les "Query band" peuvent être utilisés pour tracer les commandes SQL générées par Stambia, ce qui constitue un moyen d'optimiser et de maîtriser les processus.

Especificaciones y prerrequisitos técnicos

EspecificaciónDescripción

Arquitectura simple y ágil

  • 1. Designer: ambiente de desarrollo
  • 2. Runtime: motor de ejecución de los procesos de integración de datos, Web services, ...
  • 3. Production Analytics: consulta de ejecuciones y puesta en producción

Protocolos

JDBC, HTTP, HTTPS

Almacenamiento

En función de la arquitectura, los siguientes almacenamientos pueden ser utilizados:

  • HDFS
  • Azure Blob Sorage
  • Amazon S3
  • Google Cloud Storage
Conectividad

Puede extraer los datos de:

  • Todo sistema de base de datos relacional como Oracle, PostgreSQL, MSSQL, ...
  • Todo sistema de base de datos NoSQL como MongoDB, Elastic, ...
  • Todo sistema de base de datos de alto rendimiento como Netezza, Vertica, Teradata, Actian Vector, Sybase IQ,...
  • Todo sistema Cloud (en la Nube) como Amazon Web Service (AWS), Google Cloud Platform (GCP), Microsoft Azure, Snowflake...
  • Toda aplicación ERP como SAP, Microsoft Dynamics, ...
  • Toda aplicación SaaS como Salesforce, ...
  • Todo sistema de Big Data como Spark, Hadoop, Hive, Impala …
  • Todo sistema de mensajería MOM, ESB, como Apache Active MQ, Kafka, OpenJMS, Nirvana JMS, …
  • Todo formato de archivos como CSV, XML, JSON, …
  • Toda aplicación de hoja de cálculo como Excel, Google Spreadsheet, ...

Para saber más, consulte nuestra documentación técnica

Conectividad técnica
  • FTP, SFTP, FTPS
  • Email (SMTP)
  • LDAP, OpenLDAP
  • Kerberos

Datos estructurados y semiestructurados

XML, JSON, Avro

Características estándar

  • Reverse : la estructura de la base de datos puede ser revertida gracias a la noción de inversión (reverse) de metadata
  • Operaciones DDL /DML: soporta las operaciones de manipulación de objetos y datos (DML/DDL) como inserción, actualización, supresión, etc. (Insert, Update, Select, Delete, Create o Drop)
  • Método de integración: Append, Incremental Update
  • Staging: una base de datos puede ser utilizada como etapa intermedia (área de stage) para la transformación, conciliación de datos, etc. Los modos soportados son los siguientes:
    • staging as subquery
    • staging as view
    • staging as table
  • Rechazo: pueden ser definidas reglas de rechazo para filtrar o detectar los datos que no respetan las condiciones definidas durante las integraciones.
    • 3 tipos de rechazo pueden ser creados: Fatal, Warning, Reject
    • Procesamiento diferenciado en función del tipo de datos rechazado
    • Reciclaje de los rechazos creados durante ejecuciones anteriores
  • Replicación: la replicación de base de datos es soportado desde cualquier fuente, como bases de datos relacionales o NoSQL, archivos planos, archivos XML/JSON, etc.
Características avanzadas
  • Slowly Changing Dimension (SCD): las integraciones pueden ser realizadas mediante el uso de cambios de dimensión de lenta evolución (SCD)
  • Soporte completo para las funcionalidades de Teradata tales como TPT, con posibilidad de utilizar métodos específicos como MLOAD, FastLoad, etc.
  • Funciones de optimización tales como SQL query band para etapas específicas.
  • Diferentes tipos de integración automatizada, como Slowly Changing Dimension Type II, Annule / Replace, Incremental, Merge, etc.
  • Change Data Capture (CDC)
  • Privacy Protect : módulo para la gestión del RGPD (reglamento europeo) con las funcionalidades de
    • Anonimización
    • Seudonimización
    • Auditorías
    • ...
  • Data Quality Management (DQM) : gestión de la calidad de los datos directamente integrada en los metadatos y en el Designer
Prerrequisitos técnicos
  • Sistema operativo:
    • Windows XP, Vista, 2008, 7, 8, 10 en modo 32 o 64 bits
    • Linux en modo 32 o 64 bits
    • Mac OS X en modo 64 bits
  • Memoria
    • Mínimo 1 Gb de RAM
  • Espacio de disco
    • Mínimo 300 Mb de espacio de disco disponible
  • Ambiente Java
    • JVM 1.8 o superior
  • Notas : para Linux, es necesario disponer de una biblioteca gráfica GTK+ 2.6.0 con todas sus dependencias
Despliegue en la Nube Image Docker disponible para los motores de ejecución (Runtime) y la consola de ejecución (Production Analytics)
Estándares soportados
  • Open API Specifications (OAS)
  • Swagger 2.0
  • W3C XML
  • cumple con WSI
  • SQL
Lenguaje de Scripting Jython, Groovy, Rhino (Javascript), ...
Gestor de versionamiento Cualquier plugin soportado por Eclipse : SVN, CVS, Git, ...
Migración desde su solución existente de integración de datos Oracle Data Integrator (ODI) *, Informatica *, Datastage *, talend, Microsoft SSIS
* posibilidad de migrar de manera simple y rápida

¿Desea saber más?
Consulte nuestros diferentes recursos

Anonymisation
Pida consejo a uno de nuestros expertos en integración de datos
Contáctenos
Anonymisation
Descubra nuestras acciones de formación y certificaciones
Contáctenos
Anonymisation
Inscríbase para una prueba gratuita
Obtenga su demo

SUSCRIBIRSE A LA NEWSLETTER DE STAMBIA

Suscríbase a nuestros boletines por correo electrónico y manténgase conectado con las mejores ideas en integración de datos

¡Sí! Envíame la newsletter de Stambia. Acepto expresamente recibir la newsletter y sé que puedo darme de baja fácilmente en cualquier momento.

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.