Datastage Workshop

  • View
    213

  • Download
    1

Embed Size (px)

Transcript

  • IBM WebSphere DataStage

  • AGENDADatastage Flow Architecture RolesComponentesCapas MetaData y MetastageFlowDatastage ManagerDatastage AdministratorDatastage DesignerIntroduccin a IBM WebSphere DataStage DirectorIngresar a la HerramientaPrincipales ComponentesFunciones BsicasAgendar ProcesosMonitorear EjecucionesDepuracin de Errores de EjecucinRecuperacin de Errores de Ejecucin

  • DataStage ~ IntroduccionDataStage InputsTransformQualityOutputDataStage ServerMultiple Jobs in ParallelTarget SystemsSource SystemsVERSION ENTERPRISE : todas las funcionesVERSION STANDARD :( Instalada en region Andina) No incluye funcionalidades de Quality Stage, Output y Multiple Jobs in Paralell DataStage es la herramienta paraDisear y construir procesos para la transformacin y movimiento de datos es el proceso por el cual los datos se extraen de la fuente, se transforman y cargan al formato requerido por los sistemas especficos. Extract-Transform-Load (ETL) . El proceso de manipula los datos para ponerla en conformidad con las empresas, el dominio y las normas de integridad y con otros datos en el entorno de destino.

  • DataStage ~ FLowDataStage ~ Introduccion

  • DataStage ~ Architecture

  • DataStage ~ Administrator Client- RolesDataStage Developer, who has full access to all areas of a DataStage project (except for protected projects). DataStage Production Manager, who has full access to all areas of a DataStage project, and can also create and manipulate protected projects. DataStage Operator, who has permission to run and manage DataStage jobs. DataStage Super Operator, who has permission to run and manage DataStage jobs, and to view items in the Designer (although not to edit them).

  • DataStage ~ Client ComponentsWebSphere DataStage y QualityStage Administrador proporciona herramientas para la gestin general y de proyectos relacionados con tareas tales como tiempo de espera del servidor y las asignaciones de NLS. El WebSphere DataStage y QualityStage Director es el componente de cliente que valida, corridas, schedules, y los monitoreos de los jobs que se ejecutan por el servidor de WebSphere DataStage El WebSphere DataStage y QualityStage Designer le ayuda a crear, administrar y jobs de diseo. Tambin puede utilizar el cliente de diseo para definir las tablas y los servicios de acceso a los metadatos. DataStage Manager , interface para visualizar, editar y exportar/importar la metadata de los proyectos Datastage in el repository con Datastage server

  • DataStage ~ Client Components - Operations

    Manager:includio en el DesignerManaging the Repository Managing Tables Built-in- Data Elements Built-in-Functions Custom Routines Managing Job Properties Managing Shared Containers Importing and Exporting Jobs Package Creation

    Administrator: Project General Properties Project Permissions Project Tracing Project Tunable Project Sequences

    IBM teamsite:http://publib.boulder.ibm.com/infocenter/iisinfsv/v8r0/index.jsp?topic=/com.ibm.swg.im.iis.found.admin.common.doc/topics/r_admin_ds_library.htmlhttp://publib.boulder.ibm.com/infocenter/iisinfsv/v8r0/index.jsp?topic=/com.ibm.swg.im.iis.productization.iisinfsv.overview.doc/topics/cisodsoverview.htmlhttp://www-01.ibm.com/software/data/infosphere/datastageDesigner Job Design Flow Create a Job Table Definition Adding Stages Palette for Stages Stage Types Adding Links Grouping Stages & Links Compiling & Running Jobs Debugging Naming Constraints Job Properties Job Sequences Programming in DataStage Director:Jobs States and Status Job Options Job Scheduling Job Resources Monitoring Jobs Job Log

  • Capas MetaStage y MetadataMetadataLa informacin descriptiva que define los datos de Kraft, fuentes de datos, los datos de los productores, los consumidores de informacin, informes de gestin y el proceso de integracin de datos. Los metadatos deben existir para todos los proveedores de datos, todos los consumidores de datos, todos los servicios y el proceso que afecta a los datos y las entidades orgnicas que definen y enriquecen. El enlace que une a diferentes fuentes de datos y permite la integracin y la agregacin de la inteligencia empresarial La gestin de metadatos Despus de importar los metadatos en el repositorio de metadatos, es posible que desee aadir o modificar la informacin acerca de los metadatos como la descripcin de una tabla. Usted tambin puede agregar informacin com o contactos, polticas y trminos a los esquemas importados, directorios, tablas, archivos, y campos de datos. MetaStageProporciona integracin de metadatos para todos los productos utilizados en el ciclo de integracin de datos: Modelado de datos / Herramientas de Casos Las aplicaciones de Business Intelligence Bases de datos y almacenes de datos Enterprise Applications Empresa de integracin de datos Suites Ofrece el anlisis comparativo del impacto de la herramienta y el conjunto de datos de informes y la documentacin Capacidad para gestionar negocios glosarios, vocabularios y trminos. Bi-direccional y el intercambio de metadatos a travs de la reutilizacin de MetaBrokers

  • Datastage Project Import- Flow

  • Datastage Activities and FunctionalitiesModule: Working with Relational Data Import Table Definitions for relational tables. Create Data Connections. Use Connector stages in a job. Use SQL Builder to define SQL Select statements. Use SQL Builder to define SQL Insert and Update statements. Use the DB2 Enterprise stage. Module: Metadata in Parallel Framework: Explain schemas. Create schemas. Explain Runtime Column Propagation (RCP). Build a job that reads data from a sequential file using a schema. Build a shared container.

    Module: Job Control: Use the DataStage Job Sequencer tobuild a job that controls a sequence of jobs. Use Sequencer links and stages tocontrol the sequence a set of jobs run in. Use Sequencer triggers and stagesto control the conditions under which jobs run. Pass information in job parametersfrom the master controlling job to the controlled jobs. Define user variables. Enable restart. Handle errors and exceptions. Module: Platform Architecture Describe parallel processingarchitecture Describe pipeline & partition parallelism List and describe partitioning and collecting algorithms Describe configuration files Explain OSH & Score

    Module: Combining Data Combine data using the Lookup stage Combine data using merge stage Combine data using the Join stage Combine data using the Funnel stage

    Module: Sorting and Aggregating Data Sort data using in-stage sorts and Sort stage Combine data using Aggregator stage Remove Duplicates stage

    Module: Transforming Data Understand ways DataStage allows you to transform data Create column derivations using userdefined code and system functions Filter records based on business criteria Control data flow based on dataconditions

    Module: Repository Functions Perform a simple Find Perform an Advanced Find Perform an impact analysis Compare the differences betweentwo Table Definitions and Jobs.

    Module: Introduction DataStage Architecture. DataStage Clients Designer Director Administrator DataStage Workflow Module: Types of DataStage Job Parallel Jobs Server Jobs Job Sequences Setting up DataStage Environment DataStage Administrator Properties Defining Environment Variables Importing Table Definitions Module: Creating Parallel Jobs Design a simple Parallel job in Designer Compile your job Run your job in Director View the job log Command Line Interface (dsjob) Module: Accessing Sequential Data Sequential File stage Data Set stage Complex Flat File stage Create jobs that read from and write to sequential files Read from multiple files using file patterns Use multiple readers Null handling in Sequential File Stage

  • Introduccin a IBM WebSphere DataStage MANAGERIBM WebSphere DataStage MANAGERinterfaz de usuario usada para visualizar y editar el contenido del repositorio.Se utiliza para almacenar y gestionar metadatos tiles para los jobs .. Se utiliza para impotarcion y exportacin de componentes de archivo sistema de proyectos Datastage .interface Primaria al repositorio DataStage Rutinas personalizadas y se transforma tambin puede ser creado en el Administrador

  • DATASTAGE MANAGER - FunctionsFigure 1. Defining a project Figure 1. Creating an application

  • Introduccin a IBM WebSphere DataStage ADMINISTRADORIBM WebSphere DataStage MANAGERinterfaz de usuario usada para visualizar y editar el contenido del repositorio.

    DataStage mayora de las tareas de configuracin se realiza mediante la DataStage administrador, un programa cliente de disponer de DataStage .. Para acceder al Administrador de DataStage:: 1 .. Desde la carpeta de l DataStage programa, elija DataStage Administrador. 2 .. Inicie sesin en el servidor. Si lo hace como un administrador (para Servidores de Windows NT), o como dsadm (para servidores UNIX), usted tiene derechos ilimitados de administracin, de lo contrario sus derechos estn restringidos como se describe en la seccin anterior. 3 .. La ventana de Administracin DataStage aparece: La pgina General le permite configurar las propiedades del servidor de ancho. Se activa slo cuando al menos un proyecto existe. Los controles y butons en esta pgina habilitadas solamente si se inicia sesin como administrador

  • DATASTAGE ADMINISTRATOR Metadata FlowFigure 1. MetaBrokers convert metadata to hub model MetaBrokers convertir los metadatos de un formato a otro mediante la asignacin de los elementos de un modelo estndar llamado el modelo de hhub. Los metadatos seleccionado se importados y almacenados en el repositorio. El intercambio de metadatos permite la descomposicin y la recomposicin de los metadatos en simples unidades de significado.