ORACLE ODI Oracle Data Integrator

JULY 25, 2016

MOBIN

مقدمهODI های به عنوان ابزاری مناسب برای فعالیتETL وELT توسط شرکتOracle ارائه شده است. در این سند سعی

ها و mappingها، با توپولوژی، کار ODIسازی، ایجاد پروژه جدید در محیط شده است تا مراحل نصب و آماده

Agent.رو صرفا مروری مقدماتی بر مفاهیم و کلیت الزم به ذکر است که سند پیش ها مورد بررسی قرار گیرد

که Developer Manualو User Manualهای ای سنداست و به منظور آموزش حرفه Oracle ODIها در فعالیت

ارائه شده است، راهگشا خواهد بود. Oracleتوسط شرکت

نصباطالعات مربوط به خود داری ای برای نگهباید توجه داشت که این محصول نیاز به پایگاه داده ODIبه منظور نصب

بعد از فرآیند نصب این محصول، باید به غیر از پایگاه داده اوراکل هم باشد. توانددارد، البته این پایگاه داده می

با در اختیار قرار دادن است که repositoryبرای ایجاد محیط کاری پرداخت و در فرآیند ایجاد repositoryایجاد

را دارد، dbaاطالعات مربوط به اتصال به پایگاه داده به همراه نام کاربری و رمز عبور برای کاربری که قابلیت

شود.ایجاد می ODIختلف م نگه داری اطالعاتکاربر برای مطابق با نظر کاربر چندین

قابلیت نصب را دارد، به منظور نصب این محصول Standaloneو Enterpriseبه طور کلی این محصول در دو قالب

Oracle_HOMEنیز odiنصب شده باشد و محل نصب Oracle Fusion Middlewareنیاز است تا Enterpriseدر حالت

ها agentمیشود که در بخش مربوط به JEEهای agentتفاوت های این دو نسخه شامل امکان ایجاد مربوطه باشد.

مورد بررسی قرار می گیرد.

است که به سادگی قابل انجام ODI Studio، گام اول نصب جود استمو در این بخش به طور کلی دو فرآیند نصب

در محل نصب RCU (Repository Creation Utility)ستفاده از است که با ا repositoryاست و در گام بعدی ایجاد

پرداخته شده است. Master, Work Repositoryدر ادامه به نحوه ایجاد شده انجام می شود.

هم برای ویندوز و هم برای oracle_common\binو در شاخه Oracle_HOMEبرای انجام این کار با ورود به بخش

موجود است. پس از اجرای این اسکریپت اجرای محیط گرافیکی برای ایحاد RCUی به نام لینوکس اسکریپت اجرای

ریپوزیتوری در اختیار شما قرار داده می شود، که امکان یک ریپوزتوری جدید یا حذف یک ریپوزیتوری موجود را

فراهم می آورد. تصویر زیر صفحه مربوط به این محیط گرافیکی را نمایش می دهد.

ادامه فرآیند، در صفحه بعد امکان انتخاب ایجاد یا حذف ریپوزتوری وجود دارد. در قسمت ایجاد ریپوزیتوری با

امکان ایجاد و یا تولید اسکریپت، موجود است. با انتخاب گزینه اول در گام بعدی به معرفی کاربری با دسترسی

DBA :می پردازیم

العات مربوط به اتصال به پایگاه داده به همراه کاربری با دسترسی همانطور که مشاهده می شود در این بخش اط

DBA وارد شده است. د مراحل بعدی ایجاد ریپوزیتوری با استفاده از این اتصال فرآیند مربوط برای ایجاد کاربر و

تولید شمای مربوطه انجام خواهد شد.

DBAخش الزمه معرفی می شود و با توجه به دسترسی در این بخش نام کاربر )نام اسکیما( و رمز عبور برای هر ب

تصاویر زیر مراحل بعدی ایجاد یک برای کاربری که قبال معرفی کرده ایم، این اسکیماها ایجاد می شوند.

را به نمایش می گذارد. این مقادیر به صورت پیش فرض هستند، اما در صورت امکان Workو Masterریپوزیتوری

می توان مقادیری متناسب برای آن ها انتخاب کرد.

ادامه فرآنید نیز اطالعات خاصی را از کاربر نمی گیرد و در انتها موفقیت یا عدم موفیت فرآیند نصب را به کاربر

است. برای انجام ODI Studioیک ریپوزتوری، گام بعدی اتصال به آن با استفاده از گزارش می دهد. پس از ایجاد

این کار به شکل زیر عمل می شود.

اطالعات ارائه شده در تصویر باال بر حسب تنظیماتی است که در فرآنید تولید یک ریپوزتوری انجام شده است. نام

با توجه به نامی که Work repositoryکاربری و رمز عبور برای شمای در نظر گرفته شده در پایگاه داده و انتخاب

» است که پسورد آ SUPERVISORن مهم انتخاب نام کاربری برای آن در نظر گرفته شده است و در نهایت تنها الما

در بخش ایجاد ریپوزتوری توسط کاربر انتخاب شده است.

فراهم می شود. عالوه براین ODIپس از ایجاد اتصال امکان ایجاد پروژه ها و فعالیت های مربوطه توسط محیط

دارد. برای این کار باید کاربری در پایگاه داده وجود ODIدیگر نیز در محیط workهای repositoryامکان ایجاد

workایجاد شود و سپس دسترسی های به آن اختصاص داده شود. پس از آن می توان به شکل زیر اقدام به ایجاد

repository .کرد

جدید فاکتور گرفته شده است. work repositoryبا توجه به سادگی و تکراری بودن، فرآیندهای بعدی ایجاد

ODIروال کاری یک پروژه در در گام های زیر خالصه می شود: ORACLE ODI STUDIOبه طور کلی مراحل یک پروژه در

ایجاد توپولوژی فیزیکی )برای همه منابع و مقاصد داده( -1

ستمفهوم کانتک ایجاد توپولوژی منطقی و برقراری ارتباط بین بخش فیزیکی و منطقی با استفاده از -2

ایجاد مدل داده برای توپولوژی های منطقی ایجاد شده -3

( به منظور ایجاد فرآیند انتقال و تبدیلMappingو Procedure, Packageاستفاده از امکانات طراحی شده ) -4

Load Planو Scenarioتبدیل فرآیندهای طراحی شده به -5

agentاجرای ایجاد و -6

بندی(برای اجرای آنها )قابلیت زمان Agentهای مربوطه به Load Planمعرفی سناریوها و -7

برای بررسی روند اجرا و کشف خطاهای احتمالی Operatorاستفاده از بخش -8

در ادامه هر بخش به صورت اجمالی مورد بررسی قرار می گیرد و توضیح مربوط به مفاهیم موجود در هر بخش با

توجه به نیاز توضیح داده شده است.

ایجاد توپولوژی فیزیکیپس از اتصال به یک ریپوزیتوری، اولین گام در هر کاری تعریف توپولوژی فیزیکی است. این بخش مشخص کننده

نوع تکنولوژی و مقادیر الزم برای اتصال فیزیکی به آن است. برای مثال برای اتصال به یک پایگاه داده اوراکل چه

باید یک سرور دیتا بیس به شکل زیر در بخش توپولوژی فیزیکی ایجاد کرد و به منظور منبع داده یا مقصد داده

مقادیر مربوط به نحوه اتصال به آن را مشخص کرد.

پس از ایجاد یک دیتا سرور می توان یک اسکیمای فیزیکی را به شکل زیر اضافه کرد.

همانطور که در تصویر باال مشاهده میشود این اسکیمای فیزیکی مشخص می کند که شمای اصلی چیست، شمای

( برای Charsetچگونه است. همچنین کدگذاری متن ) ETLفعالیتها چیست و نام گذاری جدوال تولید در فرآیند

کی از ی د توپولوژی منطقی است.متون به چه شکلی است. پس از ایجاد این اسکیماهای فیزیکی نوبت به ایجا

گرفت از دیتا سرورهایی است که تعریف شده است. Import/Exportامکانات دیگر این بخش امکان

ایجاد توپولوژی منطقی و برقراری ارتباط با بخش فیزیکیوع تکنولوژی ته به نفعالیت های الزمه در الیه منطقی تعریف می شوند. این الیه نیز مانند الیه فیزیکی وابس ODIدر

است، اما در فعالیت های مربوط به تولید مدل داده، این الیه منطقی است که مورد استفاده قرار می گیرد. الیه

تعریف می contextمنطقی به خودی خود فعالیت خاصی را انجام نمی دهد، اما با توجه به نگاشتی که در یک

در واقع مشخص کننده نگاشت بین بخش فیزیکی و بخش Contextشود به یک الیه فیزیکی مربوط می شود.

منطقی است و می توان در یک پروژه چندین کانتکست مختلف داشت، اما در لحظه اجرا است که نوع کانتکست

را مشخص می کنیم. برای مثال می توان با تعریف دو کانتکست توسعه و محصول نهایی، به سادگی مراحل توسعه

بوط به مرحله توسعه و مرحله محصول را با توجه به جداول فیزیکی مربوط به محصول نهایی به را با جداول مر

اشیای موجود در الیه منطقی نگاشت داد و این کار به سادگی در مرحله اجرا و با انتخاب کانتکست انجام می شود.

شکل زیر کانتکست را به نمایش گذاشته است:

شکل زیر نحوه تولید شمای منطقی را منطقی و شمای فیزیکی را نمایش می دهد.شکل باال نگاشت بین شمای

به نمایش گذاشته است:

،همانطور که در تصویر باال مشخص شده است صرفا با تعیین یک نام و نحوه نگاشت آن در کانتکست های مختلف

تنها نکته در این بخش این است که نوع تکنولوژی فیزیکی و منطقی لزوما یکسان شمای منطقی ایجاد می شود.

است، اما در کانتکست های مختلف فرآیند نگاشت یک شمای منطقی به شماهای فیزیکی متفاوت باشد.

ایجاد مدل دادهمی شوند. برای در این گام داده های موجود در ساختارهای مختلف که درون شمای منطقی قرار دارند تعیین

باشد داده های موجود به شکل جدول خواهند بود و در صورتی Oracle DBمثال در صورتی که شمای منطقی ما

باشد، این داده ها به صورت فایل خواهند بود. در این بخش با ایجاد پوشه بندی File Serverکه سرور داده از نوع

کنیم. الزم به ذکر است که این داده ها )جداول/فایل( باید چه مدل داده هایی برای هر شمای منطقی ایجاد می

ای بر مبنای آنها ایجاد Modelدر مبدا و چه در مقصد به صورت فیزیکی موجود باشند و در این بخش هم شی

در این بخش می تواند اطالعات مربوط به این اشیا را به صورت اتوماتیک به Reverse Engineeringشود. ماژول

Reverseاضافه کند. برای مثال برای یک جدول مدلی در این بخش ایجاد می کنیم با استفاده از ماژول مدل

Engineering می توانیم تمامیConstraint ها، ساختار ستونها و ... را به صورت اتوماتیک ایجاد کنیم. شکل زیر

دل در اینجا مترادف با یک شمای منطقی به طور کلی هر م نحوه ایجاد یک مدل داده را به نمایش می گذارد.

است و هر دیتا سورس در آن مترادف با یک جز از آن شمای منطقی خواهد بود.

برای اخذ اطالعات دیتا سورس هم در شکل زیر به نمایش در آمده Reverse Engineeringنحوه استفاده از ماژول

است:

داده های موجود در View Dataبرای چک کردن صحت ایجاد دیتا مدل و دیتا سورس ها می توان با استفاده از

آن ها را چک کرد و درست بودن فرآیند اتصال و مدلسازی مطمئن شد.

ایجاد فرآیند انتقال داده و تبدیلبعدی در این قسمت ایجاد رویکرد تبدیل گام ETLپس از تعریف مدل داده برای ورودی ها و خروجی های فرآیند

برای این کار دادههای ورودی به خروجی های مورد نیاز و قرار دادن آنها با مکانیزمی صحیح در مقاصد داده است.

هم Variableعالوه بر این مواردی مانند در نظر گرفته شده است. Procedure, Package, Mappingامکاناتی با نام

برای استفاده از این امکانات به منظور افزایش قدرت فرآیند در این سه مورد استفاده می شوند. وجود دارند که

به شکل زیر است: ODI Studioاولین گام ایجاد پروژه است. نحوه ایجاد پروژه جدید در

ایجاد می شوند. و در پس از ایجاد پروژه، برای تبدیالتی که از نظر مفهومی با هم در ارتباط هستند، فولدرهایی

هر فولدر پکیجها، پروسیجرها و مپینگ هایی را می توان ایجاد کرد.

:Packageایجاد و استفاده از

و Procedureاین بخش بخ صورت گرافیکی امکان انجام فعالیت های سطح باال را فراهم می آورد و نسبت به

mapping توان امکان انجام و عدم انجام فعالیت را به صورت مجزا به نظر کم کاربردتر می آید. در این بخش می

مورد توجه قرار داد و در صورت موفقیت آمیز بودن یا نبودن رویکرد متفاوت اتخاذ کرد. شکل زیر نحوه ایجاد

package .را به نمایش می گذارد

ها در این بخش variable مشخص است. امکان استفاده از toolboxدر بخش Packageابزارهای موجود در ایجاد

و ...(. از امکانات دیگر این بخش امکان setVariable, checkVariableرا فراهم می آورد. )با استفاده از ifو forایجاد

Export, Import .گرفتن به صورت یک روال، امکان ارسال ایمیل انجام موفق و غیرموفق و .... است

برای موفقیت یا عدم موفقیت هر بخش را فراهم آورده است.این زبانه امکان ایجاد روال

:Procedureایجاد و استفاده از

پروسجرها به این شکل هستند که در روال های مختلفی امکان انتقال از یک سورس به یک مقصد را مشخص

مقصد ایجاد می شود. کرد. در هر گام هم کدی برای اخذ در سمت مبدا و کدی به زبان مربوط به مقصد در سمت

.و طبق روال تعریف شده فرآیند انجام می شود. نحوه ایجاد پروسیجر را در شکل زیر مشخص می کنید

تعیین می شود.در شکل زیر هم گام ها مشخص می شود و کدهایی مطابق نوع ورودی و خروجی هر گام

طا تبدیل به اخطاز شود و کار ادامه یابد یا در هر گام هم می توان مشخص کرد که آیا در صورت عدم موفقیت خ

سایر آپشنهای مربوط به هر گام نیز در سندهای مربوطه موجود توضیحات مربوط به کال با پیغام خطا متوقف شود.

است.

:Mappingایجاد و استفاده از

Mapping یکی از مهمترین بخش های ایجاد فرآیندETL .جاد بسیاری از که به صورت گرافیکی امکان ای است

را به نمایش می گذارد. Mappingشکل زیر نحوه ایجاد یک فرآیندهای مربوط به انتقال را فراهم می آورد.

شکل زیر یک نمونه از انتقال بین سورس داده فایل به جدول را به نمایش می گذارد. در بین این فرآیند می توان

دیلبرای این فرآیند انتقال و تب عالوه بر این فعالیت های متنوعیتصمیمی گرفت که بار پردازشی در کجا باشد.

فراهم آمده است. ODI Studioتوسط

قابل مشاهده است. دلیل این physicalنکته قابل توجه در این بخش این است که ریز فعالیت انجام شده در بخش

به سادگی قابل مشاهده است. physicalخش انجام می شود و در ب logicalامر استفاده پنهانی است که در بخش

ه از ماژول دانشی انتقال فایل ب برای مثال در این تبدیل که از منبع فایلی به منبع پایگاه داده انتقال می یابد،

را در شکل زیر مشاهده می کنید. physicalپایگاه داده استفاده می شود. شکل زیر نمایش بخش

Load Planو Scenarioبه تبدیل فرآیندهای طراحی شده

دهد، همگی مواردی هستند که قابلیت اجرا را موارد گفته شده که نحوه انتقال را به صورت فرآیندی انجام می

( و چه در محیط عملیاتی این اشیا و امکانات تبدیل به ODI Studioندارند. برای اجرای آنها چه در محیط توسعه )

مشخص می شوند که در بخش Agentده هایی با نام کدهای اجرایی توسط اجرا کننشوند. این کدهایی اجرایی می

اما منظور از بخش اجرایی سناریوها و پالن اجرایی است. سناریو به ازای بعد مورد بررسی اجمالی قرار گرفته است.

مجموعه ای از این سناریوها را به صورت Load Planارائه می شود ولی Packageو Procedure, Mappingهر

اجرا می Oracle ODI Studioچیدمانی درختی برای اجرای کلی آماده می کند. در واقع هر زمان که فعالیتی در

شود، به صورت اتوماتیک و موقت سناریو اجرایی فراهم می آید. اما در فاز عملیاتی باید به ازای موارد مورد نیاز

برای ایجاد سناروی مربوطه ایجاد شود. load planمی تولید شوند و بر اساس روند اجرایی و عملیاتی سناریوهایی دائ

Procedureسناریویی ساخته شده است اما برای Mappingاز هر نوع به شکل عمل می شود. در شکل زیر از یک

هم به همین روال است. Packageو

یو در شی مربوطه موجود خواهد بود:سپس سناریو ایجاد شده در زیربخش سنار

بخش دیگری که تمام سناریوها در آن قابل مشاهده است به شکل زیر است:

عالوه براین امکان تعیین زمان بندی اجرا نیز برای متغیرهای موجود برای اجرا را دارد. دریافت سناریوها، قابلیت

این سناریوها موجود است.

است که همانطور که گفته شد، سناریوهای مختلف را بر حسب یک ساختار درختی به Load Planبخش بعدی

به شکل زیر اقدام می کنیم: Load Planبرای ایجاد یک اجرا می کند.صورت یک کلیت

ایجاد می شود. ها مطرح است. در هرگام سناریویی مطابق با تعریف درختبخش تعریف گام Load Planبرای ایجاد

نود 4نوع نود می توان ایجاد کرد. این 4از ی آن وجود دارد که زیر مجموعه rootر کلی یک بخش مجازی به طو

به شکل زیر است.

در زیر شاخه خود به اجرای سناریویی مطابق با تعیین کاربر می پردازد. اما سه نود دیگر Run Scenario Stepنود

برای Serial Step وند و نمی توانند در ساختار درخت، نود برگ باشند.برای ایجاد روال درختی فرآیند ایجاد می ش

برای اجرای موازی زیر مجموعه های خود به Parallel Stepاجرای سریالی نودهای زیر مجموعه به کار می رود.

شرطی در درخت است برای ایجاد ساختار Elseو Whenو زیر مجموعه های آن که شامل Case Step کار می رود.

شدن هر نود چه نود برگ و failمشخص کنند این است که در صورت Restartبخش است. Load Planاجرا در

ای از ساختار درخت اجرایی را نمونه چه نود شاخه، چه اتفاقی در فرآیند کلی و فرآیندهای زیر شاخه آن بیفتد.

ب یک اجرای سریالی ایجاد شده اند.قال در آن دو سناریو دردر شکل زیر مشاهده می کنید که

Load Plan ها وScenario مورد بحث در بخش بعد و با معرفیAgent.ها می توانند قابلیت اجرایی داشته باشند

agentایجاد و اجرای

ها Load Planها و Scenarioی ها به عنوان اجرا کنندهAgentهمانطور که در بخش قبلی مورد بررسی قرار گرفت،

است که می تواند به یکی از سه نوع زیر ایجاد و طبقه بندی شود: processیک Agentمطرح هستند. به طور کلی

1- Standalone Agent این نوع :Agent ها هیچ نیازی بهWeblogic ندارند و به صورت مجزا اجرا و مدیریت

می شوند.

2- Collocated Agent این نوع :Agent از کتابخانه های مشترک موجود درWeblogic استفاده می کنند ولی

به صورت مجزا اجزا و مدیریت می شوند.

3- JEE Agent این نوع :Agent به صورت یک جز در محیط هاWeblogic ،قرار می گیرند و امکان مدیریت

فراهم می آید. weblogicاجرا و توقف آنها در محیط

ها agentبوده باشد صرفا نوع اول این standalone، به صورت ODIورتی که نوع نصب الزم به ذکر است که در ص

می توان دو نوع دیگر را نیز ایجاد کرد. enterpriseرا می توان ایجاد کرد، اما برای نصب

common\binو در پوشه ODIباید با توجه به اسکریپت اجرایی واقع در زیر شاخه محل نصب Agentبرای ایجاد یک

شروع می Agentاست، اقدام کرد. پس از اجرای اسکریپت مربوطه فرآیند تولید یک config.cmd/config.shبا نام

، محل نصب آن و مواردی از این قبیل تعیین می گردد. عالوه بر این در agentشود و در طول نصب انتخاب نوع

عمل می کند از کاربر پرسیده خواهد طه کاری آندر حی agentطول فرآیند نصب، اطالعات ریپوزیتوری ای که

را به نمایش گذاشته است. standaloneاز نوع agentشکل های زیر روال نصب یک شد.

قابل انتخاب است، اما شکل agentدر شکل زیر سه نوع باشد، Enterprise شده از نوع نصب ODIدر صورتی که

تهیه شده است. standaloneزیر برای نسخه

به آن agentبا نسخه ای که JDKدر این قسمت گرفته می شود. باید توجه کرد که نسخه JDKاطالعات مربوط به

نیاز دارد یکسان باشد.

اطالعات ریپوزیتوری در این بخش گرفته می شود.

و پورتی که برای اجرا به آن اختصاص داده می شود مورد توجه قرار می گیرد. Agentدر ادامه نام

به سادگی پایان می پذیرد. agentسایر موارد در ادامه شامل کانفیگ خاصی نخواهد بود و نصب و ایجاد

برای اجرا به آن، مورد توجه قرار می گیرد. load planو معرفی سناریو و agentدر ادامه این بخش نحوه اجرای

weblogicاز JEEهای agentبه محل نصب آن که در گام اول مشخص کردیم می رویم )برای agentبرای اجرای

در ادامه آن است و روش کاری مختص standaloneمورد نصب از نوع agentاستفاده می شود ولی در اینجا نوع

را اجرا می کنیم )به شکل زیر( و منتظر agent.cmdفایل اجرایی agentدر محل نصب . توضیج داده شده است(

الزم به ذکر است که نام و پورت در موقع نصب داده شده و در اینجا همان باید وارد الگی به شکل زیر می مانیم.

شود.

پس ار به سرعت انجام می شود.کمی طول می کشد، اما برای دفعات بعدی این ک agentبرای بار اول شروع یک

مطابق آن logical agentو یک Physical Agentیک ODIبه صورت یک پروسه، باید در محیط agentاز شروع یک

برای ایجاد این دو مورد همانند تصاویر زیر عمل می کنیم. ایجاد کرد.

فیزیکی اطالعات پورت و نام مهم ترین بخش را تشکیل می دهد، agentهمانطور که مشاهده می شود در ایجاد

می پردازیم و آن را با توجه به کانتکست به agentسپس همانند روال های قبل به ایجاد یک شی منطقی برای

شی فیزیکی نگاشت می دهیم.

برای اجرای آنها Agentهای مربوطه به Load Planمعرفی سناریوها و

در صورت باال بودن پروسس مربوط به آن می توان فرآیند اجرای یکی فرآیند که agentس از ایجاد یک در ادامه پ

است را می توان توسط آن اجرا کرد. load planبه صورت سناریو یا

به شکل زیر می توان عمل کرد: agentبرای اجرا یک سناریو در یک

نیز به شکل زیر می توان اقدام کرد. agentبا استفاده از یک Load Planبرای اجرای یک

برای بررسی روند اجرا و کشف خطاهای احتمالی Operatorاستفاده از بخش

در آن تمامی فرآیندهای اجرا با توجه به دسته بندی های است که Operatorبه نام ODI Studioبخش میانی در

Loadبرای مثال برای بررسی موفقیت یا عدم موفقیت مربوط به یک مختلف و در قالب زمانی قابل بررسی است.

plan که توسط یکagent اجرا شده است، می توان هم از طریق بخش مربوط بهload plan در قسمتoperator

در زبانه مربوطه اقدام بررسی را انجام داد. اطالعات مربوط به خطا در صورت بروز آن agentبخش و هم از طریق

نیز در این قسمت قابل بررسی است و از طرف دیگر امکان مشاهده الگ هر قسمت به صورت مرتب شده در این

را برای یک Load planانجام برای بررسی operatorزبانه فراهم آمده است. شکل زیر نمونه ای از کاربرد بخش

agent .نمایش می دهد

همانطور که در شکل زیر مشاهده می شود به صورت مرتب شده ای اطالعات هر بخش در این زبانه قابل مشاهده

اطالعات مربوط خطا است. عداد تغییرات و در صورت وجود خطااست، این اطالعات شامل زمان اجرا، زمان اتمام، ت