ETL Solution using Azure Data Factory

Cursul de ETL Solution using Azure Data Factory presupune migrare, procesare si integrare date in Cloud, Azure Data Factory, pe scurt, ADF. 

Despre ADF: Azure pune la dispozitie serviciul ADF pentru integrare date, ETL (Extract – Transform – Load) in Cloud. Astfel ca, in momentul in care, o companie migreaza catre Cloud are nevoie de: transfer date de pe On Prem in Cloud, transfer de date din diverse surse, integrarea datelor, dar si de transfer de solutii de pe On Prem in Cloud, iar traseul este si invers, de la Cloud catre On Prem. 

In ce fel comunica On Prem – Cloud, vom trata implementand in cadrul cursului. Ce inseamna Data Lake vom vedea in cadrul cursului, cum migram pachetele SSIS in Cloud, reprezinta un intreg capitol in curricula trainingului. Cursul parcurge notiunile tehnice in mod progresiv si cu proiecte de business.

Desfasurare Curs:

IMPORTANT: Pret

* Pret Curs ETL Solution using Azure Data Factory: 2880 Ron + TVA pentru participantii care isi fac cont propriu in Azure, in caz contrar se vor adauga 50 euro/utilizator Azure Data Training.

SESIUNI PROGRAMATE:
• 19, 20, 21, 22, 23 Iun
09:00 - 14:00
F = sesiune in formare

Structura cursului

Ce este Azure Data Factory?
Prezentare interfata ADF: Home, Author, Monitor, Manage
Manage: Linked services, Integration runtimes, GIT Configuration, Triggers, Global parameters
Author: Pipelines, Activities, Datasets, Data flows

Scopul cursului de Azure Data Factory este de a dobandi un traseu de invatare practica a modului de lucru in ADF.

In cadrul cursului avem delimitate mai multe etape:

  • Load Data din diverse surse (fisiere csv, sql, xlsx, http) in Data Lake
  • Transform data – Data Flow
  • Definire framework de incarcare – ingestie dinamica cu parametri si variabile
  • Programarea incarcarilor de date intr-un scheduler si proprietati scheduler
  • Construirea unui datawarehouse

Creare Data Factory & Azure Data Lake Storage Gen2
Creare Data Factory
Creare Azure Data Lake Gen2
Creare obiecte Azure Data Factory:
– Creare linked service sursa (HRMS) si destinatie (data lake)
– Creare dataset sursa
– Creare dataset destinatie
– Creare pipeline

Creare linked service sursa
Creare dataset sursa
Creare dataset destinatie
Creare pipeline

Integration runtime
Instalare Self Hosted Integration runtime
Database – creare linked services, datasets, pipeline, executare si verificare rezultat

Prezentare Azure SSIS integration runtime
Migrare pachet SSIS in Azure Data Factory
Rulare pachet SSIS in ADF

Utilizare variabile si parametri
JSON Config Dataset
Folosire lookup activity & foreach pentru a crea ingestie dinamica

Utilizare scheduled trigger pentru ingestia din HTTPS
Utilizare scheduled trigger pentru ingestia din database
Utilizare event based trigger pentru ingestia din blob storage

Conectare workspace Databricks
Apelare notebook Databricks
Creare warehouse star schema
Conectare pipeline master incarcare warehouse
Monitorizare incarcari

Utilizare dataflow pentru transformarea datelor
Utilizare componente: Filter, Select, Pivot, Lookup / Join, Conditional Split, Derived

Scopul proiectului de la final de curs este de a imbina toate notiunile parcurse: incarcare date, integrare, transformare. 

Oferta de pret

Prețul cursului include suportul de curs și materialele didactice, prestația trainerului.

2880 Ron + TVA/pers pentru participantii care isi fac cont propriu in Azure, in caz contrar se vor adauga 50 euro/utilizator Azure Data Training

(codul de voucher nu este obligatoriu, se aplica doar in anumite cazuri)