ETL Solution using Azure Data Factory
Cursul de ETL Solution using Azure Data Factory presupune migrare, procesare si integrare date in Cloud, Azure Data Factory, pe scurt, ADF.
Despre ADF: Azure pune la dispozitie serviciul ADF pentru integrare date, ETL (Extract – Transform – Load) in Cloud. Astfel ca, in momentul in care, o companie migreaza catre Cloud are nevoie de: transfer date de pe On Prem in Cloud, transfer de date din diverse surse, integrarea datelor, dar si de transfer de solutii de pe On Prem in Cloud, iar traseul este si invers, de la Cloud catre On Prem.
In ce fel comunica On Prem – Cloud, vom trata implementand in cadrul cursului. Ce inseamna Data Lake vom vedea in cadrul cursului, cum migram pachetele SSIS in Cloud, reprezinta un intreg capitol in curricula trainingului. Cursul parcurge notiunile tehnice in mod progresiv si cu proiecte de business.
Desfasurare Curs:
- Cursul de ETL Solution using Azure Data Factory – se desfasoara pe parcursul a 24 de ore
- Conditii participare: nivel foarte bun de SQL Querying (recomandam cursul de SQL Querying For Business, precum si buna parte din cursul de SQL Programming For Developers – proceduri stocate), nivel bun de ETL (recomandam cursul de ETL Data With SSIS).
IMPORTANT: Pret
* Pret Curs ETL Solution using Azure Data Factory: 2880 Ron + TVA pentru participantii care isi fac cont propriu in Azure, in caz contrar se vor adauga 50 euro/utilizator Azure Data Training.
Structura cursului
Prezentare interfata ADF: Home, Author, Monitor, Manage
Manage: Linked services, Integration runtimes, GIT Configuration, Triggers, Global parameters
Author: Pipelines, Activities, Datasets, Data flows
Scopul cursului de Azure Data Factory este de a dobandi un traseu de invatare practica a modului de lucru in ADF.
In cadrul cursului avem delimitate mai multe etape:
- Load Data din diverse surse (fisiere csv, sql, xlsx, http) in Data Lake
- Transform data – Data Flow
- Definire framework de incarcare – ingestie dinamica cu parametri si variabile
- Programarea incarcarilor de date intr-un scheduler si proprietati scheduler
- Construirea unui datawarehouse
Creare Data Factory & Azure Data Lake Storage Gen2
Creare Data Factory
Creare Azure Data Lake Gen2
Creare obiecte Azure Data Factory:
– Creare linked service sursa (HRMS) si destinatie (data lake)
– Creare dataset sursa
– Creare dataset destinatie
– Creare pipeline
Creare linked service sursa
Creare dataset sursa
Creare dataset destinatie
Creare pipeline
Integration runtime
Instalare Self Hosted Integration runtime
Database – creare linked services, datasets, pipeline, executare si verificare rezultat
Prezentare Azure SSIS integration runtime
Migrare pachet SSIS in Azure Data Factory
Rulare pachet SSIS in ADF
Utilizare variabile si parametri
JSON Config Dataset
Folosire lookup activity & foreach pentru a crea ingestie dinamica
Utilizare scheduled trigger pentru ingestia din HTTPS
Utilizare scheduled trigger pentru ingestia din database
Utilizare event based trigger pentru ingestia din blob storage
Conectare workspace Databricks
Apelare notebook Databricks
Creare warehouse star schema
Conectare pipeline master incarcare warehouse
Monitorizare incarcari
Utilizare dataflow pentru transformarea datelor
Utilizare componente: Filter, Select, Pivot, Lookup / Join, Conditional Split, Derived
Scopul proiectului de la final de curs este de a imbina toate notiunile parcurse: incarcare date, integrare, transformare.
Oferta de pret
Prețul cursului include suportul de curs și materialele didactice, prestația trainerului.
2880 Ron + TVA/pers pentru participantii care isi fac cont propriu in Azure, in caz contrar se vor adauga 50 euro/utilizator Azure Data Training