
ETL Solution using Azure Data Factory
Azure Data Factory este serviciul cloud serverless si scalabil pentru ETL de la Azure pentru integrarea si transformarea datelor. Ofera posibilitatea de utilizare a pachetelor SSIS existente si executarea acestora in Azure.
Desfasurare curs:
- Durata curs: 24 ore, desfasurare 100% practic prin implementare de proiecte end to end: cerinta + solutie + implementare.
- Sunt necesare cunostintele: SQL Querying, experienta cu proceduri stocate, experienta, cel putin la nivel basic cu un tool de ETL
- Cursul va fi disponibil incepand cu luna aprilie 2025.
SESIUNI PROGRAMATE:
• la cerere, minim 8 participanti
-
F = sesiune in formare
Structura curs ETL Solution using Azure Data Factory
- Ce inseamna Azure Data Factory (ADF)
- Prezentare interfata ADF: Home, Author, Monitor, Manage
Scope & User Story Training: se va prezenta proiectul din cadrul intregului curs, sub forma unui user story care va fi impartit in task-uri. Toate task-urile reprezinta implementarile tehnice din cadrul cursului.
- Creare Data Factory & Azure Data Lake Storage Gen2 & Creare obiecte Azure Data Factory
- Creare linked service sursa (HRMS) si destinatie (Data Lake)
- Creare dataset sursa si dataset destinatie
- Creare pipeline
Comută conținut
- Creare linked service sursa
- Creare dataset sursa si dataset destinatie
- Creare pipeline
- Integration runtime
- Instalare Self hosted integration runtime
- Database – creare linked services, datasets, pipeline, executare si testare
- Prezentare Azure SSIS Integration runtime
- Creare SSIS – IR
- Migrare pachet SSIS in Azure Data Factory
- Rulare pachet SSIS in Azure Data Factory
- Utilizare variabile si parametri
- JSON Config Dataset
- Folosire Lookup activity & foreach pentru a crea ingestie dinamica
- Utilizare scheduled tigger pentru ingestia din HTTPS
- Utilizare scheduled tigger pentru ingestia din database
- Utilizare event based trigger pentru ingestia din blob storage
- Creare workspace Databricks
- Conectare workspace Databricks la Azure Data Lake
- Asignare permisiuni Data Lake catre service principal utilizat de Databricks
- Import dbc si explorare + adaptare notebook-uri
- Asignare permisiuni pentru ADF in Databricks
- Creare linked service catre Databricks
- Folosire notebook in pl_github si incarcare tabela in dwh
- Construirea unui Data Flow
- Rularea unui Data Flow
Intregul curs se desfasoara in baza unui proiect, cu multe spete si exercitii. Cursul este 100% hands on, ca toate cursurile noastre.
In ultima zi de curs se va implementa un proiect recapitulativ care va parcurge toate informatiile invatate de-a lungul cursului.
Oferta de pret
Pret: € 829 + TVA/pers;
Discount: 10% pentru PF incepand cu al doilea curs.