fbpx

ETL Solution using Azure Data Factory

Azure Data Factory este serviciul cloud serverless si scalabil pentru ETL de la Azure pentru integrarea si transformarea datelor. Ofera posibilitatea de utilizare a pachetelor SSIS existente si executarea acestora in Azure.

Desfasurare curs:

  • Durata curs: 24 ore, desfasurare 100% practic prin implementare de proiecte end to end: cerinta + solutie + implementare.
  • Sunt necesare cunostintele: SQL Querying, experienta cu proceduri stocate, experienta, cel putin la nivel basic cu un tool de ETL
  • Cursul va fi disponibil incepand cu luna aprilie 2025.
SESIUNI PROGRAMATE:
• la cerere, minim 8 participanti
-
F = sesiune in formare

Structura curs ETL Solution using Azure Data Factory

  •  Ce inseamna Azure Data Factory (ADF)
  • Prezentare interfata ADF: Home, Author, Monitor, Manage
Scope & User Story Training: se va prezenta proiectul din cadrul intregului curs, sub forma unui user story care va fi impartit in task-uri. Toate task-urile reprezinta implementarile tehnice din cadrul cursului.
  • Creare Data Factory & Azure Data Lake Storage Gen2 & Creare obiecte Azure Data Factory
  • Creare linked service sursa (HRMS) si destinatie (Data Lake)
  • Creare dataset sursa si dataset destinatie
  • Creare pipeline

Comută conținut

  • Creare linked service sursa
  • Creare dataset sursa si dataset destinatie
  • Creare pipeline
  • Integration runtime
  • Instalare Self hosted integration runtime
  • Database – creare linked services, datasets, pipeline, executare si testare
  • Prezentare Azure SSIS Integration runtime
  • Creare SSIS – IR
  • Migrare pachet SSIS in Azure Data Factory
  • Rulare pachet SSIS in Azure Data Factory
  • Utilizare variabile si parametri
  • JSON Config Dataset
  • Folosire Lookup activity & foreach pentru a crea ingestie dinamica
  • Utilizare scheduled tigger pentru ingestia din HTTPS
  • Utilizare scheduled tigger pentru ingestia din database
  • Utilizare event based trigger pentru ingestia din blob storage
  • Creare workspace Databricks
  • Conectare workspace Databricks la Azure Data Lake
  • Asignare permisiuni Data Lake catre service principal utilizat de Databricks
  • Import dbc si explorare + adaptare notebook-uri
  • Asignare permisiuni pentru ADF in Databricks
  • Creare linked service catre Databricks
  • Folosire notebook in pl_github si incarcare tabela in dwh
  • Construirea unui Data Flow
  • Rularea unui Data Flow

Intregul curs se desfasoara in baza unui proiect, cu multe spete si exercitii. Cursul este 100% hands on, ca toate cursurile noastre.

In ultima zi de curs se va implementa un proiect recapitulativ care va parcurge toate informatiile invatate de-a lungul cursului.

Oferta de pret

Pret: € 829 + TVA/pers;
Discount: 10% pentru PF incepand cu al doilea curs.

(codul de voucher nu este obligatoriu, se aplica doar in anumite cazuri)