Apache Airflow: automatyzacja procesów ETL
Informacje podstawowe
Najważniejsze dane o szkoleniu w jednym miejscu- Kategoria
- Data Warehouse
- Forma realizacji
- Online lub stacjonarnie
- Termin
- Ustalany indywidualnie
- Dostawca
- ERNABO Adrian Flak
- Dofinansowanie
- Możliwość dofinansowania
Cel szkolenia
Co zyskasz po ukończeniu kursuCel biznesowy
Niezawodne, monitorowane procesy zasilania hurtowni i raportów bez ręcznego uruchamiania skryptów.
Cel edukacyjny
Uczestnik uczy się projektować i utrzymywać przepływy danych w Apache Airflow.
Efekty uczenia się
- tworzy DAG z zależnościami zadań w Pythonie,
- korzysta z operatorów, sensorów i TaskFlow API,
- konfiguruje harmonogramy, ponawianie i powiadomienia,
- przechowuje połączenia i sekrety poza kodem,
- monitoruje i diagnozuje przebiegi w interfejsie Airflow.
Program szkolenia
Szczegółowy plan zajęćModuł 1. Orkiestracja danych
- ETL i ELT, rola orkiestratora
- architektura Airflow: scheduler, executor, baza metadanych
Moduł 2. DAG i zadania
- definicja DAG i zależności
- operatory i TaskFlow API
Moduł 3. Harmonogramy i zdarzenia
- harmonogramy, uzupełnianie danych wstecz
- sensory i uruchamianie przez zbiory danych
Moduł 4. Integracje
- połączenia, zmienne, dostawcy
- bazy danych, chmura, API
Moduł 5. Utrzymanie
- ponawianie, alerty, logi
- testowanie DAG i uruchamianie w kontenerach
Warsztat końcowy
Uczestnicy budują codzienny proces pobierający dane z API, ładujący je do bazy i odświeżający tabele raportowe.
Wymagania
Co przygotować przed startem szkoleniaWymagania wstępne
Programowanie w Pythonie i znajomość SQL.
Dla kogo?
Inżynierowie danych, analitycy i programiści Python odpowiedzialni za regularne przetwarzanie danych.