Szkolenie: Python w inżynierii danych – automatyzacja procesów, SQL, Pandas, PySpark i pipeline’y w Databricks

Program szkolenia jest dostosowany do potrzeb uczestników usługi oraz głównego celu usługi i jej charakteru oraz obejmuje zakres tematyczny usługi. Uczestnik nie musi spełniać dodatkowych wymagań dot. poziomu zaawansowania.

Usługa prowadzona jest w godzinach dydaktycznych. Przerwy nie są wliczone w ogólny czas usługi rozwojowej. Harmonogram usługi może ulec nieznacznemu przesunięciu, ponieważ ilość przerw oraz długość ich trwania zostanie dostosowana indywidualnie do potrzeb uczestników szkolenia. Łączna długość przerw podczas szkolenia nie będzie dłuższa aniżeli zawarta w harmonogramie.

Zajęcia zostaną przeprowadzone przez ekspertów z wieloletnim doświadczeniem, którzy przekazuje nie tylko wiedzę teoretyczną, ale także praktyczne wskazówki i najlepsze praktyki. Uczestnicy mają możliwość czerpania z jego wiedzy i doświadczeń.

Szkolenie będzie realizowane zdalnie w czasie rzeczywistym za pomocą platformy ,umożliwiającej aktywny udział uczestników w warsztatach i ćwiczeniach grupowych.

Szkolenie realizowane jest przez platformę umożliwiającą:

• udostępnianie ekranu,
• czat, komunikację audio-wideo,
• współdzielenie materiałów i plików,
• interaktywną prezentację kodu i analiz danych.

Przed dokonaniem zapisu i złożeniem karty uczestnictwa do Operatora, zachęcamy do kontaktowania się z nami telefonicznie, SMS-em lub e-mailem pod adresem/numerem wskazanym w zakładce „Kontakt”.

Pozwoli to potwierdzić dostępność miejsca w grupie szkoleniowej oraz rozwiać ewentualne wątpliwości.

Podział szkolenia:

• Teoria: 18 h
• Praktyka: 36 h
• Walidacja 1 h

Moduł 1. Python w automatyzacji procesów danych – (4 godz. 2t,2p)

• struktura skryptów Python wykorzystywanych w procesach danych,
• praca z plikami i katalogami,
• automatyczne wyszukiwanie i pobieranie plików,
• odczyt i zapis plików Excel,
• walidacja i kontrola poprawności danych,
• obsługa błędów i wyjątków,
• automatyzacja powtarzalnych operacji,
• przygotowanie skryptu automatycznie pobierającego dane z Excela i przekazującego je do dalszego przetwarzania.

Ćwiczenie: automatyzacja procesu „Excel → Python → baza danych”.

Moduł 2. Pandas – przygotowanie i transformacja danych –(4 godz. 2t,2p)

• DataFrame i Series,
• import danych z Excel/CSV/SQL,
• filtrowanie, sortowanie i wybieranie danych,
• czyszczenie danych,
• obsługa brakujących wartości,
• zmiana typów danych,
• łączenie i agregowanie zbiorów danych,
• przygotowanie danych do załadowania do bazy,
• automatyzacja transformacji danych za pomocą skryptów Python.

Ćwiczenie: przygotowanie surowego pliku Excel do załadowania do bazy danych.

Moduł 3. Python i SQL – skrypty bazodanowe – (4 godz. 2t,2p)

• podstawy pracy z bazą SQL z poziomu Pythona,
• nawiązywanie połączenia z bazą,
• wykonywanie zapytań SQL,
• SELECT, INSERT, UPDATE, DELETE,
• tworzenie i modyfikacja tabel,
• parametryzowanie zapytań,
• ładowanie danych z DataFrame do SQL,
• pobieranie danych SQL do Pandas,
• kontrola poprawności załadowanych danych,
• obsługa błędów i logowanie operacji.

Ćwiczenie: stworzenie skryptu automatycznie pobierającego dane z Excela, przetwarzającego je i zapisującego do tabeli SQL.

Moduł 4. PySpark – przetwarzanie dużych zbiorów danych – (6 godz. 2t,4p)

• architektura Apache Spark i rola PySpark,
• Spark DataFrame,
• odczyt danych,
• selekcja i filtrowanie,
• transformacje danych,
• join, groupBy i agregacje,
• obsługa brakujących wartości,
• typowanie i konwersja danych,
• różnice pomiędzy Pandas i PySpark,
• kiedy wykorzystać Pandas, a kiedy PySpark,
• optymalizacja podstawowych operacji.

Ćwiczenie: przetworzenie większego zbioru danych przy wykorzystaniu PySpark.

Moduł 5. Pipeline’y danych w Databricks – (3,5 godz., 1t, 2,5)

• środowisko Databricks i organizacja pracy,
• notebooki Python i PySpark,
• przygotowanie procesu ETL/ELT,
• pobieranie danych ze źródła,
• transformacja danych,
• zapis danych w warstwie docelowej,
• budowa pipeline’u danych,
• zależności pomiędzy poszczególnymi etapami,
• parametryzacja procesów,
• uruchamianie i monitorowanie pipeline’ów,
• obsługa błędów,
• podstawy automatyzacji cyklicznego przetwarzania danych.

Projekt końcowy:

Uczestnik tworzy kompletny proces:

Excel → Python → walidacja → Pandas → SQL/PySpark → transformacja → Databricks → tabela docelowa → pipeline automatyzujący cały proces.

Walidacja na podstawie dowodów i deklaracji uczestnika.

Warunkiem zdobycia certyfikatu potwierdzającego zdobyte kompetencje jest uzyskanie pozytywnego wyniku walidacji

Minimalny poziom frekwencji uczestnika na usłudze rozwojowej wynosi 80%.

Uczestnicy przyjmują do wiadomości, że usługa może być poddana monitoringowi z ramienia Operatora lub PARP i wyrażają na to zgodę.

Uczestnik ma obowiązek zapisania się na usługę przez BUR co najmniej w dniu zakończenia rekrutacji.

1. Sprzęt uczestnika:

• komputer lub laptop z systemem operacyjnym Windows 10 / 11, macOS lub Linux,
• procesorem co najmniej Intel i5 / Ryzen 5 lub równoważnym,
• pamięcią RAM: minimum 8 GB (zalecane 16 GB dla płynnej pracy z dużymi zbiorami danych),
• wolną przestrzenią dyskową: minimum 10 GB,
• stabilne łącze internetowe (min. 10 Mbps) – w przypadku zajęć zdalnych,
• aktualna przeglądarką internetową (Chrome, Edge, Firefox),

Obowiązkowe:

• • Kamera:Uczestnik powinien posiadać działającą kamerę (wbudowaną w laptop/komputer lub zewnętrzną). Kamera umożliwia aktywny udział w sesjach, prezentację ćwiczeń grupowych oraz interakcję z prowadzącym.
  • Mikrofon: Niezbędny jest sprawny mikrofon (wbudowany lub zewnętrzny, np. w zestawie słuchawkowym).Umożliwia zadawanie pytań, udział w dyskusjach i ćwiczeniach grupowych.
  • Zalecane użycie słuchawek z mikrofonem, aby zredukować echo i poprawić jakość dźwięku.

2. Oprogramowanie:

Nie jest wymagane wcześniejsze przygotowanie środowiska programistycznego. Wszystkie niezbędne programy, dane i narzędzia zostaną przekazane przez trenera w trakcie trwania szkolenia.

W ramach zajęć uczestnicy będą korzystać z następujących narzędzi i środowisk :

• Python (najnowsza wersja),
• podstawowe biblioteki: pandas, numpy, matplotlib, sqlalchemy, pymongo, requests.
• SQLite / PostgreSQL / MySQL
• MongoDB (NoSQL)
• Power BI Desktop

3. Łącze internetowe:

• Minimum 10 Mbps download / 5 Mbps upload
• Stabilne połączenie bez dużych przerw i opóźnień

4. Środowisko pracy:

• Ciche miejsce do pracy i nauki
• Dostęp do powierzchni roboczej umożliwiającej komfortowe używanie komputera
• Możliwość dzielenia ekranu w trakcie sesji praktycznych i konsultacji

5. Środowisko szkoleniowe

Szkolenie realizowane jest przez platformę umożliwiającą:

• udostępnianie ekranu,
• czat, komunikację audio-wideo,
• współdzielenie materiałów i plików,

Szkolenie skierowane jest do osób zajmujących się ( zawodowo lub prywatnie) przetwarzaniem, analizą, integracją lub automatyzacją procesów związanych z danymi, w szczególności osób pracujących z bazami danych, raportowaniem, procesami ETL/ELT oraz rozwiązaniami chmurowymi.

Prezentacja PDF przesłana po zakończonym szkoleniu. Materiały dodatkowe w tym dostęp do platformy LMS zostanie dostosowany do potrzeb uczestników