Fine-tuning modeli LLM i techniki LoRA
Informacje podstawowe
Najważniejsze dane o szkoleniu w jednym miejscu- Kategoria
- Machine Learning
- Forma realizacji
- Online lub stacjonarnie
- Termin
- Ustalany indywidualnie
- Dostawca
- ERNABO Adrian Flak
- Dofinansowanie
- Możliwość dofinansowania
Cel szkolenia
Co zyskasz po ukończeniu kursuCel biznesowy
Model lepiej dopasowany do języka, formatu i zadań organizacji, przy niższych kosztach działania.
Cel edukacyjny
Uczestnik uczy się przygotować dane, przeprowadzić dostrajanie metodą LoRA i ocenić jego efekt.
Efekty uczenia się
- ocenia, czy zadanie wymaga fine-tuningu, RAG czy lepszych poleceń,
- przygotowuje i czyści zbiór danych treningowych,
- przeprowadza dostrajanie LoRA i QLoRA,
- porównuje model przed i po dostrojeniu,
- przygotowuje model do wdrożenia.
Program szkolenia
Szczegółowy plan zajęćModuł 1. Kiedy dostrajać model
- polecenia, RAG, fine-tuning: porównanie
- wybór modelu bazowego
Moduł 2. Dane treningowe
- formaty, jakość i liczebność przykładów
- dane syntetyczne i ich ryzyka
Moduł 3. LoRA i QLoRA
- zasada działania adapterów
- parametry treningu i typowe błędy
Moduł 4. Ocena modelu
- zestawy testowe i metryki
- porównanie z modelem bazowym
Moduł 5. Wdrożenie
- łączenie adaptera, kwantyzacja, serwowanie
- utrzymanie i kolejne iteracje
Warsztat końcowy
Uczestnicy dostrajają mały model do wybranego zadania i porównują wyniki.
Wymagania
Co przygotować przed startem szkoleniaWymagania wstępne
Dobra znajomość Pythona i podstaw uczenia maszynowego. Dostęp do GPU zapewniamy w środowisku szkoleniowym.
Dla kogo?
Inżynierowie ML, data scientists i programiści, którzy chcą dopasować model językowy do specyfiki firmy.