Lokalne modele AI: Ollama, Qwen, Llama i vLLM
Informacje podstawowe
Najważniejsze dane o szkoleniu w jednym miejscu- Kategoria
- Wdrażanie AI w firmie
- Forma realizacji
- Online lub stacjonarnie
- Termin
- Ustalany indywidualnie
- Dostawca
- ERNABO Adrian Flak
- Dofinansowanie
- Możliwość dofinansowania
Cel szkolenia
Co zyskasz po ukończeniu kursuCel biznesowy
Korzystanie z AI przy pełnej kontroli nad danymi i przewidywalnych kosztach.
Cel edukacyjny
Uczestnik uczy się dobierać, uruchamiać i udostępniać lokalne modele językowe w organizacji.
Efekty uczenia się
- dobiera model otwarty do zadania i dostępnego sprzętu,
- uruchamia modele w Ollama i korzysta z nich przez API,
- wdraża model na serwerze z vLLM,
- rozumie kwantyzację i jej wpływ na jakość i wydajność,
- zabezpiecza dostęp do modelu w sieci firmowej.
Program szkolenia
Szczegółowy plan zajęćModuł 1. Modele otwarte
- przegląd rodzin modeli i licencji
- model lokalny czy chmura: kryteria wyboru
Moduł 2. Sprzęt i wydajność
- GPU, pamięć, kwantyzacja
- szacowanie wydajności i kosztów
Moduł 3. Ollama
- instalacja i uruchamianie modeli
- API zgodne z OpenAI i integracje
Moduł 4. vLLM w produkcji
- serwowanie modeli i obsługa wielu użytkowników
- Docker, monitoring, skalowanie
Moduł 5. Bezpieczeństwo i zastosowania
- kontrola dostępu i logowanie
- połączenie z RAG i narzędziami firmowymi
Warsztat końcowy
Uczestnicy uruchamiają model lokalnie i udostępniają go przez API prostej aplikacji.
Wymagania
Co przygotować przed startem szkoleniaWymagania wstępne
Podstawy administracji Linux i pracy w terminalu. Mile widziana znajomość Dockera.
Dla kogo?
Administratorzy, DevOps, programiści i zespoły IT w firmach, które nie mogą lub nie chcą wysyłać danych do chmury.