Bielik AI uruchomisz lokalnie przez LM Studio albo Ollamę. LM Studio sprawdzi się do zwykłego czatowania, a Ollama – gdy chcesz korzystać z terminala, automatyzacji lub lokalnego API. W obu przypadkach wybierz model w formacie GGUF i kwantyzację dopasowaną do pamięci RAM lub VRAM.
Jakiego sprzętu potrzebujesz?
Bielik AI jest polskim modelem językowym rozwijanym przez Fundację SpeakLeash. Przy uruchomieniu lokalnym dane nie muszą opuszczać komputera, a model może działać bez połączenia z chmurą. O szybkości decyduje przede wszystkim pamięć oraz to, czy model zostanie załadowany do karty graficznej.
Kwantyzacja zmniejsza precyzję wag modelu, dzięki czemu ogranicza jego zapotrzebowanie na pamięć. Pliki GGUF są przygotowane właśnie z myślą o lokalnym uruchamianiu. Niższa kwantyzacja zwykle oznacza mniejsze wymagania, ale może też obniżyć jakość odpowiedzi.
Przybliżone wymagania dla Bielika z 11 miliardami parametrów wyglądają następująco:
| Wersja modelu | Wymagana pamięć | Zalecany sprzęt i szybkość |
|---|---|---|
| Q4 | około 6–8 GB RAM lub VRAM | Karta graficzna z odpowiednią pamięcią albo komputer z większą ilością RAM |
| Q8 | około 11 GB RAM lub VRAM | GPU z co najmniej 12 GB pamięci lub komputer z większą ilością RAM |
| FP16 | około 22 GB pamięci | Mocna karta graficzna albo wydajna stacja robocza |
VRAM to pamięć karty graficznej, a RAM jest pamięcią operacyjną komputera. Gdy cały model mieści się w VRAM, generowanie może być wielokrotnie szybsze i w sprzyjających warunkach osiągać około 50 tokenów na sekundę. Przy pracy z RAM-em typowa szybkość może wynosić około 1–5 tokenów na sekundę. Jeżeli model nie mieści się w dostępnej pamięci, działanie będzie znacznie wolniejsze.
Przed instalacją przygotuj:
- komputer z systemem Windows, macOS lub Linux
- kilkanaście lub kilkadziesiąt gigabajtów wolnego miejsca na model
- LM Studio albo Ollamę
- połączenie z internetem potrzebne do pierwszego pobrania plików
Jak zainstalować Bielika przez LM Studio?
LM Studio jest najprostszą opcją, jeśli chcesz pobrać model i rozmawiać z nim przez interfejs graficzny. Nie musisz wpisywać komend w terminalu.
- Pobierz LM Studio z oficjalnej strony programu i zainstaluj je w systemie.
- Uruchom aplikację i włącz tryb Power User, korzystając z przełącznika znajdującego się na dole okna.
- Otwórz zakładkę Discover. Zwykle znajduje się pod drugą ikoną po lewej stronie u góry.
- W polu wyszukiwania wpisz Bielik.
- Wybierz model instrukcyjny, na przykład Bielik 11B Instruct w wersji GGUF.
- W panelu z dostępnymi plikami wybierz kwantyzację dopasowaną do pamięci komputera. Q4 będzie lżejsza, a Q8 zachowa więcej informacji z oryginalnych wag.
- Kliknij Download i zaczekaj na zakończenie pobierania.
- Przejdź do zakładki Chat, wybierz pobrany model na górze okna i wpisz pierwszą wiadomość.
Jeśli chcesz rozpocząć rozmowę na zupełnie nowy temat, utwórz nowy czat przyciskiem plusa. Dzięki temu model nie będzie uwzględniał wcześniejszego kontekstu.
Jak zainstalować Bielika przez Ollamę?
Ollama działa z poziomu wiersza poleceń. Jest lepszym wyborem, gdy planujesz automatyzację, pisanie skryptów albo korzystanie z lokalnego API. Pobierz instalator z oficjalnej strony Ollamy, wybierając wersję dla swojego systemu.
- Zainstaluj Ollamę i uruchom terminal.
- Wpisz komendę pobierającą oraz uruchamiającą przykładową wersję modelu:
ollama run SpeakLeash/bielik-11b-v2.3-instruct:Q8_0 - Poczekaj, aż Ollama pobierze model na dysk.
- Po zakończeniu pobierania wpisz wiadomość w terminalu i naciśnij Enter.
- Sprawdź pobrane modele poleceniem:
ollama list - Sprawdź aktualnie uruchomione modele poleceniem:
ollama ps
Nazwa modelu w komendzie musi odpowiadać wersji dostępnej w rejestrze Ollamy. Jeżeli konkretne oznaczenie nie działa, wyszukaj aktualną kartę Bielika w Ollamie lub Hugging Face i skopiuj komendę ollama run podaną przy wybranym wariancie.
Po uruchomieniu Ollama udostępnia lokalny serwer, z którego mogą korzystać aplikacje i skrypty. Domyślny adres API to http://localhost:11434. W razie problemów z serwerem uruchom go ręcznie:
ollama serve
To rozwiązanie pozwala podłączyć Bielika do własnych narzędzi bez wysyłania treści do zewnętrznej usługi. Szybkość nadal zależy od pamięci RAM, VRAM i procesora.
Jak ustawić temperaturę i System Prompt?
W LM Studio zaawansowane ustawienia znajdziesz pod ikoną szkła laboratoryjnego. Temperatura określa stopień losowości odpowiedzi. Do zadań logicznych, klasyfikacji i pracy z faktami możesz zacząć od wartości 0,1. Wyższa wartość sprzyja bardziej swobodnym i różnorodnym odpowiedziom, ale zwiększa ryzyko odejścia od instrukcji.
System Prompt zawiera ogólne zasady zachowania modelu. Możesz wpisać na przykład: „Odpowiadaj po polsku, zwięźle i rzeczowo. Jeżeli nie znasz odpowiedzi, jasno to zaznacz”. W Ollamie podobne reguły można ustawić w konfiguracji modelu lub przekazywać jako komunikat systemowy przez API.
Q4 lub Q8 pozwala uruchomić Bielika na słabszym sprzęcie, ale niższa kwantyzacja może zmniejszyć jakość odpowiedzi. Najpierw przetestuj model na własnych zadaniach, a dopiero potem wybierz wersję do stałej pracy.
Do zwykłej rozmowy wybierz LM Studio. Gdy potrzebujesz skryptów, lokalnego API i automatyzacji, zainstaluj Ollamę. W obu przypadkach zacznij od wersji, która mieści się w dostępnej pamięci, zamiast próbować uruchamiać FP16 na zbyt słabym komputerze.
