Przejdź do treści
Model Wayfinder
Przewodnik

Jak uruchomić model AI na swoim komputerze

Uruchomienie modelu lokalnie oznacza, że twoje dane nigdy nie opuszczają komputera, działa on offline i nie ma żadnych miesięcznych opłat. Wystarczy komputer o odpowiedniej mocy oraz około 15 minut.

01 · Sprawdź swój sprzęt

Najważniejsza jest pamięć karty graficznej (VRAM). W systemie Windows: Menedżer zadań → Wydajność → GPU → „Dedykowana pamięć GPU”. W Macu z chipem serii M można wykorzystać około trzech czwartych pamięci głównej.

Zasada przybliżona dla zwykłej wersji skompresowanej (Q4): 0,6 GB na miliard parametrów plus 1,5 GB. Model 7B potrzebuje około 6 GB, więc mieści się na karcie o pojemności 8 GB. Nasz finder sprawdzi to za ciebie, gdy wybierzesz opcję „local”.

02 · Prosty sposób: LM Studio

LM Studio to darmowe oprogramowanie do komputera dostępne dla Windows, macOS i Linux, które posiada zwykłe okno czatu – nie potrzebujesz linii poleceń.

  1. Pobierz i zainstaluj LM Studio z adresu lmstudio.ai.
  2. Otwórz pole wyszukiwania i wpisz nazwę modelu – modele pochodzą z Hugging Face.
  3. Wybierz wersję oznaczoną Q4_K_M – zapewnia dobrą równowagę między rozmiarem a jakością. LM Studio pokaże, czy pasuje do twojej pamięci.
  4. Kliknij Download, następnie załaduj model i zacznij rozmawiać.

03 · Dla eksperymentatorów: Ollama

Ollama uruchamia modele z linii poleceń i dostarcza lokalną API, którą mogą wykorzystywać inne programy.

  1. Zainstaluj Ollama z strony ollama.com.
  2. Otwórz terminal i uruchom model z biblioteki Ollama, na przykład: ollama run <model-name>. Na naszych stronach z modelami znajdziesz dokładny komendę, którą sprawdziliśmy.
  3. Modele z Hugging Face w formacie GGUF można uruchomić bezpośrednio: ollama run hf.co/<user>/<repository>:Q4_K_M

04 · Szukanie modeli na Hugging Face

Hugging Face to największa baza otwartych modeli. Wskazówki:

  • Filtruj według formatu GGUF – to format używany przez LM Studio i Ollama.
  • Przeczytaj model card: podaje on licencję. Niektóre modele można używać tylko prywatnie lub do celów badawczych.
  • Wolij pliki od oryginalnego twórcy lub od znanych dostawców.

05 · Co możesz się spodziewać

Modele lokalne są zazwyczaj nieco słabsze od największych modeli chmurowych, ale często wystarczają do pisania, streszczania i tłumaczenia. Pierwsza odpowiedź pojawia się po kilku sekundach, gdy model się ładuje. Działają również bez karty graficznej – tylko znacznie wolniej.