Ollama + Open WebUI: Uruchom LLM lokalnie na Windows, Linux lub macOS (bez Dockera)

2024-10-03

Szacowany czas czytania: 5 minut

Wstęp

Ten przewodnik pokaże Ci, jak łatwo skonfigurować i uruchomić duże modele językowe (LLM) lokalnie za pomocą Ollama i Open WebUI na systemach Windows, Linux lub macOS – bez konieczności korzystania z Dockera. Ollama umożliwia lokalne uruchamianie modeli, a Open WebUI to interfejs użytkownika, który upraszcza interakcję z tymi modelami. Doświadczenie jest podobne do korzystania z interfejsów takich jak ChatGPT, Google Gemini czy Claude AI.

Dlaczego uruchamiać Open WebUI bez Dockera?

Uruchamianie Open WebUI bez Dockera pozwala na bardziej efektywne wykorzystanie zasobów Twojego komputera. Bez ograniczeń związanych z kontenerami wszystkie dostępne zasoby systemowe, takie jak pamięć, moc procesora czy przestrzeń dyskowa, mogą być w pełni wykorzystane do działania aplikacji. Jest to szczególnie ważne podczas pracy z modelami wymagającymi dużych zasobów, gdzie liczy się każda dodatkowa wydajność.

Na przykład, jeśli używasz Open WebUI do pracy z dużymi modelami językowymi, natywne wykonanie może zapewnić szybsze przetwarzanie i płynniejsze działanie, ponieważ nie ma narzutu związanego z zarządzaniem kontenerem przez Dockera. Uruchamianie bezpośrednie daje także:

Prostsza instalacja: Unikasz złożoności związanej z konfiguracją i zarządzaniem kontenerami Dockera, co jest szczególnie korzystne dla osób preferujących bardziej bezpośrednią i prostą instalację.
Lepsza wydajność: Bez wirtualizacji Dockera dostęp do zasobów systemu jest bezpośredni, co może poprawić wydajność aplikacji.
Bezpośredni dostęp do zasobów systemowych: Masz bezpośrednią kontrolę nad ścieżkami plików, ustawieniami i konfiguracjami systemowymi, co ułatwia rozwiązywanie problemów i dostosowywanie systemu do swoich potrzeb.

Wymagania wstępne

Zanim zaczniesz, upewnij się, że na Twoim systemie są zainstalowane następujące elementy:

Python: Wymagany do uruchomienia Open WebUI.

Upewnij się, że korzystasz z wersji Python 3.11.X. Na przykład wersja 3.11.6 działa dobrze. Najnowsza wersja Pythona, 3.12.7, nie jest kompatybilna z aktualną wersją Open WebUI.

Możesz pobrać Pythona tutaj. Upewnij się, że wybierasz odpowiednią wersję dla swojego systemu operacyjnego. Python to wszechstronny język programowania, szeroko stosowany w AI i uczeniu maszynowym, w tym w rozwoju i działaniu dużych modeli językowych (LLM). Jeśli chcesz rozwijać swoje umiejętności w tym obszarze, zapoznaj się z naszymi fiszkami do nauki Pythona, które umożliwią szybką i efektywną naukę.

Instalacja Ollama

Przejdź na stronę pobierania Ollama.
Wybierz swój system operacyjny (Windows, Linux lub macOS) i pobierz odpowiednią wersję.
Zainstaluj Ollama, postępując zgodnie z procesem instalacji dla Twojej platformy.

Instalacja i uruchamianie Open WebUI

Aby zainstalować Open WebUI, możesz użyć menedżera pakietów Pythona, pip. Postępuj zgodnie z poniższymi krokami:

Otwórz terminal i uruchom poniższą komendę, aby zainstalować Open WebUI:
```
pip install open-webui
```
Po instalacji zaktualizuj pip do najnowszej wersji, wpisując:
```
python.exe -m pip install --upgrade pip
```
Po zakończeniu instalacji uruchom serwer za pomocą poniższej komendy:
```
open-webui serve
```
Po pomyślnym uruchomieniu Open WebUI, uzyskasz do niego dostęp w przeglądarce pod adresem: http://localhost:8080.

Dodatkowo, jeśli wolisz, możesz zainstalować Open WebUI, klonując projekt bezpośrednio z GitHuba. Szczegóły znajdziesz w sekcji na końcu tego przewodnika.

Konfiguracja Ollama i pobieranie modeli językowych

Domyślnie Ollama ustawia następujące ścieżki do przechowywania modeli językowych (LLM) na Twoim systemie:

macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\%username%\.ollama\models

W razie potrzeby możesz zmienić tę ścieżkę. Na przykład, aby zmienić ścieżkę w systemie Windows, użyj następującej komendy:

setx OLLAMA_MODELS "D:\ollama_models"

Ustawianie zmiennych środowiskowych na macOS

Jeśli uruchamiasz Ollama na macOS jako aplikację, zmienne środowiskowe powinny być ustawiane za pomocą komendy launchctl. Aby ustawić zmienną, użyj następującej komendy:

launchctl setenv OLLAMA_MODELS "/nowa/ścieżka/do/modeli"

Po ustawieniu zmiennej uruchom ponownie aplikację Ollama, aby zmiany zaczęły obowiązywać.

Ustawianie zmiennych środowiskowych na Linuxie

Użytkownicy Linuxa, którzy uruchamiają Ollama jako usługę systemd, mogą ustawić zmienne środowiskowe za pomocą systemctl. Oto jak to zrobić:

Otwórz konfigurację usługi za pomocą komendy:
```
sudo systemctl edit ollama.service
```

W sekcji [Service] dodaj następującą linię:

Environment="OLLAMA_MODELS=/new/path/to/models"

Zapisz plik, a następnie przeładuj systemd i uruchom ponownie usługę:
```
sudo systemctl daemon-reload
sudo systemctl restart ollama
```

Pobieranie i uruchamianie modeli językowych w Ollama

Aby pobrać i uruchomić modele językowe w Ollama, użyj następujących komend w terminalu. Te komendy automatycznie pobiorą model, jeśli nie jest jeszcze zainstalowany:

Aby pobrać i uruchomić model LLaMA 3.1 od Meta (Facebook):
```
ollama run llama3.1
```
Aby pobrać i uruchomić model Gemma 2 od Google:
```
ollama run gemma2
```

Korzystanie z Open WebUI

Po uruchomieniu Open WebUI możesz uzyskać do niego dostęp, wchodząc na http://localhost:8080. Po przejściu na tę stronę zostaniesz poproszony o zalogowanie się lub rejestrację. Aby utworzyć nowe konto, wybierz opcję Zarejestruj się. To konto jest tworzone lokalnie, co oznacza, że jest dostępne tylko na tym komputerze, a inni użytkownicy systemu nie mają dostępu do Twoich danych.

Jeśli wcześniej uruchomiłeś Open WebUI, a modele nie pojawiają się na liście, odśwież stronę, aby zaktualizować dostępne modele. Wszystkie dane zarządzane w ramach Open WebUI są przechowywane lokalnie na Twoim urządzeniu, co zapewnia prywatność i pełną kontrolę nad modelami i interakcjami.

Instalacja Open WebUI za pomocą Git

Jeśli wolisz zainstalować Open WebUI, klonując projekt z GitHuba i zarządzając nim ręcznie, postępuj zgodnie z poniższymi krokami:

Wymagania wstępne:

Git: Upewnij się, że masz zainstalowany Git na swoim systemie. Możesz go pobrać tutaj.
Anaconda: Zaleca się korzystanie z Anacondy do zarządzania środowiskiem Pythona. Możesz pobrać i zainstalować Anacondę tutaj.

Instrukcje instalacji:

Na Linuxie/macOS:

Otwórz terminal i przejdź do katalogu, w którym chcesz sklonować repozytorium.

Sklonuj repozytorium Open WebUI za pomocą Gita:

git clone https://github.com/open-webui/open-webui.git

Przejdź do katalogu projektu:
```
cd open-webui/
```
Skopiuj plik .env:
```
cp -RPp .env.example .env
```
Zbuduj frontend za pomocą Node.js:
```
npm install
npm run build
```
Przejdź do katalogu backend:
```
cd .\backend
```

(Opcjonalnie) Utwórz i aktywuj środowisko Conda:

conda create --name open-webui-env python=3.11
conda activate open-webui-env

Zainstaluj zależności Pythona:
```
pip install -r requirements.txt -U
```
Uruchom aplikację:
```
bash start.sh
```

Na Windowsie:

Otwórz terminal i przejdź do katalogu, w którym chcesz sklonować repozytorium.