Ollama + Open WebUI: Eine Möglichkeit, LLMs lokal auf Windows, Linux oder macOS (ohne Docker) auszuführen

05.10.2024

Geschätzte Lesezeit: 6 Minuten

Einführung

Diese Anleitung zeigt Ihnen, wie Sie große Sprachmodelle (LLMs) ganz einfach lokal mit Ollama und Open WebUI auf Windows, Linux oder macOS einrichten und ausführen können – ohne Docker. Ollama bietet die lokale Inferenz von Modellen, und Open WebUI ist eine Benutzeroberfläche, die die Interaktion mit diesen Modellen vereinfacht. Die Erfahrung ähnelt der Verwendung von Schnittstellen wie ChatGPT, Google Gemini oder Claude AI.

Warum Open WebUI ohne Docker ausführen?

Das Ausführen von Open WebUI ohne Docker ermöglicht eine effizientere Nutzung der Ressourcen Ihres Computers. Ohne die Einschränkungen containerisierter Umgebungen können der gesamte verfügbare Arbeitsspeicher, die CPU-Leistung und der Speicherplatz vollständig der Ausführung der Anwendung gewidmet werden. Dies ist besonders wichtig bei der Arbeit mit ressourcenintensiven Modellen, bei denen jede Leistungssteigerung zählt.

Wenn Sie beispielsweise Open WebUI verwenden, um mit großen Sprachmodellen zu interagieren, kann die native Ausführung zu schnelleren Verarbeitungszeiten und einer reibungsloseren Leistung führen, da keine Docker-Überlastung zur Verwaltung des Containers besteht. Durch die native Ausführung erhalten Sie außerdem folgende Vorteile:

Einfachere Einrichtung: Sie vermeiden die Komplexität der Einrichtung und Verwaltung von Docker-Containern, was besonders vorteilhaft für Benutzer ist, die eine einfachere und direkte Installation bevorzugen.
Verbesserte Leistung: Ohne die Virtualisierung von Docker besteht eine direktere Verbindung zu den Ressourcen Ihres Systems, was zu einer besseren Anwendungsleistung führen kann.
Direkter Zugriff auf Systemressourcen: Sie haben direkte Kontrolle über Dateipfade, Einstellungen und Systemkonfigurationen, was die Fehlersuche und Anpassung erleichtert.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Folgendes auf Ihrem System installiert ist:

Python: Erforderlich, um Open WebUI auszuführen.

Stellen Sie sicher, dass Sie Python 3.11.X verwenden. Zum Beispiel funktioniert Version 3.11.6 gut. Die neueste Version von Python, 3.12.7, ist nicht mit der aktuellen Version von Open WebUI kompatibel.

Sie können Python hier herunterladen. Stellen Sie sicher, dass Sie die passende Version für Ihr Betriebssystem auswählen. Python ist eine vielseitige Programmiersprache, die weit verbreitet in den Bereichen KI und maschinelles Lernen verwendet wird, einschließlich der Entwicklung und des Betriebs großer Sprachmodelle (LLMs). Wenn Sie Ihre Fähigkeiten in diesem Bereich erweitern möchten, schauen Sie sich unsere Python-Karteikarten an, um schnell und effizient zu lernen.

Installation von Ollama

Gehen Sie zur Ollama-Download-Seite.
Wählen Sie Ihre Plattform (Windows, Linux oder macOS) und laden Sie die entsprechende Version herunter.
Installieren Sie Ollama mithilfe des Standardinstallationsprozesses für Ihre Plattform.

Installation und Ausführung von Open WebUI

Um Open WebUI zu installieren, können Sie den Paketmanager pip von Python verwenden. Befolgen Sie diese Schritte:

Öffnen Sie Ihr Terminal und führen Sie den folgenden Befehl aus, um Open WebUI zu installieren:
```
pip install open-webui
```
Nach der Installation aktualisieren Sie pip auf die neueste Version, indem Sie den folgenden Befehl ausführen:
```
python.exe -m pip install --upgrade pip
```
Sobald Open WebUI installiert ist, starten Sie den Server mit folgendem Befehl:
```
open-webui serve
```
Nach dem erfolgreichen Start von Open WebUI können Sie über Ihren Browser darauf zugreifen unter: http://localhost:8080.

Alternativ können Sie Open WebUI auch installieren, indem Sie das Projekt direkt von GitHub klonen. Weitere Details finden Sie im Abschnitt am Ende dieses Leitfadens.

Konfiguration von Ollama und Herunterladen von Sprachmodellen

Standardmäßig legt Ollama die folgenden Pfade zum Speichern von Sprachmodellen (LLMs) auf Ihrem System fest:

macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\%username%\.ollama\models

Sie können diesen Pfad bei Bedarf ändern. Verwenden Sie beispielsweise unter Windows den folgenden Befehl:

setx OLLAMA_MODELS "D:\ollama_models"

Festlegen von Umgebungsvariablen auf macOS”

Wenn Sie Ollama als macOS-Anwendung ausführen, sollten Umgebungsvariablen mit launchctl festgelegt werden. Um eine Variable festzulegen, verwenden Sie den folgenden Befehl:

launchctl setenv OLLAMA_MODELS "/new/path/to/models"

Nachdem Sie die Variable festgelegt haben, starten Sie die Ollama-Anwendung neu, damit die Änderungen wirksam werden.

Festlegen von Umgebungsvariablen unter Linux

Für Linux-Benutzer, die Ollama als systemd-Dienst ausführen, können Umgebungsvariablen mit systemctl festgelegt werden. So geht’s:

Öffnen Sie die Dienstkonfiguration, indem Sie den folgenden Befehl ausführen:
```
sudo systemctl edit ollama.service
```
Fügen Sie unter dem Abschnitt [Service] die folgende Zeile hinzu:
```
Environment="OLLAMA_MODELS=/new/path/to/models"
```
Speichern Sie die Datei, laden Sie dann systemd neu und starten Sie den Dienst neu:
```
sudo systemctl daemon-reload
sudo systemctl restart ollama
```

Herunterladen und Ausführen von Sprachmodellen in Ollama

Um Sprachmodelle in Ollama herunterzuladen und auszuführen, verwenden Sie die folgenden Befehle im Terminal. Diese Befehle laden das Modell automatisch herunter, wenn es noch nicht installiert ist:

Um das LLaMA 3.1-Modell von Meta (Facebook) herunterzuladen und auszuführen:
```
ollama run llama3.1
```
Um das Gemma 2-Modell von Google herunterzuladen und auszuführen:
```
ollama run gemma2
```

Verwendung von Open WebUI

Sobald Open WebUI läuft, können Sie darauf über http://localhost:8080 zugreifen. Nachdem Sie diese Adresse aufgerufen haben, werden Sie aufgefordert, sich anzumelden oder zu registrieren. Um ein neues Konto zu erstellen, wählen Sie die Option Sign Up. Dieses Konto wird lokal erstellt, was bedeutet, dass es nur auf diesem Gerät verfügbar ist und kein anderer Benutzer in Ihrem System Zugriff auf Ihre Daten hat.

Wenn Sie Open WebUI bereits gestartet haben und die über Ollama heruntergeladenen Modelle nicht in der Liste erscheinen, aktualisieren Sie die Seite, um die verfügbaren Modelle zu aktualisieren. Alle Daten, die in Open WebUI verwaltet werden, werden lokal auf Ihrem Gerät gespeichert, was Privatsphäre und Kontrolle über Ihre Modelle und Interaktionen gewährleistet.

Installation von Open WebUI mit Git

Wenn Sie Open WebUI installieren möchten, indem Sie das Projekt von GitHub klonen und es manuell verwalten, befolgen Sie diese Schritte:

Voraussetzungen:

Git: Stellen Sie sicher, dass Git auf Ihrem System installiert ist. Sie können es hier herunterladen.
Anaconda: Es wird empfohlen, Anaconda zur Verwaltung Ihrer Python-Umgebung zu verwenden. Sie können Anaconda hier herunterladen und installieren.

Installationsanweisungen:

Für Linux/macOS:

Öffnen Sie ein Terminal und navigieren Sie zu dem Verzeichnis, in das Sie das Repository klonen möchten.

Klonen Sie das Open WebUI-Repository mit Git:

git clone https://github.com/open-webui/open-webui.git

Wechseln Sie in das Projektverzeichnis:
```
cd open-webui/
```
Kopieren Sie die .env-Datei:
```
cp -RPp .env.example .env
```
Erstellen Sie das Frontend mit Node.js:
```
npm install
npm run build
```
Wechseln Sie in das Backend-Verzeichnis:
```
cd ./backend
```

(Optional) Erstellen und aktivieren Sie eine Conda-Umgebung:

conda create --name open-webui-env python=3.11
conda activate open-webui-env

Installieren Sie die Python-Abhängigkeiten:
```
pip install -r requirements.txt -U
```
Starten Sie die Anwendung:
```
bash start.sh
```

Für Windows:

Öffnen Sie ein Terminal und navigieren Sie zu dem Verzeichnis, in das Sie das Repository klonen möchten.