Ollama + Open WebUI: O metodă de a rula LLM-uri local pe Windows, Linux sau macOS (fără Docker)

2024-10-07

Timp estimat de citire: 5 minute

Introducere

Acest ghid vă va arăta cum să configurați și să rulați cu ușurință modelele lingvistice mari (LLM-uri) local, folosind Ollama și Open WebUI pe Windows, Linux sau macOS – fără a fi nevoie de Docker. Ollama oferă inferență locală a modelului, iar Open WebUI este o interfață de utilizator care simplifică interacțiunea cu aceste modele. Experiența este similară cu utilizarea interfețelor precum ChatGPT, Google Gemini sau Claude AI.

De ce să rulați Open WebUI fără Docker?

Rularea Open WebUI fără Docker vă permite să utilizați resursele computerului dvs. mai eficient. Fără limitările mediilor containerizate, toată memoria sistemului disponibilă, puterea CPU și spațiul de stocare pot fi dedicate în totalitate rulării aplicației. Acest lucru este deosebit de important atunci când lucrați cu modele care consumă multe resurse, unde fiecare performanță contează.

De exemplu, dacă utilizați Open WebUI pentru a interacționa cu modele lingvistice mari, rularea nativă poate duce la timpi de procesare mai rapizi și la o performanță mai fluidă, deoarece nu există nicio supraîncărcare din gestionarea containerului Docker. Rulând nativ, obțineți și:

Configurare mai simplă: Evitați complexitatea configurării și gestionării containerelor Docker, ceea ce poate fi deosebit de benefic pentru utilizatorii care preferă o instalare directă, mai simplă.
Performanță îmbunătățită: Fără virtualizarea Docker, există o conexiune mai directă cu resursele sistemului dvs., ceea ce poate duce la o performanță mai bună a aplicației.
Acces direct la resursele sistemului: Aveți control direct asupra căilor de fișiere, setărilor și configurațiilor sistemului, ceea ce face mai ușoară depanarea și personalizarea.

Cerințe preliminare

Înainte de a începe, asigurați-vă că aveți următoarele instalate pe sistemul dvs.:

Python: Necesar pentru a rula Open WebUI.

Asigurați-vă că utilizați Python 3.11.X. De exemplu, versiunea 3.11.6 funcționează bine. Ultima versiune de Python, 3.12.7, nu este compatibilă cu versiunea actuală a Open WebUI.

Puteți descărca Python aici. Asigurați-vă că selectați versiunea corespunzătoare pentru sistemul dvs. de operare. Python este un limbaj de programare versatil, utilizat pe scară largă în AI și învățare automată, inclusiv pentru dezvoltarea și funcționarea modelelor lingvistice mari (LLM-uri). Dacă doriți să vă dezvoltați abilitățile în acest domeniu, nu uitați să consultați fișele de învățare Python pentru o modalitate rapidă și eficientă de a învăța.

Instalarea Ollama

Accesați pagina de descărcare Ollama.
Alegeți platforma dvs. (Windows, Linux sau macOS) și descărcați versiunea corespunzătoare.
Instalați Ollama folosind procesul de instalare standard pentru platforma dvs.

Instalarea și rularea Open WebUI

Pentru a instala Open WebUI, puteți utiliza managerul de pachete pip al Python. Urmați acești pași:

Deschideți terminalul și rulați următoarea comandă pentru a instala Open WebUI:
```
pip install open-webui
```
După instalare, actualizați pip la cea mai recentă versiune rulând:
```
python.exe -m pip install --upgrade pip
```
Odată ce Open WebUI este instalat, porniți serverul folosind următoarea comandă:
```
open-webui serve
```
După ce Open WebUI a fost pornit cu succes, îl puteți accesa în browserul dvs. la: http://localhost:8080.

De asemenea, dacă preferați, puteți instala Open WebUI clonând proiectul direct de pe GitHub. Pentru mai multe detalii, consultați secțiunea de la sfârșitul acestui ghid.

Configurarea Ollama și descărcarea modelelor lingvistice

În mod implicit, Ollama setează următoarele căi pentru stocarea modelelor lingvistice (LLM-uri) pe sistemul dvs.:

macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\%username%\.ollama\models

Puteți schimba această cale dacă este necesar. De exemplu, pe Windows, utilizați următoarea comandă:

setx OLLAMA_MODELS "D:\ollama_models"

Setarea variabilelor de mediu pe macOS

Dacă rulați Ollama ca aplicație macOS, variabilele de mediu trebuie setate utilizând launchctl. Pentru a seta o variabilă, utilizați următoarea comandă:

launchctl setenv OLLAMA_MODELS "/new/path/to/models"

După setarea variabilei, reporniți aplicația Ollama pentru ca modificările să aibă efect.

Setarea variabilelor de mediu pe Linux

Pentru utilizatorii Linux care rulează Ollama ca serviciu systemd, puteți seta variabilele de mediu utilizând systemctl. Iată cum să faceți acest lucru:

Deschideți configurația serviciului rulând:
```
sudo systemctl edit ollama.service
```
Sub secțiunea [Service], adăugați următoarea linie:
```
Environment="OLLAMA_MODELS=/new/path/to/models"
```
Salvați fișierul, apoi reîncărcați systemd și reporniți serviciul:
```
sudo systemctl daemon-reload
```
```
sudo systemctl restart ollama
```

Descărcarea și rularea modelelor lingvistice în Ollama

Pentru a descărca și rula modele lingvistice în Ollama, utilizați următoarele comenzi în terminal. Aceste comenzi vor descărca automat modelul dacă nu este deja instalat:

Pentru a descărca și rula modelul LLaMA 3.1 de la Meta (Facebook):
```
ollama run llama3.1
```
Pentru a descărca și rula modelul Gemma 2 de la Google:
```
ollama run gemma2
```

Utilizarea Open WebUI

Odată ce Open WebUI este pornit, îl puteți accesa la http://localhost:8080. După ce navigați la această adresă, vi se va cere să vă autentificați sau să vă înregistrați. Pentru a crea un cont nou, selectați opțiunea Sign Up. Acest cont este creat local, ceea ce înseamnă că este disponibil doar pe acest dispozitiv și niciun alt utilizator din sistemul dvs. nu va avea acces la datele dvs.

Dacă ați pornit anterior Open WebUI și modelele descărcate prin Ollama nu apar în listă, reîmprospătați pagina pentru a actualiza modelele disponibile. Toate datele gestionate în Open WebUI sunt stocate local pe dispozitivul dvs., asigurându-vă confidențialitatea și controlul asupra modelelor și interacțiunilor dvs.

Instalarea Open WebUI folosind Git

Dacă doriți să instalați Open WebUI clonând proiectul de pe GitHub și gestionându-l manual, urmați acești pași:

Cerințe preliminare:

Git: Asigurați-vă că aveți Git instalat pe sistemul dvs. Puteți descărca Git aici.
Anaconda: Se recomandă utilizarea Anaconda pentru gestionarea mediului Python. Puteți descărca și instala Anaconda de aici.

Instrucțiuni de instalare:

Pentru Linux/macOS:

Deschideți un terminal și navigați la directorul în care doriți să clonați depozitul.

Clonați depozitul Open WebUI folosind Git:

git clone https://github.com/open-webui/open-webui.git

Schimbați în directorul proiectului:
```
cd open-webui/
```
Copiați fișierul .env:
```
cp -RPp .env.example .env
```
Construiți frontend-ul folosind Node.js:
```
npm install
```
```
npm run build
```
Intrați în directorul backend:
```
cd ./backend
```

(Opțional) Creați și activați un mediu Conda:

conda create --name open-webui-env python=3.11

conda activate open-webui-env

Instalați dependențele Python:
```
pip install -r requirements.txt -U
```
Porniți aplicația:
```
bash start.sh
```

Pentru Windows:

Deschideți un terminal și navigați la directorul în care doriți să clonați depozitul.