Ollama + Open WebUI: LLM’leri Windows, Linux veya macOS’ta (Docker’sız) Yerel Olarak Çalıştırmanın Bir Yolu

08.10.2024

Tahmini okuma süresi: 5 dakika

Giriş

Bu kılavuz, Ollama ve Open WebUI kullanarak Windows, Linux veya macOS’ta Docker’a ihtiyaç duymadan büyük dil modellerini (LLM’leri) yerel olarak nasıl kurup çalıştırabileceğinizi kolayca gösterecektir. Ollama, yerel model çıkarımı sağlar ve Open WebUI, bu modellerle etkileşimi kolaylaştıran bir kullanıcı arayüzüdür. Deneyim, ChatGPT, Google Gemini veya Claude AI gibi arayüzlere benzer.

Neden Open WebUI’ı Docker Olmadan Çalıştırmalısınız?

Open WebUI’ı Docker olmadan çalıştırmak, bilgisayarınızın kaynaklarını daha verimli kullanmanızı sağlar. Kapsayıcı ortamlarının sınırlamaları olmadan, mevcut tüm sistem belleği, CPU gücü ve depolama, uygulamayı çalıştırmaya tamamen ayrılabilir. Bu, özellikle kaynak yoğun modellerle çalışırken her performans artışının önemli olduğu durumlarda önemlidir.

Örneğin, büyük dil modelleriyle etkileşim kurmak için Open WebUI’ı kullanıyorsanız, yerel çalıştırma, Docker’ın kapsayıcıyı yönetmesinden kaynaklanan ek yük olmadığı için daha hızlı işlem süreleri ve daha sorunsuz bir performans sağlayabilir. Yerel olarak çalıştırarak ayrıca şu avantajları elde edersiniz:

Daha Basit Kurulum: Docker kapsayıcılarını kurma ve yönetme karmaşıklığından kaçınırsınız, bu da daha doğrudan ve basit bir kurulum isteyen kullanıcılar için özellikle faydalıdır.
Geliştirilmiş Performans: Docker sanallaştırması olmadan, sistem kaynaklarınıza daha doğrudan bir bağlantı sağlanır, bu da uygulama performansını artırabilir.
Sistem Kaynaklarına Doğrudan Erişim: Dosya yolları, ayarlar ve sistem yapılandırmaları üzerinde doğrudan kontrole sahip olursunuz, bu da sorun gidermeyi ve özelleştirmeyi daha kolay hale getirir.

Ön Koşullar

Başlamadan önce, sisteminizde aşağıdaki bileşenlerin kurulu olduğundan emin olun:

Python: Open WebUI’ı çalıştırmak için gereklidir.

Python 3.11.X sürümünü kullandığınızdan emin olun. Örneğin, 3.11.6 sürümü iyi çalışıyor. Python’un en son sürümü olan 3.12.7, mevcut Open WebUI sürümüyle uyumlu değildir.

Python’u buradan indirebilirsiniz. İşletim sisteminize uygun sürümü seçtiğinizden emin olun. Python, AI ve makine öğrenimi de dahil olmak üzere büyük dil modellerinin (LLM’ler) geliştirilmesi ve çalıştırılmasında yaygın olarak kullanılan çok yönlü bir programlama dilidir. Bu alanda becerilerinizi geliştirmek istiyorsanız, hızlı ve verimli bir öğrenme yöntemi için python flash kartlarımızı mutlaka inceleyin.

Ollama Kurulumu

Ollama indirme sayfasına gidin.
Platformunuzu (Windows, Linux veya macOS) seçin ve uygun sürümü indirin.
Platformunuz için standart kurulum sürecini izleyerek Ollama’yı yükleyin.

Open WebUI Kurulumu ve Çalıştırılması

Open WebUI’ı kurmak için Python’un paket yöneticisi pip’i kullanabilirsiniz. Şu adımları izleyin:

Terminalinizi açın ve Open WebUI’ı kurmak için şu komutu çalıştırın:
```
pip install open-webui
```
Kurulumdan sonra, pip’i en son sürüme güncellemek için şu komutu çalıştırın:
```
python.exe -m pip install --upgrade pip
```
Open WebUI yüklendikten sonra, sunucuyu şu komutla başlatın:
```
open-webui serve
```
Open WebUI başarıyla başlatıldıktan sonra, tarayıcınızda şu adrese erişebilirsiniz: http://localhost:8080.

Ayrıca, isterseniz Open WebUI’ı doğrudan GitHub’dan projeyi klonlayarak da yükleyebilirsiniz. Daha fazla ayrıntı için kılavuzun son bölümüne bakın.

Ollama’nın Yapılandırılması ve Dil Modellerinin İndirilmesi

Varsayılan olarak, Ollama dil modellerini (LLM’ler) sisteminizde şu yollarda depolar:

macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\%username%\.ollama\models

Gerekirse bu yolu değiştirebilirsiniz. Örneğin, Windows’ta şu komutu kullanın:

setx OLLAMA_MODELS "D:\ollama_models"

macOS’ta Ortam Değişkenlerinin Ayarlanması

Ollama’yı bir macOS uygulaması olarak çalıştırıyorsanız, ortam değişkenleri launchctl kullanılarak ayarlanmalıdır. Bir değişken ayarlamak için şu komutu kullanın:

launchctl setenv OLLAMA_MODELS "/new/path/to/models"

Değişkeni ayarladıktan sonra, değişikliklerin geçerli olması için Ollama uygulamasını yeniden başlatın.

Linux’ta Ortam Değişkenlerinin Ayarlanması

Linux’ta Ollama’yı bir systemd servisi olarak çalıştıran kullanıcılar için, ortam değişkenleri systemctl kullanılarak ayarlanabilir. İşte bunu nasıl yapacağınız:

Hizmet yapılandırmasını açmak için şu komutu çalıştırın:
```
sudo systemctl edit ollama.service
```

[Service] bölümüne şu satırı ekleyin:

Environment="OLLAMA_MODELS=/new/path/to/models"

Dosyayı kaydedin, ardından systemd’yi yeniden yükleyin ve servisi yeniden başlatın:
```
sudo systemctl daemon-reload
```
```
sudo systemctl restart ollama
```

Ollama’da Dil Modellerinin İndirilmesi ve Çalıştırılması

Ollama’da dil modellerini indirmek ve çalıştırmak için terminalde şu komutları kullanın. Bu komutlar, model zaten yüklü değilse otomatik olarak indirilecektir:

Meta (Facebook) tarafından geliştirilen LLaMA 3.1 modelini indirmek ve çalıştırmak için:
```
ollama run llama3.1
```
Google’dan Gemma 2 modelini indirmek ve çalıştırmak için:
```
ollama run gemma2
```

Open WebUI Kullanımı

Open WebUI çalıştıktan sonra, http://localhost:8080 adresine erişebilirsiniz. Bu adrese girdikten sonra, giriş yapmanız veya kayıt olmanız istenir. Yeni bir hesap oluşturmak için “Kayıt Ol” seçeneğini seçin. Bu hesap yerel olarak oluşturulur, yani yalnızca bu makinede kullanılabilir ve sisteminizdeki başka bir kullanıcı verilerinize erişemez.

Daha önce Open WebUI’ı başlattıysanız ve Ollama üzerinden indirilen modeller listede görünmüyorsa, kullanılabilir modelleri güncellemek için sayfayı yenileyin. Open WebUI içerisinde yönetilen tüm veriler, cihazınızda yerel olarak depolanır, böylece modelleriniz ve etkileşimleriniz üzerinde gizlilik ve kontrol sağlanır.

Git Kullanarak Open WebUI Kurulumu

Open WebUI’ı GitHub’dan projeyi klonlayarak manuel olarak yüklemek isterseniz, şu adımları izleyin:

Ön Koşullar:

Git: Sisteminizde Git yüklü olduğundan emin olun. Buradan indirebilirsiniz.
Anaconda: Python ortamınızı yönetmek için Anaconda kullanmanız önerilir. Buradan indirip kurabilirsiniz.

Kurulum Talimatları:

Linux/macOS İçin:

Bir terminal açın ve projeyi klonlamak istediğiniz dizine gidin.

Open WebUI deposunu Git ile klonlayın:

git clone https://github.com/open-webui/open-webui.git

Proje dizinine geçin:
```
cd open-webui/
```
.env dosyasını kopyalayın:
```
cp -RPp .env.example .env
```
Frontend’i Node.js ile derleyin:
```
npm install
```
```
npm run build
```
backend dizinine geçin:
```
cd ./backend
```

(İsteğe bağlı) Bir Conda ortamı oluşturun ve etkinleştirin:

conda create --name open-webui-env python=3.11

conda activate open-webui-env

Python bağımlılıklarını yükleyin:
```
pip install -r requirements.txt -U
```
Uygulamayı başlatın:
```
bash start.sh
```

Windows İçin:

Bir terminal açın ve projeyi klonlamak istediğiniz dizine gidin.