Ollama + Open WebUI: Способ локального запуска LLM на Windows, Linux или macOS (без Docker)

Предполагаемое время чтения: 5 минут

Введение

Это руководство покажет вам, как легко настроить и запустить крупные языковые модели (LLM) локально с использованием Ollama и Open WebUI на Windows, Linux или macOS — без необходимости в Docker. Ollama обеспечивает локальную обработку моделей, а Open WebUI предоставляет удобный интерфейс для взаимодействия с этими моделями. Это похоже на использование интерфейсов, таких как ChatGPT, Google Gemini или Claude AI.

Почему запускать Open WebUI без Docker?

Запуск Open WebUI без Docker позволяет более эффективно использовать ресурсы вашего компьютера. Без ограничений контейнеризированных сред вся доступная оперативная память, мощность процессора и хранилище могут быть полностью использованы для работы приложения. Это особенно важно при работе с ресурсоемкими моделями, где важна каждая деталь производительности.

Например, если вы используете Open WebUI для взаимодействия с крупными языковыми моделями, нативное выполнение может привести к более быстрому времени обработки и более плавной работе, так как отсутствует накладные расходы на управление контейнером. При нативной работе вы также получаете:

1. Простота настройки: Вы избегаете сложности настройки и управления контейнерами Docker, что особенно полезно для пользователей, предпочитающих более прямую установку.
2. Улучшенная производительность: Без виртуализации Docker соединение с ресурсами системы становится более прямым, что может привести к лучшей производительности приложения.
3. Прямой доступ к системным ресурсам: Вы получаете прямой контроль над путями к файлам, настройками и конфигурациями системы, что упрощает устранение неполадок и кастомизацию.

Предварительные требования

Перед началом убедитесь, что у вас установлены следующие компоненты:

• Python: Необходим для работы Open WebUI.

Убедитесь, что вы используете Python 3.11.X. Например, версия 3.11.6 работает хорошо. Последняя версия Python, 3.12.7, не совместима с текущей версией Open WebUI.

Вы можете скачать Python здесь. Убедитесь, что вы выбрали подходящую версию для вашей операционной системы. Python — универсальный язык программирования, широко используемый в области ИИ и машинного обучения, включая разработку и эксплуатацию крупных языковых моделей (LLM). Если вы хотите улучшить свои навыки в этой области, обязательно ознакомьтесь с нашими карточками Python для быстрого и эффективного обучения.

Установка Ollama

1. Перейдите на страницу загрузки Ollama.
2. Выберите вашу платформу (Windows, Linux или macOS) и скачайте соответствующую версию.
3. Установите Ollama, следуя стандартному процессу установки для вашей платформы.

Установка и запуск Open WebUI

Для установки Open WebUI вы можете использовать менеджер пакетов Python pip. Следуйте этим шагам:

1. Откройте терминал и выполните следующую команду для установки Open WebUI:

   pip install open-webui

2. После установки обновите pip до последней версии, выполнив:

   python.exe -m pip install --upgrade pip

3. После установки Open WebUI запустите сервер с помощью следующей команды:

   open-webui serve

4. После успешного запуска Open WebUI вы можете получить к нему доступ в вашем браузере по адресу: http://localhost:8080.

Кроме того, если вы предпочитаете, вы можете установить Open WebUI, клонировав проект напрямую из GitHub. Более подробную информацию смотрите в конце этого руководства.

Настройка Ollama и загрузка языковых моделей

По умолчанию Ollama использует следующие пути для хранения языковых моделей (LLM) на вашей системе:

• macOS: ~/.ollama/models
• Linux: /usr/share/ollama/.ollama/models
• Windows: C:\Users\%username%\.ollama\models

Вы можете изменить этот путь, если это необходимо. Например, на Windows используйте следующую команду:

setx OLLAMA_MODELS "D:\ollama_models"

Настройка переменных среды на macOS

Если вы используете Ollama как приложение на macOS, переменные среды необходимо задавать с помощью команды launchctl. Для установки переменной используйте следующую команду:

launchctl setenv OLLAMA_MODELS "/new/path/to/models"

После установки переменной перезапустите приложение Ollama, чтобы изменения вступили в силу.

Настройка переменных среды на Linux

Для пользователей Linux, работающих с Ollama как с сервисом systemd, переменные среды можно настроить с помощью systemctl. Вот как это сделать:

1. Откройте конфигурацию сервиса, выполнив команду:

   sudo systemctl edit ollama.service

2. В разделе [Service] добавьте следующую строку:

   Environment="OLLAMA_MODELS=/new/path/to/models"

3. Сохраните файл, затем перезагрузите systemd и перезапустите сервис:

   sudo systemctl daemon-reload
   sudo systemctl restart ollama

Загрузка и запуск языковых моделей в Ollama

Для загрузки и запуска языковых моделей в Ollama используйте следующие команды в терминале. Эти команды автоматически загрузят модель, если она еще не установлена:

• Для загрузки и запуска модели LLaMA 3.1 от Meta (Facebook):

  ollama run llama3.1

• Для загрузки и запуска модели Gemma 2 от Google:

  ollama run gemma2

Использование Open WebUI

После запуска Open WebUI вы можете получить к нему доступ по адресу http://localhost:8080. Перейдя по этому адресу, вы будете приглашены зарегистрироваться или войти в систему. Чтобы создать новый аккаунт, выберите опцию «Sign Up». Этот аккаунт создается локально, то есть он доступен только на этом устройстве, и никакой другой пользователь не сможет получить доступ к вашим данным.

Если вы ранее запускали Open WebUI, но загруженные через Ollama модели не отображаются в списке, обновите страницу, чтобы обновить доступные модели. Все данные, управляемые в Open WebUI, хранятся локально на вашем устройстве, что обеспечивает конфиденциальность и контроль над вашими моделями и взаимодействиями.

Установка Open WebUI с помощью Git

Если вы хотите установить Open WebUI, клонировав проект с GitHub и управляя им вручную, выполните следующие действия:

Необходимые условия:

• Git: Убедитесь, что Git установлен на вашем устройстве. Скачать его можно здесь.
• Anaconda: Рекомендуется использовать Anaconda для управления вашим окружением Python. Скачать и установить Anaconda можно здесь.

Инструкции по установке:

Для Linux/macOS:

1. Откройте терминал и перейдите в каталог, куда вы хотите клонировать репозиторий.

2. Клонируйте репозиторий Open WebUI с помощью Git:

   git clone https://github.com/open-webui/open-webui.git

3. Перейдите в каталог проекта:

   cd open-webui

4. Скопируйте файл .env:

   copy .env.example .env

5. Соберите интерфейс с помощью Node.js:

   npm install
   npm run build

6. Перейдите в каталог backend:

   cd .\backend

7. (Опционально) Создайте и активируйте окружение Conda:

   conda create --name open-webui-env python=3.11
   conda activate open-webui-env

8. Установите зависимости Python:

   pip install -r requirements.txt -U

9. Запустите приложение:

   start_windows.bat

Итоги Ollama + Open WebUI

Следуя этому руководству, вы сможете успешно запустить Ollama и Open WebUI (без Docker) локально без каких-либо проблем. Однако, если у вас возникнут ошибки или трудности, оставьте комментарий, и я постараюсь вам помочь.