Ollama + Open WebUI: Windows, Linux 또는 macOS에서 LLM을 로컬로 실행하는 방법 (Docker 없이)

2024-10-07

추정 소요 시간: 4 minutes

소개

이 가이드는 Docker 없이 Windows, Linux 또는 macOS에서 Ollama와 Open WebUI를 사용하여 대형 언어 모델(LLM)을 로컬에서 쉽게 설정하고 실행하는 방법을 안내합니다. Ollama는 로컬 모델 추론을 제공하며, Open WebUI는 이러한 모델과의 상호작용을 간소화하는 사용자 인터페이스입니다. 이 경험은 ChatGPT, Google Gemini 또는 Claude AI와 유사합니다.

Docker 없이 Open WebUI를 실행하는 이유

Docker 없이 Open WebUI를 실행하면 컴퓨터의 리소스를 더 효율적으로 사용할 수 있습니다. 컨테이너화된 환경의 제한이 없으므로 사용 가능한 모든 시스템 메모리, CPU 성능 및 저장 공간이 애플리케이션 실행에 전적으로 사용될 수 있습니다. 이는 리소스를 많이 사용하는 모델을 작업할 때 특히 중요합니다.

예를 들어, 대형 언어 모델과 상호작용하기 위해 Open WebUI를 사용할 때, Docker가 컨테이너를 관리하는 오버헤드가 없기 때문에 네이티브 실행으로 더 빠른 처리 시간과 원활한 성능을 얻을 수 있습니다. 네이티브 실행을 통해 다음과 같은 이점도 얻을 수 있습니다:

더 간단한 설정: Docker 컨테이너 설정 및 관리의 복잡성을 피할 수 있으며, 이는 더 간단하고 직접적인 설치를 선호하는 사용자에게 특히 유용합니다.
개선된 성능: Docker의 가상화 없이 시스템 리소스에 더 직접적으로 연결되므로 애플리케이션 성능이 향상될 수 있습니다.
시스템 리소스에 대한 직접적인 접근: 파일 경로, 설정 및 시스템 구성을 직접 제어할 수 있어 문제 해결 및 사용자 정의가 더 쉽습니다.

사전 준비

시작하기 전에 시스템에 다음이 설치되어 있는지 확인하십시오:

Python: Open WebUI를 실행하는 데 필요합니다.

Python 3.11.X를 사용하고 있는지 확인하십시오. 예를 들어, 3.11.6 버전이 잘 작동합니다. 최신 버전인 3.12.7은 현재 Open WebUI 버전과 호환되지 않습니다.

여기에서 Python을 다운로드할 수 있습니다. 운영 체제에 맞는 적절한 버전을 선택하십시오. Python은 AI 및 기계 학습에서 널리 사용되는 다재다능한 프로그래밍 언어이며, 대형 언어 모델(LLM)의 개발 및 운영에 사용됩니다. 이 분야에서 기술을 향상시키고자 한다면, 저희 python flashcards를 확인하여 빠르고 효율적인 학습을 진행해보세요.

Ollama 설치

Ollama 다운로드 페이지로 이동하십시오.
플랫폼(Windows, Linux 또는 macOS)을 선택하고 적절한 버전을 다운로드하십시오.
플랫폼에 맞는 표준 설치 과정을 통해 Ollama를 설치하십시오.

Open WebUI 설치 및 실행

Open WebUI를 설치하려면 Python의 패키지 관리자 pip를 사용할 수 있습니다. 다음 단계를 따르십시오:

터미널을 열고 다음 명령을 실행하여 Open WebUI를 설치하십시오:
```
pip install open-webui
```
설치 후, 다음 명령을 실행하여 pip를 최신 버전으로 업데이트하십시오:
```
python.exe -m pip install --upgrade pip
```
Open WebUI가 설치되면 다음 명령을 사용하여 서버를 시작하십시오:
```
open-webui serve
```
Open WebUI가 성공적으로 시작된 후, 브라우저에서 다음 주소로 접속할 수 있습니다: http://localhost:8080.

또한, GitHub에서 프로젝트를 직접 클론하여 Open WebUI를 설치할 수도 있습니다. 자세한 내용은 이 가이드의 마지막 섹션을 참조하십시오.

Ollama 설정 및 언어 모델 다운로드

기본적으로 Ollama는 시스템에서 언어 모델(LLM)을 저장하는 경로를 다음과 같이 설정합니다:

macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users\%username%\.ollama\models

필요한 경우 이 경로를 변경할 수 있습니다. 예를 들어, Windows에서 다음 명령을 사용하십시오:

setx OLLAMA_MODELS "D:\ollama_models"

macOS에서 환경 변수 설정

macOS 애플리케이션으로 Ollama를 실행하는 경우, 환경 변수는 launchctl을 사용하여 설정해야 합니다. 변수를 설정하려면 다음 명령을 사용하십시오:

launchctl setenv OLLAMA_MODELS "/new/path/to/models"

변수를 설정한 후, Ollama 애플리케이션을 다시 시작하여 변경 사항을 적용하십시오.

Linux에서 환경 변수 설정

Linux에서 Ollama를 systemd 서비스로 실행하는 경우, systemctl을 사용하여 환경 변수를 설정할 수 있습니다. 다음 방법을 따르십시오:

다음 명령을 실행하여 서비스 구성을 엽니다:
```
sudo systemctl edit ollama.service
```
[Service] 섹션 아래에 다음 줄을 추가하십시오:
```
Environment="OLLAMA_MODELS=/new/path/to/models"
```
파일을 저장한 후, systemd를 다시 로드하고 서비스를 다시 시작하십시오:
```
sudo systemctl daemon-reload
```
```
sudo systemctl restart ollama
```

Ollama에서 언어 모델 다운로드 및 실행

Ollama에서 언어 모델을 다운로드하고 실행하려면 터미널에서 다음 명령을 사용하십시오. 이 명령들은 모델이 설치되어 있지 않은 경우 자동으로 다운로드됩니다:

Meta(페이스북)의 LLaMA 3.1 모델을 다운로드하고 실행하려면:
```
ollama run llama3.1
```
Google의 Gemma 2 모델을 다운로드하고 실행하려면:
```
ollama run gemma2
```

Open WebUI 사용

Open WebUI가 실행되면 http://localhost:8080에서 액세스할 수 있습니다. 이 주소로 이동하면 로그인 또는 등록하라는 메시지가 표시됩니다. 새 계정을 만들려면 가입 옵션을 선택하십시오. 이 계정은 로컬로 생성되며, 이 기기에서만 사용할 수 있으며 다른 사용자는 데이터에 액세스할 수 없습니다.

이전에 Open WebUI를 시작했는데 Ollama를 통해 다운로드한 모델이 목록에 표시되지 않는 경우, 페이지를 새로 고쳐 사용 가능한 모델을 업데이트하십시오. Open WebUI에서 관리되는 모든 데이터는 기기 내에 로컬로 저장되며, 데이터 및 상호작용에 대한 개인 정보와 제어 권한을 보장합니다.

Git을 사용하여 Open WebUI 설치

GitHub에서 프로젝트를 클론하고 수동으로 관리하여 Open WebUI를 설치하려면 다음 단계를 따르십시오:

필수 사항:

Git: 시스템에 Git이 설치되어 있는지 확인하십시오. 여기에서 다운로드할 수 있습니다.
Anaconda: Python 환경을 관리하기 위해 Anaconda를 사용하는 것이 좋습니다. 여기에서 다운로드 및 설치할 수 있습니다.

설치 지침:

Linux/macOS:

터미널을 열고 클론하려는 디렉터리로 이동하십시오.
Git을 사용하여 Open WebUI 리포지토리를 클론하십시오:
```
git clone https://github.com/open-webui/open-webui.git
```
프로젝트 디렉터리로 이동하십시오:
```
cd open-webui/
```
.env 파일을 복사하십시오:
```
cp -RPp .env.example .env
```
Node.js를 사용하여 프런트엔드를 빌드하십시오:
```
npm install
```
```
npm run build
```
backend 디렉터리로 이동하십시오:
```
cd ./backend
```

(선택 사항) Conda 환경을 만들고 활성화하십시오:

conda create --name open-webui-env python=3.11

conda activate open-webui-env

Python 종속성을 설치하십시오:
```
pip install -r requirements.txt -U
```
애플리케이션을 시작하십시오:
```
bash start.sh
```

Windows:

터미널을 열고 클론하려는 디렉터리로 이동하십시오.
Git을 사용하여 Open WebUI 리포지토리를 클론하십시오:
```
git clone https://github.com/open-webui/open-webui.git
```
프로젝트 디렉터리로 이동하십시오:
```
cd open-webui
```
.env 파일을 복사하십시오:
```
copy .env.example .env
```
Node.js를 사용하여 프런트엔드를 빌드하십시오:
```
npm install
```
```
npm run build
```
백엔드 디렉터리로 이동하십시오:
```
cd .\backend
```