local LLM 구성

GPT 가격이 은근 부담스러워 지고 있는데 마침 대체제(bing, 제미나이 등)가 나왔고, 로컬에서 구성하면 쾌적하게 쓸 수 있을거 같아서 구성 해보았음.

 

 

환경 별 설치 방법

https://ollama.com/download/mac

https://ollama.com/download/linux

https://ollama.com/download/windows

Download Ollama on Windows

 

모델 설치 및 실행

 

4.7GB 버전

ollama run llama3:8b

 

40GB 버전

ollama run llama3:70b

 

여유가 된다면 용랑 큰 놈으로다가,,

 

모델 벤치마크

 

 

web UI 구성 

# https://github.com/ivanfioravanti/chatbot-ollama

git clone https://github.com/ivanfioravanti/chatbot-ollama.git
docker build -t chatbot-ollama .
docker run -p 3000:3000 chatbot-ollama

 

 

외부 접근 구성

ngrok http 3000 --basic-auth="admin:admin123123"