[llama2/docker/ollama] llama2 로컬에서 docker 로 실행하기

docker의 이미지로 ollama 가 지원된다.

ollama 를 사용하면 매우매우 쉽게 로컬에서 llama2 를 실행할 수 있다.

(https://ollama.com/library/llama2)

docker-compose 파일 만들기

다음과 같이 compose 파일을 만들자.

docker-compose.yml

version: '3.8'
services:
  ollama:
    hostname: ollama
    container_name: ollama
    image: ollama/ollama
    ports:
      - "11434:11434"

내 로컬의 11434 포트에 ollama 를 실행시킨다.

docker-compose 실행하기

cmd 를 열고 위에서 만든 docker-compose 를 실행하여 ollama 서비스를 띄우자.

docker-compose -f docker-compose.yml up

ollama 에서 모델 실행하기

실행한 ollama 에서 모델을 실행하자.

나는 llama2 모델을 실행하기 위해 ollama run llama2 명령어를 실행했다.

모델실행 명령어는 ollama 페이지에서 확인 할 수 있다.

# docker exec -it [exec를실행할컨테이너명] [실행할명령어]
docker exec -it ollama ollama run llama2

docker 앱이 설치되어 있다면

ollama 컨테이너의 Exec 탭에서 명령어를 실행하면 된다.

ollama run llama2

모델에 질문하기

실행이 완료되면 다음과 같이 질문을 입력하라고 한다. 질문하면 답변을 할 것이다.