docker3 [llama2/docker/ollama] llama2 로컬에서 docker 로 실행하기 docker의 이미지로 ollama 가 지원된다. ollama 를 사용하면 매우매우 쉽게 로컬에서 llama2 를 실행할 수 있다. (https://ollama.com/library/llama2) docker-compose 파일 만들기 다음과 같이 compose 파일을 만들자. docker-compose.yml version: '3.8' services: ollama: hostname: ollama container_name: ollama image: ollama/ollama ports: - "11434:11434" 내 로컬의 11434 포트에 ollama 를 실행시킨다. docker-compose 실행하기 cmd 를 열고 위에서 만든 docker-compose 를 실행하여 ollama 서.. 2024. 3. 13. [spring boot/python/llama2/docker] spring boot 프로젝트에 LLM (llama2) 사용해보기 - 0 서론 AI 산업이 커지고 있음을 느낀다. 나도 한번 AI 를 사용해보고 싶어졌다. chat GPT API 말고 로컬에서 돌아가는 언어 모델로 직접 서비스를 만들어 보고 싶다. 찾아보니 Llama2 라는 오픈소스 LLM 이 있다. -> meta의 llama2 대형 언어 모델인 만큼 학습시킬때 NVIDIA A100 GPU 를 사용한다고 한다. ( 2천만원대... ) 그래도 걱정말자 노트북에서도 실행할 수 있는 방법이 많이 있는 것 같다. 바로 삽질을 시작해 보자. 구성 나는 회사에서 서비스를 spring boot 로 개발하고 싶어하기 때문에 spring boot로 WAS를 구성해볼 생각이다. 그리고 모델에게 질문/응답을 vector 형식으로 해보라고 요청을 받았다. ( 아직 vector 형식이 무엇인지 자세.. 2024. 3. 13. [airflow, docker] log 가 안나오는 이슈 Airflow 로그가 출력되지 않는 이슈docker-compose 로 airflow 를 실행하는데 로그가 안나오고 다음과 같은 에러만 발생 !!!! Please make sure that all your Airflow components (e.g. schedulers, webservers, workers and triggerer) have the same 'secret_key' configured in 'webserver' section and time is synchronized on all your machines (for example with ntpd) See more at https://airflow.apache.org/docs/apache-airflow/stable/configurations.. 2024. 3. 7. 이전 1 다음
