LLM2 [m1/mac/python/llama.cpp/llama2] 로컬에서 llama2 실행해보기 ( m1 맥북 ) python 으로 llama2 모델을 실행하기 맥북이 아니거나 나는 docker 로 모델을 실행하고 싶다면 docker 에서 llama2 실행하기를 보길 바람. llama.cpp 을 사용하여 실행할 것임. 언어 모델을 다운하기 meta 의 llama git 프로젝트 받기 원하는 경로에 llama git 을 클론하자. (https://github.com/facebookresearch/llama) 다운로드 요청 링크 받기 meta 의 llama 페이지에 가서 download models 를 누르면 정보를 입력하는 페이지가 나온다. (https://llama.meta.com/) 개인정보를 입력하고 사용할 모델을 선택하여 완료버튼을 누르면 입력한 이메일로 선택한 모델의 다운로드 요청 키가 발송된다. 이메일 내용.. 2024. 3. 13. [spring boot/python/llama2/docker] spring boot 프로젝트에 LLM (llama2) 사용해보기 - 0 서론 AI 산업이 커지고 있음을 느낀다. 나도 한번 AI 를 사용해보고 싶어졌다. chat GPT API 말고 로컬에서 돌아가는 언어 모델로 직접 서비스를 만들어 보고 싶다. 찾아보니 Llama2 라는 오픈소스 LLM 이 있다. -> meta의 llama2 대형 언어 모델인 만큼 학습시킬때 NVIDIA A100 GPU 를 사용한다고 한다. ( 2천만원대... ) 그래도 걱정말자 노트북에서도 실행할 수 있는 방법이 많이 있는 것 같다. 바로 삽질을 시작해 보자. 구성 나는 회사에서 서비스를 spring boot 로 개발하고 싶어하기 때문에 spring boot로 WAS를 구성해볼 생각이다. 그리고 모델에게 질문/응답을 vector 형식으로 해보라고 요청을 받았다. ( 아직 vector 형식이 무엇인지 자세.. 2024. 3. 13. 이전 1 다음
