반응형

이번에 Deepseek사에서 R1이라는 새로운 추론형 모델을 공개했는데, 아주 핫합니다.

추론형 모델인데 성능이 OpenAI의 추론형 모델인 O1에 밀리지 않고, 가장 중요한 건 오픈소스에 무료로 사용 가능하다는 것이지요.

 

deepseek-r1을 이용하는 방법으로 온라인/오프라인 두 가지가 있는데, 온라인으로 사용하는 건 간단합니다. Deepseek 사이트(LINK)에서 바로 회원가입 후 이용할 수 있습니다. 오프라인으로는 오픈소스를 다운받아 설치 후 간단하게 이용할 수 있습니다. 굳이 왜 번거롭게 local로 사용하냐고 생각할 수 있지만, 몇 가지 장점이 있습니다.

1. 개인 LOCAL 서버/PC에서 실행하여 개인정보 보호

2. API 호출 비용이 없어 장기적 비용 절감(하지만 초기 하드웨어엔 투자 필요..)

3. 모델 수정/최적화 자유로워 개인 업무에 맞게 파인튜닝 가능

 

개인 사용자라면 컴퓨터 사양이 좋아야겠지만, 성능만 괜찮다면 개인정보도 보호할 수 있고, 용도에 맞게 튜닝할 수 있기 때문에 충분히 해볼 만한 가치가 있습니다. Local 설치하는 방법은 어렵지 않은데 아래 방법대로 따라와 주시면 됩니다!


 

STEP 1. Ollama 설치

아래 링크에서 Ollama를 설치해 주세요. (LINK)

회원가입 없이 Download 하여 Install 하면 됩니다.

 

Ollama

Get up and running with large language models.

ollama.com

 

 

STEP 2. Deepseek-R1 설치

Ollama 사이트도 돌아가서 'deepseek-r1' 을 검색하여 클릭하고, 원하는 용량을 선택하세요.

테스트 용도로는 1.5b가 적당하고, 실제로 사용하려면 8b 이상을 추천해 드립니다.

본인 컴퓨터 사양에 맞게 고르고 옆의 코드를 복사합니다. (1.5b라면 'ollama run deepseek:r1:1.5b')

프톰프트 창을 실행하여 복사한 텍스트를 넣어 실행하면 자동으로 다운로드 됩니다.

 

STEP 3. 끝! Deepseek-R1과 대화

download가 끝나면 자동으로 실행이 되고, 마음껏 대화하면 됩니다.

저는 1.5b, 8b를 두 가지 모두 설치해 봤는데, 1.5b는 한국어를 이해는 하나 정상적으로 답변을 하지 못하여 8b와 대화를 하였습니다. 처음엔 영어로 답변하였는데, 한국어로 답변해달라고 요청하니 이후 질문에 대해서는 한국어로 답변해 주더라구요. 문법은 약간 어색하지만, 중간에 <think>로 되어 있는 추론하는 과정이 흥미롭네요. deepseek가 실제로 어떻게 생각하고 답변하는 알 수 있고, 이를 활용하면 더 model을 잘 활용할 수 있을 것으로 보입니다.

 

 

 

 

반응형

+ Recent posts