안내서
자신의 컴퓨터에서 AI 모델을 실행하는 방법은 무엇인가요
로컬에서 모델을 실행하면 데이터가 컴퓨터 밖으로 나가지 않아 오프라인에서도 작동하며 월별 요금도 발생하지 않습니다. 충분히 강력한 컴퓨터와 약 15분의 시간만 있으면 됩니다.
01 · 하드웨어를 확인해 보세요
가장 중요한 것은 그래픽 카드의 메모리(VRAM)입니다. Windows의 경우 작업 관리자 → 성능 → GPU → “전용 GPU 메모리”를 확인해 주세요. M시리즈 칩이 탑재된 Mac의 경우 메인 메모리의 약 4분의 3을 사용할 수 있습니다.
일반적인 압축 버전(Q4)의 대략적인 용량 기준은 파라미터 10억 개당 0.6 GB에 1.5 GB를 더한 값이에요. 7B 모델의 경우 약 6 GB가 필요하여 8 GB 용량의 카드에도 저장할 수 있어요. “로컬” 옵션을 선택하시면 저희의 finder가 이를 확인해 드립니다.
02 · 쉬운 방법: LM Studio
LM Studio는 Windows, macOS, Linux에서 사용할 수 있는 무료 데스크톱 앱으로 일반 채팅 창만 제공되어 명령줄이 필요하지 않습니다.
- lmstudio.ai에서 LM Studio를 다운로드하여 설치해 주세요.
- 검색 아이콘을 클릭한 뒤 모델 이름을 입력해 주세요. 해당 모델들은 Hugging Face에서 제공됩니다.
- 크기와 품질의 적절한 균형을 갖춘 Q4_K_M로 표시된 버전을 선택해 주세요. LM Studio에서 해당 모델이 사용자의 메모리에 맞는지 알려줍니다.
- Download를 클릭한 후 모델을 로드하여 채팅을 시작해 주세요.
03 · 실험을 즐기는 분들을 위한 Ollama
Ollama는 명령줄을 통해 모델을 실행하며 다른 프로그램들이 사용할 수 있는 로컬 API를 제공해요.
- ollama.com에서 Ollama를 설치해 주세요.
- 터미널을 열고 Ollama 라이브러리를 사용하여 모델을 실행해 주세요. 예를 들어
ollama run <model-name>과 같이 입력하면 됩니다. 해당 모델 페이지에는 정확한 명령어가 안내되어 있습니다. - Hugging Face의 GGUF 형식 모델은 직접 실행할 수 있습니다. 명령어는
ollama run hf.co/<user>/<repository>:Q4_K_M입니다.
04 · Hugging Face에서 모델 찾기
Hugging Face는 오픈 소스 모델이 가장 많이 모여 있는 라이브러리입니다. 팁:
- GGUF로 필터링하세요. 이는 LM Studio와 Ollama에서 사용하는 형식입니다.
- 모델 카드를 확인하세요. 여기에 라이선스 정보가 명시되어 있습니다. 일부 모델은 개인적인 용도나 연구 목적으로만 사용할 수 있습니다.
- 원제작자나 유명한 업로더가 제공하는 파일을 선호하세요.
05 · 기대할 수 있는 내용
로컬 모델은 일반적으로 가장 큰 클라우드 모델에 비해 성능이 다소 떨어지지만, 글 작성, 요약, 번역 작업에는 충분히 적합한 경우가 많습니다. 모델이 로드되는 동안 첫 번째 답변이 나오는 데 몇 초가 걸립니다. 그래픽 카드가 없어도 작동하지만 속도가 훨씬 느려집니다.