Ollama 0.40.11 실습: Windows에서 로컬 LLM 실행하기

Ollama 0.40.11은 Windows 사용자에게 데스크톱 채팅 애플리케이션과 다른 소프트웨어용 로컬 모델 런타임을 제공합니다. 또한 Ollama는 기존의 명령줄 인터페이스를 넘어 검색 가능한 모델 선택기, 이미지 첨부 기능, 코딩 도구 링크 등을 추가했습니다. 테스트에 필요한 일부 컨트롤은 여전히 ​​PowerShell과 모델 구성 파일에 남아 있습니다.

저희는 Windows 11 Pro for Workstations가 설치된 HP Z4 Rack G5에 Ollama를 설치했습니다. 이 시스템에는 128GB RAM과 NVIDIA RTX 5000 Ada Generation GPU가 탑재되어 있습니다. 기존의 Jan V3.5 4B 및 Jan V2 VL High GGUF 파일을 사용하여 생성 속도, 채팅, 이미지, 온라인 검색 및 로컬 API를 테스트했습니다. Ollama는 로컬 모델을 원활하게 실행했지만, GGUF 파일을 가져오고 성능 데이터를 수집하는 과정에서 데스크톱 채팅 창을 벗어나야 했습니다. Ollama는 Jan 과 Open WebUI 에 이어 저희 로컬 LLM 시리즈의 세 번째 애플리케이션이며, 테스트 결과는 저희 웹사이트의 '최고의 로컬 LLM 도구' 페이지에 반영됩니다.

시험 시스템

구성 요소	구성
운영체제	워크스테이션용 Windows 11 Pro
CPU	인텔 제온 w5-2465X, 16코어
메모리	128GB
GPU	NVIDIA RTX 5000 Ada 세대
VRAM	32GB (32,760 MiB로 보고됨)
NVIDIA 드라이버	597.06
CUDA 호환성	13.2 (nvidia-smi에서 보고됨)
올라마	0.40.11
추론 런타임	Ollama llama.cpp 실행기 (빌드 번호는 기록되지 않음)

Ollama 설치 및 시작하기

Windows 워크스테이션에 Ollama를 설치하는 것은 이전에 소개했던 다른 애플리케이션 설치 과정에서 겪었던 어려움과는 달리 매우 간편했습니다. 표준 Windows 설치 프로그램을 다운로드하고 애플리케이션을 실행하기만 하면 되었고, 별도의 추론 런타임을 설치하거나 CUDA 패키지를 찾아 헤맬 필요가 없었습니다. PowerShell을 통해 간단히 확인해 보니 Ollama 0.40.11이 실행 중이었고 로컬 서비스가 http://127.0.0.1:11434에서 응답하고 있었습니다.

환영 화면을 지나자 Ollama는 최근 대화, 앱, 설정이 왼쪽 사이드바에 있는 익숙한 채팅 인터페이스를 보여줍니다. 메시지 입력란에는 첨부 파일 버튼, 웹 검색, 모델 선택기가 함께 배치되어 있습니다. 계정을 만들지 않고도 가져온 로컬 모델들과 채팅을 시작할 수 있었지만, 나중에 테스트 중에 웹 검색을 활성화하려고 할 때 Ollama에서 로그인하라는 메시지가 나타났습니다.

모델 찾아보기 및 추가

Ollama는 설치된 모델과 다운로드 가능한 모델을 모두 보여주는 드롭다운 메뉴를 통해 모델 선택을 상당히 간편하게 제공합니다. 가져온 Jan 모델과 Qwen3-VL 외에도 작은 구름 아이콘으로 표시된 여러 클라우드 기반 옵션이 함께 나타났습니다. 다른 모델을 검색할 수 있는 검색 필드도 있지만, 모델 크기, 양자화 방식, 하드웨어 요구 사항과 같은 더 자세한 정보가 함께 제공되었으면 좋았을 것입니다. Jan은 모델 허브를 통해 이러한 세부 정보를 제공하는 반면, Ollama는 대부분의 정보를 메인 채팅 인터페이스에 표시하지 않습니다.

두 개의 벤치마크 모델을 Ollama에 가져오는 데는 예상보다 많은 작업이 필요했습니다. 이전 리뷰에서 사용했던 것과 동일한 GGUF 파일을 사용하여 성능 테스트 결과를 최대한 비교 가능하게 유지하고 싶었기 때문입니다. Ollama는 데스크톱 인터페이스를 통해 모델을 직접 다운로드할 수 있도록 지원하지만, 워크스테이션에 이미 저장된 GGUF 파일을 가져오는 옵션은 찾을 수 없었습니다. 따라서 PowerShell을 사용하여 각 모델에 대한 Modelfile을 생성하고, 기존 GGUF 파일을 가리키도록 하고 이전 테스트에서 사용했던 샘플링 매개변수를 포함시켰습니다. 그런 다음 PowerShell을 사용하여 모델을 가져오고, 해당 Modelfile을 사용하여 GGUF 파일을 불러오는 작업을 진행했습니다. ollama create 올라마의 모델 라이브러리에 추가하는 명령어입니다.

두 가져오기 모두 문제 없이 완료되었으며 Jan V3.5가 표시되었습니다. jan-v35-sr 그리고 1월 V2 VL High는 jan-v2-sr또한 별도의 이미지 분석 테스트를 위해 Ollama를 통해 Qwen3-VL 4B를 직접 다운로드했습니다.

모델을 불러온 후, Ollama가 모델을 어떻게 인식했는지, 그리고 설정이 제대로 적용되었는지 확인했습니다. Jan V2 VL High는 Q4_K_M 양자화를 사용하는 8.2억 개의 파라미터를 가진 Qwen3-VL 모델로 인식되었으며, 이는 원본 파일과 일치했습니다. 하지만 Jan V3.5는 예외였는데, 불러온 GGUF 파일의 이름이 달랐기 때문입니다. Jan-v3.5-4B-Q4_K_XL.gguf하지만 Ollama는 양자화 방식을 Q4_K_M으로 보고했습니다. 우리는 원본 파일을 변경하지 않고 그대로 두었습니다. 그 이유는 Q4_K_XL이 Unsloth의 동적 양자화 방식이며, 대부분 Q4_K_M 레이어로 구성되어 있고, 파일의 메타데이터에 해당 기본 유형이 기록되어 있기 때문일 가능성이 높습니다.

모델 설정 및 GPU 사용

Ollama의 설정 페이지에는 클라우드 액세스, 자동 업데이트, 네트워크 액세스, 모델 저장 경로 및 컨텍스트 길이 슬라이더가 포함되어 있으며, 처음 확인했을 때는 32K로 설정되어 있었습니다. 성능 테스트에서는 API를 통해 8,192개의 토큰을 명시적으로 요청했으므로 아래 벤치마크 결과는 데스크톱 기본값이 아닌 해당 컨텍스트를 기준으로 합니다.

Ollama는 Jan처럼 데스크톱 인터페이스를 통해 모델 설정을 세밀하게 조정할 수 없기 때문에, 대부분의 조정은 모델 파일과 API 요청을 통해 진행했습니다. 벤치마크 결과를 비교 가능하게 유지하기 위해 이전 테스트와 동일한 설정(온도 0.8, Top K 40, Top P 0.95, Min P 0.05, 반복 페널티 1.0)을 사용했습니다. 또한 배치 크기를 2,048로 요청했지만, Ollama가 생성 과정에서 이를 실제로 적용했는지는 독립적으로 확인할 수 없었습니다.

GPU 구성도 달랐는데, 1월에 사용했던 100개의 GPU 레이어에 해당하는 데스크톱 설정이 없었기 때문입니다. Ollama는 GPU 오프로딩을 자동으로 처리했고, 간단한 확인은 다음과 같습니다. ollama ps 수입된 두 모델 모두 RTX 5000 Ada에서 완벽하게 작동하는 것을 확인했습니다.

저희는 해당 보고서를 NVIDIA 자체 측정값과 대조하여 검증했습니다. 1월 버전 3.5는 로딩 후 VRAM 할당량이 수 기가바이트 증가했으며, 실제 실행 시 GPU 사용률이 93%에 달했습니다. 1월 버전 2 역시 GPU 상주율이 최대치에 도달했으며, 진단 실행 시 96%의 사용률을 보였습니다. 적어도 이 워크스테이션에서는 가속 생성을 위해 별도의 CUDA 변형이나 GPU 레이어 설정을 거칠 필요가 없었습니다.

지역 발전 성능

세대 테스트를 위해 지난 1월에 발표한 실습 보고서 에서 사용했던 것과 동일한 프롬프트를 사용했습니다 . "처음 NAS를 구축하는 사람에게 RAID 5와 RAID 6에 대해 설명하세요. 각 방식의 주요 장점과 단점을 약 400단어로 설명하세요." 웹 검색 기능을 비활성화하고, 컨텍스트를 8,192 토큰으로 설정했으며, 각 API 요청에는 해당 사용자 메시지 하나만 포함했습니다. 모델별로 워밍업 응답 하나를 제외하고 세 번의 측정 실행을 수행했습니다.

두 모델 모두 측정된 세 번의 실행을 모두 생성 오류 없이 완료했으며, 테스트 내내 GPU 사용률이 높게 유지되었습니다. Ollama는 두 모델 모두 GPU 가속을 완벽하게 활용하기 위해 추가적인 CUDA 구성이나 수동 GPU 레이어 조정이 필요하지 않았습니다. 반면 Open WebUI에서는 CUDA 런타임 DLL을 수동으로 추가해야 했습니다.

모델	정량화	출력 토큰	디코드 속도	GPU 메모리
1월 V3.5 4B	Q4_K_XL 파일*	529	145.48 토크/초	5,082 MiB
1월 V2 VL 하이	Q4_K_M	1,696	92.87 토크/초	7,124 MiB

참고: 출력 토큰 개수, 디코딩 속도 및 GPU 메모리 수치는 워밍업 실행 1회를 제외한 후 측정된 3회 실행의 중앙값입니다. GPU 메모리는 각 측정 실행 동안 기록된 GPU 전체 메모리 사용량의 최대값 중앙값입니다.

*Jan V3.5 GGUF 파일 이름은 Q4_K_XL로 식별되지만 Ollama의 모델 정보에는 Q4_K_M으로 표시됩니다. 위의 가져오기 참고 사항을 참조하십시오.

Jan V3.5는 측정 실행 전반에 걸쳐 145.48, 145.73, 145.44 토큰/초를 기록했고, Jan V2는 92.87, 92.22, 92.97 토큰/초를 기록했습니다. 두 버전 모두 실행 간 비슷한 수준을 유지했으며, 각 버전 내에서 측정된 GPU 메모리 최대치는 변화가 없었습니다. Jan V2는 추론 활동을 포함하여 보고된 출력 토큰 수가 상당히 많았으므로, 이러한 총량은 가시적인 답변 길이의 직접적인 비교는 아닙니다.

동일한 워크스테이션과 모델 파일을 사용했을 때, 지금까지 이 시리즈에서 가장 빠른 결과가 나왔습니다. Jan V3.5는 Jan 자체(초당 123 토큰)보다 18% 더 빠르게 디코딩했고, Open WebUI Desktop (초당 115.32 토큰)보다 26% 더 빨랐습니다. Jan V2는 Jan(초당 82 토큰)보다 13%, Open WebUI(초당 75.06 토큰)보다 24% 더 빨랐습니다. 각 애플리케이션은 자체 llama.cpp 빌드를 실행하고 GPU 오프로드를 자체 방식으로 관리하므로, 이 비교는 모델 파일만이 아닌 각 애플리케이션에 포함된 전체 패키지를 기준으로 합니다.

반복적인 요청으로 인해 캐싱의 영향을 받았을 가능성이 있는 매우 짧은 처리 시간이 발생했기 때문에 프롬프트 처리 중앙값을 공개하지 않았습니다. 또한 런타임 설정이 모든 면에서 동일할 수는 없습니다. Jan은 GPU 레이어를 직접 노출한 반면 Ollama는 오프로드를 자동으로 관리했습니다.

Ollama를 사용하여 로컬 채팅하기

모델을 설치한 후 드롭다운 메뉴에서 Jan V3.5 또는 Jan V2를 선택하고 RAID 프롬프트를 입력했습니다. 답변은 제목과 목록으로 표시되었고, 최근 대화 내용은 사이드바에 유지되었습니다. Ollama는 응답 아래에 생성 속도나 토큰 수를 표시하지 않았기 때문에 API를 통해 해당 수치를 수집했습니다.

Ollama에서 대화를 관리하는 것은 꽤 쉬웠습니다. 이전 대화를 마우스 오른쪽 버튼으로 클릭하면 이름을 바꾸거나 삭제할 수 있는 옵션이 나타났고, '더 보기'에서 '공유' 옵션을 사용할 수 있었습니다. 이미 보낸 프롬프트도 수정할 수 있었지만, 모델의 답변에 대한 옵션은 많지 않았습니다. 유일하게 찾을 수 있는 버튼은 '복사'였는데, 마우스 커서를 올리지 않아도 각 답변 아래에 계속 표시되었습니다. 적어도 저희가 테스트한 버전에서는 채팅 창에서 답변을 다시 생성하거나 생성 통계를 볼 수 있는 방법을 찾을 수 없었습니다.

Ollama에는 Codex CLI, Claude Code, OpenCode, Cline을 포함한 코딩 도우미가 있는 앱 섹션도 있습니다. 이러한 통합 기능이 어떻게 작동하는지 확인하고 싶어서 Codex CLI를 클릭하여 설정 과정을 살펴보았습니다. Ollama는 설정 화면을 열지 않고 실행 명령어를 클립보드에 복사한 후 터미널에 붙여넣으라고 안내했습니다. 전체 설치를 완료하거나 Codex를 실행하지는 않았지만, Ollama가 로컬 모델을 외부 애플리케이션에 연결하는 방식을 더 잘 이해할 수 있었습니다.

웹 검색

Ollama는 채팅의 첨부 파일 컨트롤 옆에 지구본 버튼을 배치했지만, 해당 버튼을 선택하면 웹 검색을 사용하려면 Ollama 계정이 필요하다는 메시지가 표시되었습니다. 무료 계정에 가입하고 기능을 활성화한 후, 2026년 10월 15일 기준 최신 안정 버전의 Open WebUI 릴리스를 출처와 함께 묻는 기존 테스트 질문을 사용했습니다.

Ollama의 웹 검색 기능을 테스트하는 동안 또 다른 문제가 발생했습니다. 애플리케이션이 검색 결과를 가져오려고 시도했지만 "검색 API 오류(상태 코드 402)" 메시지를 반환했습니다. HTTP 402는 결제 필요 코드로, 검색 서비스에 유료 플랜이 필요함을 시사하지만 Ollama 측에서는 명시적으로 언급하지 않았습니다. 모델은 계정 가격이나 사용량 제한과 관련된 문제일 수 있다고 예측했지만 정확한 원인을 파악할 수는 없었습니다. 로컬 모델이 정상적으로 작동했기 때문에 검색 서비스 문제 해결에 더 이상 시간을 투자하지 않기로 했습니다. 하지만 이번 테스트 시리즈의 다른 애플리케이션에서는 성공적으로 완료했던 웹 검색 테스트를 이번에는 진행할 수 없었던 점은 아쉬웠습니다.

멀티모달 입력

첫 번째 이미지 테스트에서는 Jan V2 VL High GGUF를 사용했는데, 이 파일은 Jan에서 별도의 비전 프로젝터와 함께 사용했을 때 정상적으로 작동했습니다. Ollama는 언어 모델 파일을 인식했지만, 가져오기 절차에서 함께 제공되는 mmproj 파일을 연결하지 못했습니다. NVIDIA 스크린샷을 Jan V2 대화에 첨부하려고 시도했을 때, 데스크톱 애플리케이션에서 "이 모델은 이미지를 지원하지 않습니다."라는 메시지가 표시되었고, 메시지를 전송하기도 전에 오류가 발생했습니다.

다음으로 Ollama를 통해 다운로드한 Qwen3-VL 4B를 사용하여 동일한 프롬프트에서 GPU 모델, 드라이버 버전, VRAM, 사용률, 온도 및 전력을 입력해 보았습니다. 이 모델은 스크린샷을 제대로 인식하고 RTX 5000 Ada 세대, 드라이버 버전 597.06, VRAM 32,760 MiB, 사용률 0%, 온도 39°C, 전력 소비량 40W 등 6가지 값을 정확하게 표시했습니다. 다만, 최종 결과에서 사용률이 8%로 잘못 표시되었다가 수정되는 등 완벽하지는 않았습니다.

Ollama에서는 다른 애플리케이션처럼 Windows 캡처 도구에서 이미지를 채팅창에 직접 붙여넣을 수 없었습니다. 대신 먼저 스크린샷을 저장한 다음 메시지 입력란 옆에 있는 '+' 버튼을 사용하여 업로드해야 했습니다. 이 방법은 문제없이 작동했고, Ollama의 Qwen3-VL 모델은 이미지를 성공적으로 분석했습니다. 하지만 가져온 Jan V2 모델은 동일한 첨부 파일을 허용하지 않아 원래의 멀티모달 테스트를 재현하는 데 제약이 있었습니다.

로컬 API 서버

Ollama의 로컬 API는 Windows 서비스가 시작되는 즉시 사용 가능했으며, 데스크톱 인터페이스에서 별도의 서버를 실행할 필요가 없었습니다. 요청은 다음과 같습니다. http://127.0.0.1:11434/v1/models 저희가 설치했던 Jan V3.5 및 Qwen3-VL 모델을 반환했으며, 다음과 같은 요청을 드렸습니다. /v1/chat/completions Jan V3.5를 사용하니 RAID 6에 대한 한 문장 설명이 생성되었습니다.

응답에서 RAID 6 패리티 관련 표현이 다소 부정확했는데, 이는 API 오류가 아니라 모델 출력 문제였습니다. 정상적으로 작동하는 엔드포인트를 사용하면 데스크톱 채팅을 사용하지 않고 PowerShell에서 로컬 모델을 직접 쿼리할 수 있었습니다.

무엇이 잘못 되었습니까

가장 답답했던 문제는 가져온 Jan V2 VL High 모델을 이미지 처리에 사용하는 것이었습니다. GGUF 파일을 가져오거나 GPU 가속을 완벽하게 활용하여 텍스트 프롬프트를 실행하는 데는 문제가 없었지만, NVIDIA 스크린샷을 첨부하려고 하자 문제가 발생했습니다. Ollama는 가져온 파일에 Jan V2에 필요한 별도의 비전 프로젝터가 포함되어 있지 않기 때문에 모델이 이미지를 지원하지 않는다고 알려줬습니다. 하지만 Ollama에서 제공하는 Qwen3-VL 다운로드를 사용하여 이미지 분석 테스트를 진행했을 때는 아무 문제 없이 작동했습니다. 이는 Ollama가 이미지를 처리할 수 있다는 것을 보여주었지만, 기존 Jan V2 모델을 이미지 처리에 활용하는 것은 단순히 GGUF 파일을 가져오는 것만큼 간단하지 않았습니다.

웹 검색 기능을 사용하려면 먼저 Ollama 계정을 생성해야 했습니다. 로그인 후 테스트 질문을 제출했지만, 서비스는 HTTP 402 오류를 반환하며 검색 결과를 보여주지 않았습니다. 오류의 원인을 파악할 수 없었고, 원인을 알 수 없는 상태에서 계정 설정을 변경하거나 다른 요금제를 시도해 볼 이유도 없었습니다.

기존 모델을 가져오거나 설정을 조정하고 성능 측정값을 수집하는 등의 작업을 위해 PowerShell을 자주 사용해야 한다는 점도 발견했습니다. 데스크톱 애플리케이션은 일상적인 채팅에는 사용하기 편리했지만, Jan의 인터페이스를 통해 제공했던 것과 같은 수준의 제어 기능을 제공하지는 않았습니다. 이러한 문제점을 제외하면 Ollama는 테스트 과정에서 거의 문제를 일으키지 않았습니다. 두 모델 모두 성공적으로 가져왔고, 측정된 6개의 벤치마크 실행도 모두 완료되었으며, 로컬 API도 예상대로 작동했습니다.

맺음말

Ollama 0.40.11을 사용한 테스트는 전반적으로 순조롭게 진행되었으며, 특히 RTX 5000 Ada에서 로컬 모델을 실행하는 데 성공했습니다. 가져온 두 개의 GGUF 파일 모두 추가적인 CUDA 설정 없이 GPU 가속을 완벽하게 지원했으며, 성능은 시리즈 최고 수준이었습니다. Jan V3.5는 평균 145.48 토큰/초, Jan V2 VL High는 92.87 토큰/초를 기록하여 이번 시리즈에서 가장 빠른 결과를 보여주었고, 동일한 워크스테이션에서 Jan보다 13~18% 높은 성능을 보였습니다. 모든 설정이 완료된 후에는 데스크톱 채팅 인터페이스와 로컬 API 간 전환에 아무런 문제가 없었으며, 모든 벤치마크 실행도 문제없이 완료되었습니다.

일상적인 채팅에는 Ollama의 간편함이 마음에 들었지만, 데스크톱 애플리케이션에서 개별 모델을 더 세밀하게 제어할 수 있었으면 좋았을 것 같습니다. 기존 GGUF 파일을 가져오기 위해 PowerShell을 사용하고 모델 파일을 생성해야 하는 과정은 Jan과 비교했을 때 몇 가지 추가 단계를 거쳐야 했습니다. Jan에서는 대부분의 설정이 인터페이스에서 바로 제공되는 것과 비교하면 더욱 불편했습니다. 로컬 모델 실행에 이미 익숙한 사용자에게는 큰 문제가 되지 않겠지만, 그래픽 인터페이스를 통해 모든 것을 관리하고 싶어하는 신규 사용자에게는 Ollama가 제한적일 수 있습니다. 또한 웹 검색 및 가져온 비전 모델에서 몇 가지 문제가 발생했지만, 일반적인 텍스트 생성에는 영향을 미치지 않았습니다.

Ollama의 가장 큰 장점은 별도의 서버를 구성할 필요 없이 로컬 모델을 다른 애플리케이션에 쉽게 제공할 수 있다는 점이었습니다. 데스크톱 채팅 기능은 사용하기 간편하며, 로컬 API와 외부 코딩 도구 지원 덕분에 사용자는 로컬 모델과 채팅하는 것 이상의 다양한 작업을 수행할 수 있습니다. 데스크톱 인터페이스에서 모델 관리 기능이 개선되었으면 하는 바람은 있지만, Ollama는 저희 워크스테이션에서 뛰어난 성능을 보여주었고 GPU 가속을 통해 두 가지 테스트 모델을 안정적으로 실행할 수 있는 방법을 제공했습니다.

순위표: Ollama는 최고의 로컬 LLM 도구 페이지 에서 전체 최고의 로컬 LLM 런타임으로 선정되었으며 , 이 결과는 1월 및 오픈 웹UI 결과와 함께 해당 페이지에 반영되었습니다.