Ollama 0.40.11 - Análise Prática: Executando LLMs Locais no Windows

O Ollama 0.40.11 oferece aos usuários do Windows um aplicativo de bate-papo para desktop e um ambiente de execução local para outros softwares. O Ollama também evoluiu além de sua interface de linha de comando original, adicionando um seletor de modelos com função de busca, anexos de imagens e links para ferramentas de codificação. Alguns controles necessários para os testes ainda estão presentes no PowerShell e nos arquivos de configuração dos modelos.

Instalamos o Ollama em nosso HP Z4 Rack G5 com Windows 11 Pro para Estações de Trabalho, 128 GB de RAM e uma GPU NVIDIA RTX 5000 Ada Generation. Usando nossos arquivos GGUF Jan V3.5 4B e Jan V2 VL High existentes, testamos a velocidade de geração, o chat, as imagens, a busca online e a API local. O Ollama executou nossos modelos locais com bom desempenho, embora a importação dos arquivos GGUF e a coleta de dados de desempenho tenham nos tirado do chat. Este é o terceiro aplicativo da nossa série de ferramentas locais para modelagem de modelos locais (LLM), depois do Jan e do Open WebUI , e os resultados alimentam nossa página de Melhores Ferramentas Locais para LLM.

Sistema de teste

Componente	Configuração
Sistema Operacional	Windows 11 Pro para estações de trabalho
CPU	Intel Xeon w5-2465X, 16 núcleos
Memória	128GB
GPU	Geração NVIDIA RTX 5000 Ada
VRAM	32 GB (32,760 MiB reportados)
driver de vídeo NVIDIA	597.06
Compatibilidade com CUDA	13.2 (relatado por nvidia-smi)
Ollama	0.40.11
Tempo de execução de inferência	Ollama llama.cpp executor (número de compilação não registrado)

Instalando o Ollama e primeiros passos

Instalar o Ollama em nossa estação de trabalho Windows foi uma mudança bem-vinda em relação a algumas das dores de cabeça de configuração que encontramos com outros aplicativos desta série. Baixamos o instalador padrão do Windows, executamos o aplicativo e não precisamos instalar um ambiente de execução de inferência separado nem procurar pacotes CUDA. Uma rápida verificação com o PowerShell confirmou que o Ollama 0.40.11 estava em execução e que seu serviço local já estava respondendo em http://127.0.0.1:11434.

Após passarmos pela tela de boas-vindas, o Ollama abriu em uma interface de bate-papo familiar, com conversas recentes, aplicativos e configurações na barra lateral esquerda. O campo de mensagem reúne o botão de anexo, a busca na web e o seletor de modelos. Conseguimos começar a conversar com nossos modelos locais importados sem criar uma conta, embora o Ollama tenha solicitado que fizéssemos login quando tentamos ativar a busca na web durante os testes.

Navegação e adição de modelos

O Ollama mantém a seleção de modelos bastante simples, com um menu suspenso que mostra tanto os modelos instalados quanto outros disponíveis para download. Pudemos ver nossos modelos Jan importados e o Qwen3-VL, juntamente com diversas opções baseadas em nuvem, identificadas por um pequeno ícone de nuvem. Há também um campo de busca para encontrar outros modelos, embora gostaríamos de ver mais informações ali, como tamanho do modelo, quantização e requisitos de hardware. O Jan fornece esses detalhes por meio de sua central de modelos, enquanto o Ollama mantém a maior parte dessas informações fora da interface principal de bate-papo.

Importar nossos dois modelos de referência para o Ollama exigiu mais trabalho, pois queríamos usar exatamente os mesmos arquivos GGUF de nossas análises anteriores, mantendo os testes de desempenho o mais comparáveis ​​possível. Embora o Ollama permita baixar modelos diretamente por meio de sua interface de desktop, não encontramos uma opção para importar arquivos GGUF já armazenados na estação de trabalho. Tivemos que usar o PowerShell, criando um arquivo Modelfile para cada modelo que apontava para seu GGUF existente e incluía os parâmetros de amostragem usados ​​em nossos testes anteriores. Em seguida, usamos o ollama create comando para adicioná-los à biblioteca de modelos do Ollama.

Ambas as importações funcionaram sem problemas, com a versão Jan V3.5 aparecendo como jan-v35-sr e Jan V2 VL Alto como jan-v2-srTambém baixamos o Qwen3-VL 4B diretamente pelo Ollama para um teste separado de análise de imagem.

Após importar os modelos, verificamos como o Ollama os identificou e se suas configurações foram transferidas corretamente. O modelo Jan V2 VL High foi reconhecido como um modelo Qwen3-VL de 8.2 bilhões de parâmetros usando quantização Q4_K_M, o que correspondeu ao nosso arquivo original. O modelo Jan V3.5 foi a exceção, pois o GGUF que importamos foi nomeado. Jan-v3.5-4B-Q4_K_XL.gguf, mas o Ollama reportou sua quantização como Q4_K_M. Deixamos o arquivo original inalterado; o motivo provável é que Q4_K_XL é a quantização dinâmica do Unsloth, construída principalmente a partir de camadas Q4_K_M, e os metadados do arquivo registram esse tipo base.

Configurações do modelo e uso da GPU

A página de Configurações do Ollama inclui acesso à nuvem, atualizações automáticas, acesso à rede, um caminho de armazenamento de modelos e um controle deslizante para o comprimento do contexto, que mostrava 32K quando a inspecionamos pela primeira vez. Nossos testes de desempenho solicitaram explicitamente 8,192 tokens por meio da API, portanto, os resultados do benchmark abaixo usaram esse contexto, e não o padrão da versão para desktop.

Como o Ollama não oferece o mesmo nível de configuração de modelos por meio de sua interface de desktop que o Jan, fizemos a maioria dos ajustes por meio de Modelfiles e requisições à API. Para manter nossos benchmarks comparáveis, usamos as mesmas configurações dos nossos testes anteriores: temperatura 0.8, Top K 40, Top P 0.95, Min P 0.05 e uma penalidade de repetição de 1.0. Também solicitamos um tamanho de lote de 2,048, embora não tenhamos conseguido verificar de forma independente se o Ollama o aplicou durante a geração.

A configuração da GPU também era diferente, já que não havia uma configuração de área de trabalho equivalente às 100 camadas de GPU que usávamos em janeiro. O Ollama lidava com o descarregamento da GPU automaticamente, e uma verificação rápida usando ollama ps Confirmou-se que ambos os modelos importados estavam rodando inteiramente com a placa de vídeo RTX 5000 Ada.

Verificamos esse relatório comparando-o com as próprias leituras da NVIDIA. A versão 3.5 de janeiro aumentou a alocação de VRAM em vários gigabytes após o carregamento, e uma leitura em tempo real atingiu 93% de utilização da GPU durante a geração. A versão 2 de janeiro também relatou residência total na GPU e mostrou 96% de utilização em nosso teste de diagnóstico. Pelo menos nesta estação de trabalho, não precisamos usar uma variante CUDA separada ou uma configuração de camada de GPU para obter geração acelerada.

Desempenho da Geração Local

Para os testes de geração, usamos a mesma instrução do nosso teste prático publicado em janeiro : “Explique RAID 5 e RAID 6 para alguém que está montando seu primeiro NAS. Inclua as principais vantagens e desvantagens de cada um, em cerca de 400 palavras.” Desativamos a Busca na Web, definimos o contexto para 8,192 tokens e incluímos apenas essa mensagem específica do usuário em cada solicitação de API. Descartamos uma resposta de aquecimento por modelo e, em seguida, coletamos três execuções medidas.

Ambos os modelos concluíram as três execuções medidas sem falhas de geração, e a utilização da GPU permaneceu alta durante todo o teste. O Ollama não exigiu nenhuma configuração adicional de CUDA ou ajustes manuais na camada de GPU para que ambos os modelos funcionassem com aceleração total da GPU, o que não ocorreu no Open WebUI, onde adicionamos manualmente as DLLs de tempo de execução do CUDA.

Modelo	Quantização	Tokens de saída	Velocidade de decodificação	Memória GPU
Jan V3.5 4B	Arquivo Q4_K_XL*	529	145.48 tok/s	5,082 MiB
Jan V2 VL Alto	Q4_K_M	1,696	92.87 tok/s	7,124 MiB

Nota: A contagem de tokens de saída, as velocidades de decodificação e os valores de memória da GPU são medianas de três execuções medidas, após uma execução de aquecimento descartada. A memória da GPU é a mediana do pico de uso de memória em toda a GPU registrado durante cada execução medida.

*O nome do arquivo GGUF Jan V3.5 identifica Q4_K_XL, enquanto as informações do modelo da Ollama indicam Q4_K_M; veja as notas de importação acima.

O Jan V3.5 registrou 145.48, 145.73 e 145.44 tokens/seg em suas execuções medidas, enquanto o Jan V2 registrou 92.87, 92.22 e 92.97 tokens/seg. Ambos os conjuntos permaneceram próximos de uma execução para outra, e os picos de memória da GPU medidos permaneceram inalterados em cada conjunto. O Jan V2 produziu consideravelmente mais tokens de saída relatados, aparentemente incluindo a atividade de raciocínio, portanto, esses totais não são uma comparação direta do comprimento da resposta visível.

Na mesma estação de trabalho e com os mesmos arquivos de modelo, esses são os resultados mais rápidos desta série até o momento. O Jan V3.5 decodificou 18% mais rápido do que o próprio Jan (123 tokens/seg) e 26% mais rápido do que o Open WebUI Desktop (115.32), enquanto o Jan V2 ficou 13% à frente do Jan (82) e 24% à frente do Open WebUI (75.06). Cada aplicativo executa sua própria versão do llama.cpp e gerencia o descarregamento da GPU à sua maneira, portanto, a comparação reflete o pacote completo que cada um oferece, e não apenas o modelo.

Não publicamos as medianas de processamento imediato porque solicitações repetidas produziram tempos muito curtos, que podem ter sido afetados pelo cache. Além disso, as configurações de tempo de execução não podem ser idênticas em todos os aspectos: Jan expôs as camadas da GPU diretamente, enquanto Ollama gerenciou o descarregamento automaticamente.

Usando o Ollama para bate-papo local

Com os modelos instalados, selecionamos Jan V3.5 ou Jan V2 no menu suspenso e inserimos o prompt RAID. As respostas apareceram com títulos e listas, enquanto as conversas recentes permaneceram na barra lateral. O Ollama não exibiu a taxa de geração ou a contagem de tokens abaixo das respostas, então coletamos esses dados por meio de sua API.

Gerenciar conversas no Ollama era bastante fácil, já que clicar com o botão direito em uma conversa anterior exibia opções para renomeá-la ou excluí-la, com uma opção Compartilhar disponível em Mais ferramentas. Também podíamos voltar e editar mensagens que já havíamos enviado, embora não houvesse tantas opções para as respostas do modelo. O único botão que encontramos foi Copiar, que permanece visível abaixo de cada resposta mesmo quando o cursor não está sobre ela. Não conseguimos encontrar uma maneira de regenerar uma resposta ou visualizar suas estatísticas de geração na janela de bate-papo, pelo menos na versão que testamos.

O Ollama também possui uma seção de Aplicativos com assistentes de codificação, incluindo Codex CLI, Claude Code, OpenCode e Cline. Queríamos ver como essas integrações funcionavam, então clicamos em Codex CLI para ver qual era a configuração necessária. O Ollama não abriu uma tela de configuração; ele copiou um comando de inicialização para a área de transferência e nos instruiu a colá-lo em um terminal. Não concluímos a instalação completa nem executamos o Codex, mas isso nos deu uma ideia melhor de como o Ollama conecta modelos locais a aplicativos externos.

Pesquisa na internet

O Ollama adiciona um botão de globo terrestre ao lado do controle de anexos no Chat, mas ao selecioná-lo, uma mensagem informava que a Pesquisa na Web exigia uma conta do Ollama. Após criar uma conta gratuita e habilitar o recurso, utilizamos nossa pergunta de teste existente, solicitando a versão estável mais recente do Open WebUI em 15 de outubro de 2026, com a respectiva citação da fonte.

Encontramos outro problema ao testar o recurso de Busca na Web do Ollama: o aplicativo tentou recuperar resultados, mas retornou uma mensagem de “erro na API de busca (status 402)”. O código HTTP 402 indica que o pagamento é necessário, sugerindo que o serviço de busca requer um plano pago, embora o Ollama não tenha mencionado isso. O modelo sugeriu que o problema poderia estar relacionado ao preço da conta ou aos limites de uso, mas não conseguimos determinar a causa exata. Como nossos modelos locais estavam funcionando normalmente, decidimos não investir mais tempo na solução de problemas do serviço de busca. Ainda assim, foi decepcionante não termos conseguido concluir o mesmo teste de Busca na Web que havíamos tentado com os outros aplicativos desta série.

Entrada multimodal

Nosso primeiro teste de imagem utilizou o mesmo Jan V2 VL High GGUF que funcionou com um projetor de visão separado no Jan. O Ollama aceitou o arquivo de modelo de linguagem, mas nosso procedimento de importação não associou o arquivo mmproj correspondente. Quando tentamos anexar a captura de tela da NVIDIA a uma conversa no Jan V2, o aplicativo para desktop exibiu a mensagem “Este modelo não suporta imagens” antes que pudéssemos enviar a solicitação.

Em seguida, testamos com a placa Qwen3-VL 4B, baixada pelo Ollama, usando o mesmo prompt que solicitava o modelo da GPU, a versão do driver, a VRAM, a utilização, a temperatura e o consumo de energia. Esse modelo aceitou a captura de tela e finalizou com os seis valores corretos: RTX 5000 Ada Generation, driver 597.06, 32,760 MiB, 0% de utilização, 39°C e 40W. Sua resposta não foi perfeita o tempo todo, já que exibiu brevemente uma leitura incorreta de 8% de utilização antes de corrigir esse valor no resumo final.

No Ollama, não conseguimos colar uma imagem diretamente da Ferramenta de Recorte do Windows na janela de bate-papo, como fazíamos com os outros aplicativos. Em vez disso, tivemos que salvar a captura de tela primeiro e, em seguida, carregá-la usando o botão + ao lado do campo de mensagem. Isso funcionou sem problemas e o modelo Qwen3-VL do Ollama analisou a imagem com sucesso. Nosso modelo Jan V2 importado não aceitou o mesmo anexo, o que limitou nossa capacidade de repetir o teste multimodal original.

Servidor de API local

A API local do Ollama estava disponível assim que seu serviço do Windows era iniciado, sem a necessidade de abrir um servidor separado a partir da interface de desktop. Uma solicitação para http://127.0.0.1:11434/v1/models Devolvemos os modelos Jan V3.5 e Qwen3-VL que tínhamos instalado e fizemos um pedido para /v1/chat/completions O uso do Jan V3.5 gerou uma explicação de RAID 6 em uma única frase.

A resposta usou uma terminologia ligeiramente imprecisa para a paridade RAID 6, o que foi um problema de saída do modelo, e não uma falha da API. O endpoint funcional nos permitiu consultar modelos locais diretamente do PowerShell sem usar o chat da área de trabalho.

O que deu errado

O problema mais frustrante que encontramos foi fazer nosso modelo Jan V2 VL High importado funcionar com imagens. Não tivemos problemas para importar o arquivo GGUF ou executar comandos de texto com aceleração total da GPU, mas a situação mudou quando tentamos anexar nossa captura de tela da NVIDIA. O Ollama nos informou que o modelo não suportava imagens porque nossa importação não incluía o projetor de visão separado que o Jan V2 exige. Ainda conseguimos concluir o teste de análise de imagem usando o download do Qwen3-VL do Ollama, que funcionou sem problemas. Isso mostrou que o Ollama conseguia processar imagens, mas fazer nosso modelo Jan V2 existente fazer o mesmo não foi tão simples quanto importar seu arquivo GGUF.

Para usar o recurso de Busca na Web, tivemos que criar uma conta Ollama antes de ativá-lo. Depois de fazer login e enviar nossa pergunta de teste, o serviço retornou um erro HTTP 402 e nenhum resultado de pesquisa. Não conseguimos determinar a causa do erro e não havia muita razão para continuar alterando as configurações da conta ou experimentando planos diferentes sem saber se isso resolveria o problema.

Também notamos a frequência com que precisávamos recorrer ao PowerShell para tarefas como importar nossos modelos existentes, ajustar suas configurações e coletar medições de desempenho. O aplicativo para desktop era fácil de usar para conversas do dia a dia, mas não oferecia o mesmo nível de controle que tínhamos com a interface do Jan. Além desses problemas, o Ollama nos deu muito poucos problemas durante os testes: ambos os modelos foram importados com sucesso, todas as seis execuções de benchmark foram concluídas e a API local funcionou conforme o esperado.

Conclusão

Nossos testes com o Ollama 0.40.11 correram bem no geral, especialmente com a execução de modelos locais na RTX 5000 Ada. Ambos os nossos GGUFs importados funcionaram com aceleração total por GPU sem a necessidade de qualquer configuração adicional de CUDA, e o desempenho foi o melhor da série, com o Jan V3.5 atingindo uma mediana de 145.48 tokens/seg e o Jan V2 VL High atingindo 92.87 tokens/seg, os resultados mais rápidos desta série e de 13 a 18% à frente do Jan na mesma estação de trabalho. Depois de tudo configurado, não tivemos problemas para alternar entre a interface de chat da área de trabalho e a API local, e todos os benchmarks medidos foram concluídos sem problemas.

Embora tenhamos gostado da simplicidade do Ollama para conversas do dia a dia, teríamos preferido mais controle sobre os modelos individuais no aplicativo para desktop. Ter que usar o PowerShell e criar arquivos de modelo para importar nossos GGUFs existentes adicionou algumas etapas extras, especialmente em comparação com o Jan, onde a maioria dessas configurações está disponível diretamente na interface. Isso não necessariamente incomodará alguém já familiarizado com a execução de modelos locais, mas iniciantes que desejam gerenciar tudo por meio de uma interface gráfica podem achar o Ollama limitador. Também encontramos alguns problemas com a Busca na Web e nosso modelo de visão importado, embora nenhum deles tenha afetado a geração normal de texto.

O que mais gostamos no Ollama foi a facilidade com que ele podia disponibilizar modelos locais para outros aplicativos sem a necessidade de configurar um servidor separado. O chat na área de trabalho é fácil de usar, enquanto a API local e o suporte para ferramentas de programação externas permitem que os usuários façam muito mais do que apenas conversar com modelos locais. Ainda gostaríamos de ver controles de gerenciamento de modelos melhores na interface da área de trabalho, mas o Ollama teve um bom desempenho em nossa estação de trabalho e nos proporcionou uma maneira confiável de executar nossos dois modelos de teste com aceleração por GPU.

Classificação: O Ollama detém o título de Melhor Tempo de Execução Local Geral em nossa página de Melhores Ferramentas Locais para LLM , onde esses resultados agora figuram ao lado dos nossos números de janeiro e do Open WebUI.