Modelos mixture-of-experts executam apenas uma fração de seus parâmetros por token, razão pela qual Hy3 Tencent 295B ou DeepSeek V3 671B agora cabem em orçamentos de RAM de consumidor que costumavam se limitar a cerca de 70B densos. Tencent lançou Hy3 sob Apache 2.0 em 6 de julho de 2026, com 21B parâmetros ativos e uma janela de contexto de 256K. DeepSeek continua lançando atualizações V3, Mixtral 8x22B permanece competitivo em custo, e Qwen3 MoE possui variantes de 30B a 235B. O gargalo mudou de VRAM de GPU para se seu executor local realmente entende roteamento de especialistas esparsos, e nem todos entendem.
Testamos 8 dos melhores aplicativos para executar modelos MoE LLM abertos no desktop em Windows, macOS e Linux. Cada um foi avaliado em compatibilidade GGUF e safetensors, controles de roteamento de especialistas, comportamento de descarregamento de CPU para especialistas frios, e a rapidez com que o projeto fornece suporte para novas arquiteturas como hy_v3, qwen3moe e deepseek2. Alguns são executáveis de arquivo único. Outros supõem que você conhece Docker. Todos são gratuitos para uso pessoal, e a maioria é gratuita para uso comercial também.
O que procurar em um executor MoE LLM local capaz
Alguns critérios separam os aplicativos que lidam com uma nova arquitetura MoE no primeiro dia daqueles que falham silenciosamente ao carregar os pesos:
- Suporte nativo para as arquiteturas MoE atuais: Mixtral, DeepSeekMoE, Qwen3MoE, Hunyuan-A13B e hy_v3. Os executores geralmente ficam para trás do calendário de lançamento do modelo em 2 a 4 semanas, então qualquer coisa mais antiga que isso é um sinal de aviso.
- Cobertura GGUF e safetensors. GGUF é o que a comunidade Hugging Face realmente publica para uso local. Executores sem ele estão bloqueados da maioria das quantizações.
- Controles de roteamento de especialistas. Cada MoE tem um roteador top-k. Ser capaz de ajustar o número de especialistas ativos negocia throughput contra qualidade, e é a diferença entre um MoE que se sente rápido e um que se sente denso.
- Descarregamento seletivo de CPU. Um executor bem ajustado mantém o roteador e os pesos de atenção compartilhados na GPU e empurra especialistas frios para RAM do sistema. É assim que um modelo 295B cabe em 64 GB de DDR5 mais uma placa de faixa média.
- Servidor API compatível com OpenAI. Quase toda extensão de editor, framework de agente e ferramenta de memória fala o dialeto OpenAI Chat Completions. Se o executor não expõe um, integração é um projeto de lição de casa.
- Profundidade de quantização. Q4_K_M é o cavalo de trabalho atual para MoE. Métodos mais novos como APEX e IQ4_XS economizam mais VRAM sem perda de qualidade mensurável nos especialistas roteados.
Comparação rápida
| Aplicativo | Melhor para | Plataformas | Licença | Preço | Arquiteturas MoE |
|---|---|---|---|---|---|
| LM Studio | Primeira execução MoE com GUI | Windows, macOS, Linux | Proprietary | Grátis | Mixtral, DeepSeek, Qwen3MoE, Hunyuan-A13B |
| Ollama | Execuções MoE em terminal | Windows, macOS, Linux | MIT | Grátis | Mixtral, DeepSeek V3, Qwen3MoE |
| llama.cpp | O upstream do qual cada wrapper depende | Windows, macOS, Linux | MIT | Grátis | Mixtral, Qwen3MoE, DeepSeekMoE, Hunyuan-A13B |
| Jan | Equivalente de código aberto ao LM Studio | Windows, macOS, Linux | AGPLv3 | Grátis | O que llama.cpp suporta |
| KoboldCPP | Instalações de arquivo único | Windows, macOS, Linux | AGPLv3 | Grátis | Mixtral, DeepSeek, Qwen3MoE |
| Text Generation WebUI | Interface para usuários avançados | Windows, macOS, Linux | AGPLv3 | Grátis | Mixtral, Qwen3MoE, DeepSeekMoE via três carregadores |
| vLLM | Servindo MoE multi-GPU | Linux (Windows/macOS via WSL ou Docker) | Apache 2.0 | Grátis | Mixtral 8x22B, DeepSeek V3, Qwen3MoE |
| LocalAI | Substituição OpenAI multi-backend | Linux, macOS, Windows (Docker) | MIT | Grátis | Tudo o que llama.cpp ou vLLM cobre |
Os aplicativos
1. LM Studio — melhor executor MoE em geral para a maioria das pessoas
LM Studio é o caminho mais rápido de uma instalação nova para um chat MoE funcionando. O catálogo de modelos no aplicativo lista variantes Mixtral, DeepSeek Coder V2 Lite, Qwen3 MoE e Hunyuan-A13B com filtros de tamanho e quantização, então escolher um modelo MoE para seu orçamento VRAM é uma etapa deslizável, não uma expedição Hugging Face. A tela de carregamento expõe um controle deslizante Number of Experts que mapeia para llama.expert_used_count, permitindo substituir o top-k padrão quando a qualidade importa mais que tokens por segundo. LM Studio para fluxos de trabalho MoE também envia um backend MLX em Apple Silicon e um caminho CUDA em Nvidia, então a mesma instalação funciona em um M3 Max ou estação de trabalho com RTX 5090.
Onde fica aquém: o aplicativo desktop é de código fechado, e o servidor headless integrado requer alguns ajustes para ser exposto adequadamente. Comparado a um executor CLI simplificado, a GUI mantém mais RAM em segundo plano.
Preços:
- Grátis: aplicativo desktop completo para uso pessoal e comercial, sem limites de taxa, sem chamadas em nuvem
- Pago: Plano Enterprise a $10 por usuário por mês para SSO, gating de modelo e MCP, catálogos de equipe privados
Plataformas: Windows, macOS, Linux
Baixar: lmstudio.ai
Resultado final: a opção se você quer que um modelo MoE esteja conversando na sua área de trabalho antes do almoço. Ignore se você se recusa a instalar binários de código fechado.
2. Ollama — melhor CLI gratuito para modelos MoE abertos
Ollama extrai Mixtral, DeepSeek V3, Qwen3 MoE e variantes Hunyuan com um único ollama run e expõe um endpoint REST em localhost:11434 que fala o formato OpenAI Chat Completions. O registro acompanha novos lançamentos MoE, e os internals de roteamento rastreiam um fork llama.cpp atual, então arquiteturas como mixtral, deepseek2 e qwen3moe são carregadas sem operações de bandeira. Ollama para inferência MoE local é a ferramenta para qual a maioria dos desenvolvedores recorre quando quer roteirizar um fluxo de trabalho em torno de um modelo roteado.
Onde fica aquém: o daemon não tem interface para ajustar contagem de especialistas, então você edita um Modelfile ou passa overrides através da API para ajustar roteamento esparso. Os Modelfiles padrão também limitam conservadoramente comprimentos de contexto, o que machuca na janela 256K de Hy3 até você aumentar num_ctx.
Preços:
- Grátis: todos os runtime, extrações de registro de modelo e servidor API
- Pago: nada do projeto
Plataformas: Windows, macOS, Linux
Baixar: ollama.com ou GitHub
Resultado final: a escolha certa se terminal é onde você já vive. Não se você quer controles visuais de roteamento de especialistas.
3. llama.cpp — melhor fundação para curiosos
llama.cpp é o executor que quase todos os outros aplicativos nesta lista encapsulam. Direto significa que você obtém suporte de arquitetura MoE no primeiro dia para qualquer coisa que upstream confirme: Mixtral, Qwen3MoE, DeepSeekMoE, e o caminho recomendado para Hunyuan-A13B. Você também obtém bandeiras que wrappers ocultam, como --override-kv llama.expert_used_count=int:4 para ajuste de top-k e --cpu-moe para empurrar especialistas frios para RAM do sistema.
Onde fica aquém: não há interface. Gerenciamento de modelo, quantização e servidor compatível com OpenAI (llama-server) são binários separados com seus próprios argumentos. Novas arquiteturas normalmente chegam 2 a 4 semanas após o artigo sair, o que atingiu usuários iniciais de Hy3 rodando da fonte.
Preços:
- Grátis: fonte licenciada por MIT e binários pré-construídos para CUDA, ROCm, Metal, Vulkan, SYCL e OpenVINO
- Pago: nenhum
Plataformas: Windows, macOS, Linux
Resultado final: para quem quer saber quais camadas aterrissam na GPU. Excesso para chat casual.
4. Jan — melhor equivalente LM Studio de código aberto
Jan é um shell desktop sobre llama.cpp com licença AGPLv3, um navegador de modelo Hugging Face que filtra arquivos GGUF por tamanho, e um servidor API compatível com OpenAI local em localhost:1337. O catálogo MoE cobre variantes Mixtral, DeepSeek Coder V2 Lite e quantizações comunitárias Qwen3 MoE, e o aplicativo herda overrides de roteamento de especialistas llama.cpp através seu painel de configurações de modelo. Jan para usuários MoE que querem interface é o substituto de código aberto mais próximo de um substituto LM Studio.
Onde fica aquém: Jan tende a ficar para trás das arquiteturas MoE mais recentes por um ou dois lançamentos, então se suporte hy_v3 acaba de chegar ao master llama.cpp, você pode esperar que uma compilação Jan acompanhe. Alguns usuários também relatam pressão de memória ao navegar listas de modelo muito grandes.
Preços:
- Grátis: aplicativo desktop completo sob AGPLv3
- Pago: nenhum
Plataformas: Windows, macOS, Linux
Resultado final: escolha Jan se você quer uma interface de estilo LM Studio sem o binário fechado. Procure em outro lugar se você precisa de suporte no dia do lançamento de arquiteturas totalmente novas.
5. KoboldCPP — melhor executor MoE sem instalação
KoboldCPP comprime um runtime completo, interface de chat e histórias KoboldAI, e um endpoint compatível com OpenAI em um único executável de 200 MB. Desde a versão 1.8, a tela de carregamento expõe contagem de especialistas MoE na página Tokens para quantizações Mixtral, DeepSeek e Qwen3 MoE. Variantes CUDA, Vulkan e somente CPU pré-construídas são enviadas para Windows, Linux e Apple Silicon, o que torna KoboldCPP para cargas de trabalho MoE o caminho de instalação mais curto possível.
Onde fica aquém: a interface é otimizada para escrita criativa e interpretação de papéis, que lê barulho para trabalho de assistente direto. Descoberta de modelo é manual: você cai o GGUF ao lado do executável e aponta para ele.
Preços:
- Grátis: binário completo sob AGPLv3, sem telemetria
- Pago: nenhum
Plataformas: Windows, macOS (Apple Silicon), Linux
Baixar: koboldcpp.com ou GitHub
Resultado final: aquele para pegar se você se recusa a instalar um framework completo. Menos agradável se você quer atualizações de modelo gerenciadas.
6. Text Generation WebUI — melhor interface de usuário avançado
Text Generation WebUI de Oobabooga permite alternar entre carregadores llama.cpp, ExLlamaV2 e Transformers por modelo, o que importa para MoE porque cada carregador expõe um controle de contagem de especialistas diferente. O carregador ExLlamaV2 tem uma configuração Number of Experts per Token para modelos da família Mixtral, e o lado llama.cpp pega overrides através de --override-kv llama.expert_used_count. Uma bandeira --cpu-moe empurra pesos de especialistas para RAM do sistema para configurações de descarregamento pesado.
Onde fica aquém: cada carregador tem suas próprias peculiaridades, e o aplicativo assume que você entende qual corresponde a qual quantização. Configuração de primeira execução é mais pesada que Jan ou LM Studio.
Preços:
- Grátis: projeto completo sob AGPLv3
- Pago: nenhum
Plataformas: Windows, macOS, Linux
Baixar: GitHub
Resultado final: pegue se você gosta de ajustar carregadores e teste A/B de quantizações. Ignore se você quer MoE de um clique.
7. vLLM — melhor para throughput MoE em escala
vLLM é o executor para qual as pessoas trocam quando sua configuração de chat GPU única cresce. Versão 0.6 e posteriores suportam paralelismo de especialistas para Mixtral 8x22B, DeepSeek V3 e Qwen3 MoE através de --enable-expert-parallel, com paralelismo de tensor FP8 e BF16 em múltiplas GPUs. Lote contínuo significa que a mesma caixa pode servir dúzias de solicitações MoE simultâneas sem o pico de latência de cauda que um servidor ingênuo teria.
Onde fica aquém: vLLM apunta para Linux com hardware NVIDIA. Usuários macOS e Windows passam por WSL ou contêiner, e configurações GPU única de consumidor pagam por complexidade que não usarão.
Preços:
- Grátis: projeto Apache 2.0, instale com
pip install vllm - Pago: nada do projeto em si
Plataformas: Linux (nativo), Windows e macOS via WSL ou Docker
Resultado final: o executor de escolha quando você está servindo tráfego MoE para uma equipe. Excesso para um laptop.
8. LocalAI — mais flexível drop-in para MoE
LocalAI é um binário Go que apresenta uma API compatível com OpenAI, Anthropic e ElevenLabs e troca backends por modelo. Sob o capô envolve llama.cpp, vLLM, MLX, whisper.cpp e stable-diffusion, então qualquer GGUF MoE que llama.cpp pode converter roda através do mesmo endpoint que responde suas chamadas de embeddings e TTS. O projeto enviou sua própria estratégia de quantização APEX ajustada para papéis de tensor MoE, que permite pesos classe Mixtral corresponder qualidade Q8_0 em tamanhos próximos a Q4.
Onde fica aquém: design multi-backend é mais pesado que um aplicativo single-runtime, e configuração reside em YAML em vez de interface. Usuários Windows e macOS padrão para Docker.
Preços:
- Grátis: código fonte licenciado por MIT e imagens de contêiner
- Pago: nenhum
Plataformas: Linux, macOS, Windows (Docker em todos os três funciona)
Baixar: localai.io ou GitHub
Resultado final: a escolha quando um endpoint precisa responder para chat, embeddings, TTS e inferência MoE ao mesmo tempo. Ignore se você só precisa uma janela de chat.
Como escolher o certo
Se você nunca executou um modelo local, comece com LM Studio. Os controles MoE estão na interface, o catálogo de modelo é curado, e o primeiro chat Mixtral acontece em quinze minutos.
Se você prefere terminal, Ollama é o caminho mais curto para uma Qwen3 MoE ou DeepSeek V3 em execução. Associe com uma interface web leve depois se quiser uma janela de chat.
Se você quer entender o que está acontecendo sob o capô, vá direto para llama.cpp. Cada botão é uma bandeira, e cada arquitetura é documentada na fonte.
Se sua prioridade é código aberto sem sacrificar a interface, Jan fica mais perto de um substituto LM Studio.
Se você se recusa a instalar um framework, KoboldCPP é um executável sem dependências.
Se você já está malabarismo com quatro carregadores e quer eles sob um teto, Text Generation WebUI é o que você já sabe que quer.
Se você está servindo tráfico MoE para uma equipe ou quer paralelismo de especialistas em duas ou mais GPUs, vLLM é a resposta sensata.
Se você precisa de um endpoint compatível com OpenAI único que também trate TTS, embeddings e visão ao lado de chat MoE, execute LocalAI em Docker e pronto.
FAQ
Qual é o melhor aplicativo gratuito para executar modelos MoE LLM no desktop? Ollama para usuários de terminal, LM Studio para todos os outros. Ambos são gratuitos para uso pessoal e comercial, ambos suportam Mixtral, DeepSeek V3 e Qwen3 MoE fora da caixa, e ambos mantêm o ritmo com novos lançamentos MoE dentro de um par de semanas do upstream llama.cpp.
O hardware de consumidor pode realmente executar um modelo 295B como Tencent Hy3? Sim, com ressalvas. Hy3 ativa apenas 21B de seus 295B parâmetros por token, então throughput lê mais perto de um modelo denso 21B que 295B. Você ainda precisa RAM do sistema suficiente para manter os pesos quantizados completos, aproximadamente 180 GB para quantização Q4, então uma estação de trabalho com 256 GB DDR5 e GPU 24 GB é o ponto de entrada atual.
Qual é a diferença entre Ollama e LM Studio para modelos MoE? Ollama é um daemon CLI com um servidor REST e um registro de modelo curado. LM Studio é um aplicativo desktop com interface de chat, tela de carregamento com controle deslizante Number of Experts explícito, e servidor que ativa. Ambos envolvem backends similares baseados em llama.cpp. Escolha Ollama se você roteirizar seu fluxo de trabalho, LM Studio se você quiser controles visuais.
O llama.cpp suporta Tencent Hy3 e outras novas arquiteturas MoE? llama.cpp normalmente adiciona uma nova arquitetura MoE dentro de 2 a 4 semanas do lançamento do modelo. Mixtral, Qwen3MoE e DeepSeekMoE todos chegaram logo após lançamentos de modelo, e Hunyuan-A13B tem um caminho llama.cpp recomendado na própria documentação Tencent. Hy3, que enviou 6 de julho de 2026, tem GGUFs comunitários e mescla upstream na mesma janela de 2 a 4 semanas.
Preciso de uma GPU para executar um modelo MoE localmente? Não estritamente. llama.cpp, KoboldCPP, Ollama e LocalAI todos suportam inferência somente CPU e descarregamento de especialistas frios, então uma estação de trabalho com 128 GB ou mais de RAM pode executar quantizações MoE menores em velocidades legíveis. Uma GPU moderna com 12 a 24 GB VRAM mais descarregamento RAM do sistema é onde a experiência fica agradável.
Qual executor MoE tem a melhor API compatível com OpenAI? Para uma única máquina, LM Studio e Ollama expõem endpoints OpenAI Chat Completions limpos sem config. Para uma equipe ou frota, servidor vLLM oferece o throughput mais alto e paralelismo de especialista nativo. LocalAI costura múltiplos backends atrás de uma API de estilo OpenAI, que é útil quando chat, embeddings e visão precisam compartilhar uma URL única.
