IA local: rode modelos de IA no seu próprio computador

O que decide se um LLM local vai rodar

Primeiro a memória. O modelo inteiro precisa caber na memória da placa de vídeo, ou na memória unificada de um Mac ou de um mini PC para IA, com uma folga para a conversa. A quantização reduz o modelo a 8 ou 4 bits por peso, e assim a mesma máquina comporta um modelo bem maior, com pouca perda de qualidade.

A velocidade vem da largura de banda da memória: cada palavra que o modelo escreve lê todos os pesos uma vez. Uma placa de vídeo responde mais rápido; uma máquina com memória unificada comporta modelos maiores. O widget acima estima as duas coisas para cada aparelho.

Programas que facilitam a vida

Você não precisa programar. O Ollama e o LM Studio baixam e rodam modelos com um clique ou um comando, o Open WebUI oferece uma janela de chat parecida com a do ChatGPT no navegador, e o ComfyUI gera imagens com FLUX ou Stable Diffusion. Todos funcionam offline depois que o modelo é baixado.

Hardware próprio ou nuvem

A sua máquina ganha em privacidade e quando você usa IA todos os dias. Para os maiores modelos, ou para um trabalho que aparece de vez em quando, alugar uma GPU por hora sai mais barato que comprar - e é só desligar quando terminar. A ferramenta de comparação de custos coloca as duas opções, mais uma API, lado a lado para o seu volume.