Vlastní LLM server: Ollama, llama.cpp a vLLM v praxi

Proč provozovat LLM lokálně na vlastním serveru

Hlavní důvod je soukromí. Dokumenty, e-maily zákazníků nebo interní kód neopouštějí váš server a nikdo je nepoužije k tréninku. Druhým důvodem je kontrola: model se nezmění přes noc, nemá limity na počet dotazů a můžete si ho doladit na vlastních datech.

Třetí důvod - nižší cena - platí jen někdy. Server účtovaný po hodinách stojí peníze, i když se nikdo na nic neptá, kdežto API platíte jen za skutečně použité tokeny. Vlastní LLM se finančně vyplatí hlavně při stálé a vysoké zátěži nebo tam, kde data prostě ven posílat nesmíte.

Ollama, llama.cpp, nebo vLLM?

Všechny tři nástroje jsou open source a zdarma. Liší se tím, pro koho jsou dělané.

• Ollama - nejjednodušší start. Jeden příkaz nainstaluje server, druhý stáhne model, a hned máte API kompatibilní s OpenAI. Ideální pro jednoho uživatele, automatizace a první pokusy.
• llama.cpp - motor, na kterém Ollama stojí. Pracuje s kvantizovanými modely ve formátu GGUF, běží na CPU i GPU a nabízí nejvíc nastavení. Hodí se, když chcete vymáčknout výkon ze slabšího stroje.
• vLLM - produkční server pro GPU. Díky dávkování zvládne mnoho souběžných dotazů najednou, takže je správnou volbou pro aplikaci s desítkami uživatelů. Na CPU nemá smysl.

CPU, nebo GPU: kolik paměti potřebujete

Rozhoduje velikost modelu a přesnost, v jaké ho spustíte. Čtyřbitová kvantizace zmenší model zhruba na čtvrtinu původní velikosti a kvalitu ubere jen málo, proto je to rozumný výchozí bod. Model 3–8B ve 4 bitech poběží na VPS s 8–16 GB RAM i bez grafické karty - pomalu, ale pro úlohy na pozadí, jako je shrnování nebo třídění e-mailů, to stačí.

Pro interaktivní chat, delší kontext nebo modely 14B a větší potřebujete GPU a model musí celý vejít do její paměti VRAM. Přesné číslo pro konkrétní model, kvantizaci a délku kontextu vám spočítá naše kalkulačka VRAM - neodhadujte ho od oka, KV cache u dlouhého kontextu umí sežrat hodně paměti.

GPU si pronajměte na hodiny

Kupovat vlastní kartu se vyplatí jen při nepřetržitém provozu. Pro vývoj, testování a nárazovou práci je výhodnější GPU cloud, kde platíte za hodinu a server vypnete, jakmile ho nepotřebujete. Tabulka níže ukazuje aktuální hodinové ceny karet u jednotlivých poskytovatelů.

Při výpočtu měsíčních nákladů počítejte s tím, že provoz 24/7 znamená zhruba 730 hodin. Model, který běží jen v pracovní době, vyjde na zlomek této částky - pokud ho opravdu vypínáte. Modely a data ukládejte na trvalý disk (volume), aby se nemusely po každém spuštění stahovat znovu.

Kdy je API levnější než vlastní server

Pokud posíláte pár set dotazů denně, obyčejné API velkého poskytovatele vás téměř jistě vyjde levněji než GPU, které čeká v nečinnosti. Vlastní server začne dávat smysl při stálém provozu, velkých objemech textu nebo přísných pravidlech pro ochranu dat.

Porovnejte si to na svých číslech v nástroji Vlastní server vs API: zadáte počet tokenů měsíčně a uvidíte, od jakého objemu se pronájem GPU vyplatí víc než platba za tokeny.

Bezpečnost: port API nikdy nevystavujte

Ollama ani llama.cpp standardně nemají přihlašování. Pokud jejich port otevřete do internetu, může váš drahý server používat kdokoli. Přistupujte k modelu přes VPN (WireGuard, Tailscale), SSH tunel, nebo přes reverzní proxy s ověřováním a HTTPS. Pro rozhraní ve stylu ChatGPT postavte před model Open WebUI s vlastními účty.