Własny model AI na serwerze – jak zacząć i ile to kosztuje

Po co własny model AI, skoro jest ChatGPT?

Najczęstszy powód to prywatność. Gdy model działa na Twoim serwerze, umowy, dane klientów czy kod firmy nie wychodzą poza maszynę, którą kontrolujesz. Dla wielu firm w Polsce to prostsza rozmowa z działem prawnym niż wysyłanie danych do zewnętrznego API.

Drugi powód to przewidywalność. Otwarty model, który pobrałeś, nie zmieni się z dnia na dzień, nie zniknie z oferty i nie dostanie nowych limitów. Trzeci – koszt przy dużej, stałej liczbie zapytań, ale tu łatwo się przeliczyć, o czym niżej.

Ollama, llama.cpp czy vLLM – którego silnika użyć

Te trzy narzędzia robią to samo – ładują model i odpowiadają na pytania – ale celują w różne sytuacje. Wybór zależy głównie od tego, ilu użytkowników ma obsłużyć serwer.

• Ollama – najprostszy start: jedna komenda instaluje, druga pobiera model. Działa na CPU i GPU, ma API zgodne z OpenAI. Dobra dla jednej osoby lub małego zespołu.
• llama.cpp – silnik, na którym stoi Ollama. Wybierz go, gdy chcesz ręcznie ustawić kwantyzację, liczbę wątków czy to, ile warstw trafi na GPU. Świetny na serwerach bez karty graficznej.
• vLLM – serwer produkcyjny na GPU. Obsługuje wiele zapytań naraz dużo sprawniej niż Ollama, ale wymaga karty NVIDIA (lub AMD) i więcej konfiguracji.
• Open WebUI – nie silnik, a interfejs w stylu ChatGPT, który stawiasz przed Ollamą lub vLLM, żeby zespół miał wygodne okno czatu.

CPU czy GPU: ile pamięci potrzebuje model

Decyduje pamięć. Model musi się zmieścić w RAM (na CPU) albo w VRAM (na GPU) razem z kontekstem rozmowy. Na VPS bez karty graficznej małe modele w kwantyzacji 4-bit działają, ale odpowiadają wolno – to wystarcza do streszczeń, klasyfikacji czy automatyzacji w tle, a nie do płynnego czatu dla kilku osób.

Nie zgaduj liczb. Wpisz model, kwantyzację i długość kontekstu w kalkulatorze VRAM – pokaże, ile pamięci potrzeba i które karty z tabeli poniżej się nadają. Pamiętaj, że dłuższy kontekst potrafi zjeść zaskakująco dużo pamięci ponad sam model.

GPU na godziny zamiast własnej karty

Nie musisz kupować karty graficznej. Chmury GPU wynajmują RTX 4090, L40S, A100 czy H100 na godziny – tabela poniżej pokazuje aktualne stawki. Uruchamiasz maszynę, gdy pracujesz, i wyłączasz, gdy skończysz. Pamiętaj, że 730 godzin to pełny miesiąc pracy 24/7, więc serwer zostawiony na noc i weekend kosztuje dużo więcej, niż zakładałeś.

Praktyczny schemat: model i dane trzymaj na trwałym dysku sieciowym (volume), a samą maszynę z GPU traktuj jako jednorazową. Wtedy start trwa minuty, a za bezczynność płacisz tylko za przechowywanie.

Wybierając dostawcę, zwróć uwagę na trzy rzeczy poza ceną za godzinę: czy karta jest dostępna w regionie blisko Ciebie, ile kosztuje dysk na modele i czy maszyna stoi w profesjonalnym centrum danych, czy u niezależnego hosta na giełdzie GPU. Przy danych firmowych ta ostatnia różnica ma znaczenie większe niż kilka centów na godzinie.

Kiedy API jest po prostu tańsze

Uczciwie: dla większości małych projektów płatne API wychodzi taniej. Płacisz tylko za zużyte tokeny, nie za godziny, w których GPU czeka na pytanie. Własny serwer zaczyna się opłacać przy dużym, równym ruchu, przy wymogu prywatności albo gdy potrzebujesz modelu, którego API nie oferuje.

Zanim wynajmiesz serwer na miesiąc, policz to w narzędziu „Własny serwer AI czy API”: wpisujesz liczbę zapytań i długość odpowiedzi, a ono porównuje koszt GPU z cenami tokenów. Często najlepszy jest układ mieszany – drobne zadania na własnym małym modelu, trudne na API.

Bezpieczeństwo własnego serwera AI

Nie wystawiaj portu Ollamy ani vLLM bezpośrednio na internet – domyślnie nie mają uwierzytelniania i każdy mógłby korzystać z Twojego GPU. Łącz się przez VPN, tunel SSH albo przez reverse proxy z hasłem, np. Open WebUI z kontami użytkowników. Aktualizuj system i silnik, a klucze API trzymaj poza repozytorium.