Self host LLM: menjalankan model AI di server sendiri

Kenapa orang menjalankan LLM sendiri

Alasan utamanya privasi. Saat model berjalan di servermu, prompt dan dokumen tidak pernah dikirim ke vendor AI. Ini penting untuk data pelanggan, dokumen internal perusahaan, atau apa pun yang tidak boleh keluar dari infrastrukturmu sendiri.

Alasan kedua adalah kendali. Kamu memilih model, versi, dan kuantisasinya sendiri, tidak ada batas rate limit dari pihak lain, dan model tidak tiba-tiba berubah perilaku karena vendor memperbaruinya diam-diam. Alasan ketiga - biaya - hanya berlaku di kondisi tertentu, dan itu dibahas di bagian akhir.

Ollama, llama.cpp, atau vLLM?

Ketiganya gratis dan open source, tapi dibuat untuk kebutuhan yang berbeda. Pilih berdasarkan berapa orang yang akan memakai model itu sekaligus.

• Ollama: paling mudah. Satu perintah untuk memasang, satu perintah untuk menarik model, dan langsung ada API yang kompatibel dengan format OpenAI. Cocok untuk pemakaian pribadi, tim kecil, dan otomatisasi seperti n8n.
• llama.cpp: mesin di balik Ollama. Memakai file GGUF terkuantisasi dan berjalan baik di CPU biasa. Pilih ini kalau ingin mengatur setiap parameter sendiri.
• vLLM: untuk produksi di GPU. Menangani banyak permintaan paralel jauh lebih efisien berkat batching, tapi butuh GPU NVIDIA dan setup yang lebih teknis.

CPU atau GPU: pilih ukuran model dulu

Model bahasa menyimpan seluruh bobotnya di memori. Model kecil hasil kuantisasi 4-bit bisa berjalan di VPS tanpa GPU asalkan RAM-nya cukup - jawabannya lebih pelan, tapi untuk tugas latar belakang seperti ringkasan atau klasifikasi itu sering tidak masalah.

Untuk chat yang terasa instan, model yang lebih besar, atau konteks panjang, kamu butuh GPU. Berapa VRAM yang diperlukan tergantung jumlah parameter, kuantisasi, panjang konteks, dan jumlah pengguna paralel. Jangan menebak: masukkan modelmu ke kalkulator VRAM kami dan lihat kartu mana yang cukup.

Aturan praktisnya: mulai dari model terkecil yang menyelesaikan tugasmu dengan baik. Model open source kecil sekarang sudah cukup pintar untuk menjawab pertanyaan dari dokumen, menerjemahkan, atau merapikan teks. Model besar memberi jawaban lebih baik untuk penalaran rumit, tapi setiap langkah naik ukuran berarti GPU yang lebih mahal dan respons yang lebih lambat.

Sewa GPU per jam, bukan beli kartu

Kalau kamu belum yakin berapa lama model akan dipakai, sewa GPU per jam adalah cara paling murah untuk mulai. Nyalakan pod, uji model, lalu matikan saat selesai - kamu hanya membayar jam yang dipakai. Tabel di bawah menunjukkan harga GPU per jam saat ini dari beberapa penyedia.

Ingat bahwa sebulan menyala 24/7 kira-kira 730 jam. GPU yang murah per jam bisa jadi mahal kalau dibiarkan menyala terus tanpa ada yang memakainya.

Kapan API lebih murah daripada server sendiri

Server sendiri dibayar per jam, entah ada permintaan atau tidak. API dibayar per token. Jadi kalau pemakaianmu kecil atau tidak teratur, API hampir selalu lebih hemat. Server sendiri baru menang saat GPU sibuk sebagian besar waktu, atau saat privasi lebih penting daripada selisih biaya.

Alat server sendiri vs API di hostalu menghitung titik impasnya: masukkan jumlah token per bulan, harga API, dan harga GPU sewaan, lalu lihat mana yang lebih murah untuk beban kerjamu.

Tips keamanan sebelum go-live

Jangan pernah membuka port API Ollama atau vLLM ke internet tanpa autentikasi - siapa pun bisa memakai GPU-mu. Taruh reverse proxy dengan login di depannya, atau akses lewat VPN seperti WireGuard atau Tailscale. Simpan model di volume terpisah supaya tidak perlu mengunduh ulang setiap kali server dibuat ulang.