Tiga Golongan LLM
Ada 3 golongan LLM (Large Language Model): proprietary, open weight, open source. Mari kita cerna bedanya supaya tidak salah kaprah.
Proprietary: lisensinya khusus sehingga hanya bisa diakses dengan menembak API yang disediakan si empunya. Contoh: GPT-nya OpenAI, Claude-nya Antrophic, Gemini-nya Google. Pasti ada ongkos pemakaian dong!
Lantas, bagaimana dengan yang open weight dan open source? Lanjut dikit yuk.
Untuk yang open weight, filenya bisa kita download. Isinya adalah segambreng angka-angka yang mewakili bobot semua lapisan di jaringan syaraf tiruannya. Contoh: Mistral, Llama dari Meta, Gemma dari Google, Phi dari Microsoft, Qwen, dll.
Bagaimana dengan yang open source? Nggak cuma modelnya bisa kita download, semua bahan dan proses pelatihannya (training) juga tersedia lengkap. Contoh: SmolLM, OpenLlama, Falcon.
Perbedaan antara open weight vs open source ini penting sekali, jangan kita gampangkan.
Open weight itu ibarat dapat file executable aja. Walaupun tidak dipungut biaya, tetap aja kita nggak tahu jeroannya apa.
Open source itu lebih bebas lagi. Bahan training ada, cara trainingnya juga dijabarkan lengkap. Kali aja kita mau bongkar pasang, modifikasi, oprek, dll (walaupun pada prakteknya ongkosnya mahal banget).
Karena sifatnya open, model-model tersebut bisa kita jalankan sendiri. Pun ada layanan yang menyediakan akses ke model tersebut lewat API, bisa disebut sebagai LLMaaS (LLM-as-a-Service).
Ibaratnya nasi goreng aja. Tidak ada yang rahasia dari resep nasi goreng. Bahkan semua bahan dan bumbunya tersedia di semua swalayan. Nah silakan pilih, mau masak sendiri atau beli dari abang-abang. Masing-masing punya kelebihan dan kekurangannya sendiri.
Mau jalanin model secara lokal? Banyak pilihannya. Favorit saya adalah llama.cpp atau Cortex. Ada juga LocalAI, Ollama, vLLM, LM Studio, Myst, dan banyak lagi.
Buat yang nubi, coba pakai Llamafile dulu: github.com/Mozilla-Ocho/llamafile (dan ambil model paling kecil, toh buat nyoba aja) 👇
O iya, untuk inferensi lokal, mesinnya kudu sakti. Kalau nggak, lamban banget jalannya dan bisa menguji kesabaran. Berikut contoh rakitan inferensi lokal: $300 untuk Merakit Mesin Inferensi LLM.
Kalau lebih suka bayar layanan/hosting (LLMaaS), pilihannya segudang: AI21, Antrophic, Avian, Cerebras, Deep Infra, DeepSeek, Fireworks, Google Gemini, Groq, Hyperbolic, Lepton, Mistral, Nebius, Novita, OpenRouter, Together. Dan juga tentunya OpenAI.
Masing-masing punya kelebihan tersendiri. Ada yang bagus banget tapi mahal. Ada yang kenceng banget, ternyata belum cocok buat prod. Ada yang cukup cepat dan harga bersaing, eh belum bisa JSON schema.
Berminat belajar nembak API-nya LLM secara gampang banget? Komentar di sini, nanti saya siapkan tutorialnya (pakai JavaScript, Python, Clojure, Swift, ataupun Go).
Tenang, ini bukan jualan kelas/ebook berbayar 😅
Dijamin semuanya cuma-cuma (tinggal modal motivasi yang prima), lengkap dengan penjabaran rinci dan boleh tanya-tanya juga!
Tempo dulu, topik ini sempat saya kupas di Threads.