Berkenalan dengan LLM
Baru pertama kali mau jalanin LLM lokal? Rekomendasi saya selalu yang ini: https://github.com/Mozilla-Ocho/llamafile.
Llamafile mendukung semua OS: Linux, Windows, macOS. Bahkan juga BSD!
Tentunya kecepatan si LLM bergantung hardware. Kalau hanya modal CPU biasa, ya agak pas-pasan. Tapi mayan kan untuk coba-coba.
Untuk pengguna macOS dengan Apple Silicon (dari keluarga M1 hingga M4), Llamafile otomatis memanfaatkan Metal sehingga kecepatannya juga memuaskan. Terlebih kalau RAM-nya 16 GB atau lebih.
Sementara, pengguna GPU yang seri RTX juga bisa foya-foya karena Llamafile mendeteksi kartu grafis dari keluarga NVIDIA ini dan langsung memanfaatkan CUDA-nya.
Kalau perlu contoh rakitan mesin inferensi lokal, simak yang ini: $300 untuk Merakit Mesin Inferensi LLM.
Jangan lupa, Llamafile hanya mendukung model-model yang sifatnya open weight atau open source. Jadi, jangan berharap bisa menikmati GPT atau Claude atau Gemini. Tapi banyak kok model open weight/source yang canggih, dari Mistral sampai Llama dan juga Qwen.
Mau tahu jenis-jenis LLM? Bisa baca dulu tulisan sebelumnya: Tiga Golongan LLM.
Sekian pekan yang silam, usulan sederhana ini sempat tampil di Threads.