Mufakat dalam Merangkul LLM
Mau pakai DeepSeek tapi kok import openai? Apakah ini akal-akalan DeepSeek saja supaya pada migrasi?
Ternyata ini bukanlah gerakan unik dari DeepSeek. Jauh sebelum itu, API untuk LLM yang awalnya dicetuskan OpenAI (untuk nembak GPT) sudah menjadi pakem yang lumrah. De facto standard. Sederhana sekali, seperti ilustrasi curl berikut.
Kalau mau contohnya dalam bentuk kodingan, bisa cek demo yang saya buat di: github.com/ariya/ask-llm (nanti kapan-kapan akan kita bedah serinci-rincinya).
Tersedia contoh nembak LLM lewat API pakai berbagai jenis bahasa: JavaScript, Python, Clojure, Go, dan Swift. Kalau perlu versi PHP atau Rust atau Elixir, silakan amati-tiru-modifikasi sendiri!
Andainya mau dipakai nembak LLM yang lokal alih-alih OpenAI, juga tinggal ubah URL-nya, misalnya localhost:8080/v1. Ini tergantung port yang dipakai server lokal.
Buat yang pengen nyoba LLM lokal, bisa cek bahasan saya tempo hari: Berkenalan dengan LLM.
Di sisi lain, ada juga gateway semacam OpenRouter atau Glama. Kalau kita arahkan aplikasi LLM kita ke URL mereka, nah kita bisa gonta-ganti model dengan mudah, bahkan dari provider yang beda. Gateway tersebut yang akan menormalkan panggilan API-nya, sehingga kita hanya mikiran de facto standard tadi.
Ada juga pustaka LiteLLM yang bertindak sebagai lapisan abstraksi yang kerjanya mirip, walaupun kali ini bukan melulu sebagai proxy tapi bisa juga langsung terintegrasikan ke Python.
Mau lokal atau cloud, terus apakah model open atau nggak, semua ada untung ruginya. Rinciannya pernah saya jabarkan beberapa minggu yang silam, Kuadran LLM: Inferensi vs Model.
Yang patut kita cermati, pindah model (misalnya dari o1-nya OpenAI ke R1-nya DeepSeek) tidak semudah membalikkan telapak tangan. Mengeceknya pun nggak bisa model anekdotal (seperti yang viral, nanya Tiananmen Square ke DeepSeek). Harus ada kumpulan evaluasi yang komprehensif.
Contoh nyata: dalam papernya, R1 dinyatakan hanya fokus ke bahasa Inggris dan Cina. Jangan kaget kalau kinerjanya untuk bahasa lain belum sesuai harapan.
Pernah sebelumnya API standard ini saya diskusikan di utas Threads.