LLM yang Merenung, Berpikir, dan Menghayati
DeepSeek R1 adalah LLM yang bisa merenung dan menghayati dengan seksama.
Golongan LLM yang disebut sebagai “reasoning model” mulanya dipopulerkan oleh o1 dari OpenAI. Pencetusan gagasan berpikir sendiri lahir dari konsep “test-time compute”. Berikut tautan Arxiv tentang paper yang membahas tajuk ini: Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters.
Gagasannya sendiri sederhana: andaikan LLM diberikan waktu lebih lama (tapi tetap dibatasi) untuk menguyah dan mencerna sebuah masalah, apakah hasilnya lebih cakep? Spoiler: ternyata benar!
Tentu DeepSeek dan OpenAI bukan pemain satu-satunya di arena ini! Ada juga model bernama Sky-T1 yang digodok oleh tim peneliti dari UC Berkeley. Tersedia dalam dua varian, Preview and Flash, dengan ongkos training masing-masing $450 dan $275 saja.
Dibandingkan LLM yang “konvensional”, R1/o1/Sky-T1 akan mengeluarkan blok <think> yang isinya adalah kontemplasi pemikiran tahap demi tahap. Sama saja seperti seorang siswa yang mencoba memahami sebuah soal pada saat ujian.
Masih ingat nasihat guru kita dulu kan? Jangan langsung loncat mencoba menjawab soal tersebut. Pikirkan matang-matang. Misalnya untuk soal matematika, kudu siap menjabarkan yang Diketahui dan Ditanyakan, baru meluncur ke jawaban.
Karena harus berpikir (keras), tentu saja jawabannya tidak spontan. Artinya ada jeda lama, waktu pengolahan yang mesti diperhitungkan.
Tentunya ini membuat model sejenis ini tidak cocok untuk sebuah chatbot. Namun demikian, kalau perlu LLM yang membantu proses riset, asisten kerjaan, analisa data, nah o1/R1/Sky-T1 ini patut dicoba.
Karena ukurannya gede banget, 671B, hampir mustahil menjalankan R1 sendiri. Karenanya tim DeepSeek juga berbaik hati melakukan distilasi model lain (Qwen, Llama) yang lebih kecil. Ini cocok dijalankan lokal juga, karena masih kisaran 7B/8B/14B/32B/70B. Hasilnya tetap keren, tapi jangan terkecoh, ini bukan R1 yang ori lho!
Mau nyoba versi distilasi di laptop atau mesin lokal? Coba tip berikut (lihat sebelumnya: Cortex untuk LLM):
cortex run deepseek-r1-distill-qwen-7b
Gampang kan?
Tulisan ini dihimpun dari beberapa utas saya (1, 2, 3, 4) di Threads.