Helicone: Cara Aku Memonitor dan Mengontrol Semua LLM Call di Produksi
Temen-temen, kalau kalian sudah mulai serius bangun aplikasi berbasis LLM, entah itu chatbot, agent, atau fitur AI di dalam produk, cepat atau lambat kalian bakal ketemu satu masalah yang sama: kalian nggak tahu apa yang sebenarnya terjadi di balik setiap panggilan ke model. Berapa token yang kepakai? Berapa biayanya bulan ini? Kenapa request ini lambat banget? User mana yang paling sering nge-hit API? Prompt versi mana yang bikin cost membengkak? Semua pertanyaan itu susah dijawab kalau kalian cuma nembak openai.chat.completions.create() terus lupain begitu saja.
Nah, di tutorial ini aku mau kenalin kalian ke Helicone. Helicone itu platform observability open-source khusus buat LLM. Tugas utamanya sederhana tapi krusial: dia mencatat (logging), memonitor, dan ngasih kalian kontrol penuh atas setiap LLM call yang aplikasi kalian kirim. Yang bikin aku suka, cara pakainya nggak ribet. Kalian cukup ganti baseurl ke proxy Helicone dan tambahin satu header autentikasi, dan tiba-tiba semua request kalian ke-log rapi di dashboard. Nggak perlu rombak arsitektur, nggak perlu install SDK berat, nggak perlu ubah logika bisnis.
Sepanjang tutorial ini aku bakal ajak kalian dari nol: mulai dari setup akun dan integrasi paling dasar, cara logging request, nambahin custom properties, tracking per-user, caching biar hemat biaya, rate limiting biar user nggak nakal, sampai ke sessions dan tracing buat agent yang punya banyak langkah. Semua contoh aku kasih pakai Python dengan OpenAI SDK, karena itu kombinasi yang paling umum dipakai. Yuk kita mulai.
Introduction
Sebelum masuk ke kode, aku mau kalian paham dulu kenapa observability itu penting dan gimana Helicone menyelesaikannya.
Waktu aplikasi LLM kalian masih di tahap prototipe, semuanya kelihatan baik-baik saja. Kalian ngetik prompt, dapat jawaban, senang. Tapi begitu masuk produksi dengan ratusan atau ribuan user, situasinya berubah total. Biaya API bisa naik nggak terkendali karena ada prompt yang kepanjangan. Ada request yang gagal diam-diam dan user komplain. Latency naik pas jam sibuk dan kalian nggak tahu penyebabnya. Tanpa observability, kalian terbang buta.
Helicone menyelesaikan ini dengan dua pendekatan integrasi:
- Proxy (Gateway): Kalian arahkan request LLM lewat proxy Helicone. Ini cara paling cepat, cukup ganti
baseurl. Karena request lewat Helicone, dia bisa nambahin fitur seperti caching dan rate limiting di level jaringan. - Async Logging: Kalau kalian nggak mau request lewat proxy (misalnya karena alasan latency atau kebijakan keamanan), kalian bisa kirim log secara asinkron ke Helicone setelah request selesai. Model panggilan LLM tetap langsung ke OpenAI, log dikirim terpisah.
Untuk kebanyakan kasus, pendekatan proxy itu yang paling praktis dan itu yang bakal aku fokusin di sini. Alasannya, dengan proxy kalian dapat semua fitur sekaligus tanpa nulis kode tambahan yang banyak.
Yang bikin Helicone menarik dibanding sekadar nyimpan log sendiri di database:
- Dashboard biaya dan latency yang langsung jadi. Kalian bisa lihat total spend, breakdown per model, per user, per fitur.
- Custom properties buat nge-tag setiap request supaya bisa difilter dan dianalisa nanti.
- Caching built-in yang bisa hemat biaya drastis buat request yang berulang.
- Rate limiting per user atau per properti, tanpa kalian harus bangun sistem sendiri.
- Sessions dan tracing buat agent yang punya banyak langkah, jadi kalian bisa lihat alur eksekusi utuh dari awal sampai akhir.
Dan karena open-source, kalian bisa self-host kalau memang mau kontrol penuh atas data. Tapi buat mulai, versi cloud gratisnya sudah lebih dari cukup.
Instalasi
Kabar baiknya, buat pakai Helicone dengan pendekatan proxy, kalian sebenarnya nggak perlu install package Helicone sama sekali. Kalian cukup punya OpenAI SDK yang sudah kalian pakai. Tapi biar lengkap, aku jelasin semua yang kalian butuhin.
Langkah 1: Bikin Akun dan Ambil API Key
Pertama, daftar di helicone.ai pakai email atau akun GitHub. Setelah masuk, buka menu Settings lalu bagian API Keys. Generate satu key baru, biasanya formatnya diawali dengan sk-helicone-. Simpan key ini baik-baik, jangan sampai bocor ke repo publik.
Langkah 2: Install Dependency
Yang wajib cuma OpenAI SDK:
pip install openai