ZenML: Bikin Pipeline ML dan LLM yang Portable dan Siap Produksi

Halo temen-temen, ketemu lagi sama aku, Ruby Abdullah. Kali ini aku mau ngajak kalian ngobrol soal salah satu tools yang menurutku wajib banget dikuasai kalau kalian serius pengen kerja di dunia machine learning atau LLM secara profesional, bukan cuma main-main di notebook doang. Tools itu namanya ZenML.

Jujur ya, dulu waktu aku pertama kali belajar ML, semua proses itu aku tumpuk di satu file notebook. Load data di cell atas, training di tengah, evaluasi di bawah, terus kalau mau deploy tinggal copy-paste sana-sini. Kelihatannya cepet, tapi begitu proyeknya makin gede dan mulai masuk ke produksi, semua jadi berantakan. Susah di-reproduce, susah dilacak, dan kalau ada yang error kita bingung ngulang dari mana. Nah, di sinilah ZenML masuk buat nyelametin hidup kita.

Di artikel ini aku bakal jelasin ZenML dari nol sampai kalian bisa bikin pipeline end-to-end sendiri. Kita bahas instalasi, konsep dasar kayak @step dan @pipeline, konsep stack yang jadi jantungnya ZenML, artifacts dan caching, integrasi ke tools lain kayak MLflow, sampai gimana caranya deploy. Siap? Yuk kita mulai.

Introduction

Sebelum masuk ke kodingan, aku pengen kalian paham dulu ZenML itu sebenernya apa dan kenapa dia penting.

ZenML itu framework MLOps open-source yang tugasnya bikin workflow machine learning kalian jadi terstruktur, bisa diulang (reproducible), dan gampang dipindahin dari laptop ke cloud tanpa harus nulis ulang kode. Jadi bayangin gini, temen-temen. Kalian punya kode training model. Di laptop kalian jalan lokal. Terus bos kalian bilang, "Eh, ini pindahin ke cloud dong, pakai orchestrator Kubernetes, terus tracking-nya pakai MLflow." Kalau tanpa ZenML, kalian harus ngoprek banyak banget kode. Tapi dengan ZenML, kalian cukup ganti konfigurasi stack, dan kode inti kalian tetap sama persis. Keren kan?

Konsep utama ZenML itu ada dua: pipeline dan step. Step itu satu unit kerja, misalnya "load data" atau "train model". Pipeline itu rangkaian step-step yang saling terhubung. Nah, ZenML memisahkan antara logika ML (yang kalian tulis) dengan infrastruktur (tempat kode itu jalan). Pemisahan ini yang bikin kode kalian jadi portable banget.

Kenapa ini penting buat karier kalian? Karena di industri, yang dicari itu bukan cuma orang yang bisa bikin model akurat di notebook. Yang dicari itu orang yang bisa bawa model itu ke produksi, bisa maintain, bisa lacak eksperimen, dan bisa kolaborasi sama tim. ZenML ngajarin kalian mindset MLOps yang bener sejak awal. Jadi menurutku, belajar ZenML itu investasi yang bagus banget buat masa depan kalian.

Satu hal lagi yang aku suka dari ZenML: dia nggak maksa kalian pakai tools tertentu. Kalian mau pakai scikit-learn, PyTorch, TensorFlow, atau bahkan framework LLM kayak LangChain, semua bisa. ZenML itu sifatnya kayak lem yang nyatuin semua komponen kalian jadi satu alur yang rapi.

Instalasi

Oke, sekarang kita masuk ke bagian praktik. Instalasi ZenML itu gampang banget, cukup satu baris perintah aja.

pip install zenml

Kalau kalian mau versi yang lengkap dengan dashboard visual (dan aku saranin banget pakai ini), install versi server-nya:

pip install "zenml[server]"

Aku selalu saranin temen-temen buat pakai virtual environment biar nggak berantakan sama dependency proyek lain. Ini cara aku biasanya setup:

python -m venv zenml-env
source zenml-env/bin/activate  # kalau di Windows: zenml-env\Scripts\activate
pip install "zenml[server]" scikit-learn

Setelah kelar install, kita perlu inisialisasi ZenML di dalam folder proyek kita. Ini penting karena ZenML bakal bikin folder tersembunyi .zen yang nyimpen semua konfigurasi dan metadata.

zenml init

Kalian bakal lihat pesan sukses yang bilang repository ZenML udah dibuat. Nah, buat ngecek apakah semuanya udah bener, coba jalanin perintah ini:

zenml status

Kalau kalian pengen lihat dashboard visualnya yang cakep itu, jalanin:

zenml login --local

Perintah ini bakal nge-launch server lokal dan buka browser ke dashboard ZenML. Di sini kalian bisa lihat semua pipeline yang udah kalian jalanin, step-step-nya, artifact yang dihasilkan, dan banyak lagi. Aku pribadi suka banget sama dashboard ini karena bikin debugging jadi jauh lebih gampang. Kita bisa lihat secara visual step mana yang gagal, berapa lama tiap step jalan, dan data apa yang mengalir di antara step.