Pixeltable: Infrastruktur Data AI Deklaratif untuk Data Multimodal

Kalau temen-temen pernah bikin pipeline AI yang harus ngolah gambar, video, audio, atau dokumen, pasti familiar sama satu rasa capek yang sama: datanya kececer di mana-mana. Ada folder berisi file mentah, ada script buat resize dan konversi, ada folder lain buat hasil embedding, ada database vektor terpisah, ada satu file CSV buat nyimpen prediksi model, terus ada satu notebook berantakan yang nyambungin semua itu. Begitu ada satu data baru masuk, aku harus jalanin ulang setengah pipeline secara manual dan berdoa semoga urutannya bener. Nah, Pixeltable itu jawaban buat kekacauan ini.

Di tutorial ini aku bakal ajak temen-temen kenalan sama Pixeltable dari nol. Kita mulai dari instalasi, bikin tabel, masukin data, terus naik ke bagian yang bikin Pixeltable spesial: computed columns yang update otomatis, UDF, embedding index buat similarity search, dan cara dia ngurusin gambar sampai frame video. Aku pakai gaya santai aja biar gampang dicerna, tapi semua kodenya bisa langsung temen-temen jalanin.

Apa Itu Pixeltable dan Kenapa Deklaratif Itu Penting

Pixeltable adalah library Python untuk infrastruktur data AI yang bersifat deklaratif. Maksud "deklaratif" di sini: temen-temen mendeskripsikan apa yang temen-temen mau (misalnya "kolom ini isinya thumbnail dari gambar di kolom itu"), bukan menuliskan langkah demi langkah kapan dan bagaimana thumbnail itu dibikin. Pixeltable yang ngurusin eksekusinya, cache-nya, dan kapan harus dihitung ulang.

Ide intinya sederhana tapi kuat: semua data temen-temen, mau itu teks, gambar, video, audio, atau dokumen, hidup di dalam tabel. Tabel ini mirip tabel database, punya baris dan kolom. Bedanya, satu kolom bisa nyimpen tipe data berat kayak gambar atau video secara native, bukan cuma angka dan string. Terus, temen-temen bisa nambahin computed column, yaitu kolom yang nilainya dihitung dari kolom lain lewat sebuah fungsi. Begitu data baru masuk, computed column-nya keisi otomatis. Begitu temen-temen tambah computed column baru ke tabel yang udah ada isinya, Pixeltable langsung ngitung mundur buat semua baris lama.

Kenapa ini penting? Karena pola kerja AI itu 90 persennya transformasi data yang berulang: resize gambar, ekstrak frame video, panggil model buat inference, bikin embedding, terus simpan indeksnya. Kalau semua langkah itu bisa dinyatakan sebagai kolom, temen-temen nggak perlu lagi nulis loop, nggak perlu ngurus file cache manual, dan nggak perlu takut lupa jalanin ulang salah satu tahap. Pixeltable juga otomatis nyimpen data plus versinya, jadi tiap perubahan bisa dilacak dan bisa di-rollback.

Bandingin sama cara lama. Biasanya aku punya satu skrip preprocessing, satu skrip inference, satu database vektor, dan satu direktori artefak. Empat sistem berbeda yang harus aku sinkronin sendiri. Di Pixeltable, keempat hal itu jadi satu tabel dengan beberapa computed column plus satu embedding index. Satu sumber kebenaran, dan semuanya nyambung.

Konsep Kunci yang Perlu Dipahami

Sebelum ngoding, ada beberapa istilah yang bakal sering muncul:

• Table: wadah utama data, mirip tabel SQL tapi mendukung tipe multimodal.
• Column: bisa kolom biasa (data yang temen-temen masukin) atau computed column (dihitung otomatis).
• Insert: cara masukin data baru ke tabel. Tiap insert memicu perhitungan ulang computed column terkait.
• UDF (User-Defined Function): fungsi Python biasa yang temen-temen daftarin ke Pixeltable buat dipakai di computed column.
• Embedding index: indeks vektor yang nempel di sebuah kolom, buat similarity search.
• View dan iterator: cara "meledakkan" satu baris jadi banyak baris, misalnya satu video jadi banyak frame.

Sekarang kita langsung praktik.

Instalasi

Pixeltable butuh Python 3.9 ke atas. Aku saranin bikin virtual environment dulu biar bersih, terus install lewat pip.

# Bikin dan aktifin virtual environment (jalankan di terminal)
python -m venv venv
source venv/bin/activate      # Linux / macOS
venv\Scripts\activate         # Windows

Install Pixeltable
pip install pixeltable

Setelah kepasang, coba import buat mastiin semuanya beres:

import pixeltable as pxt

print(pxt.version)