Pixeltable: Infrastruktur Data AI Deklaratif untuk Data Multimodal

Kalau temen-temen pernah bikin pipeline AI yang harus ngolah gambar, video, audio, atau dokumen, pasti familiar sama satu rasa capek yang sama: datanya kececer di mana-mana. Ada folder berisi file mentah, ada script buat resize dan konversi, ada folder lain buat hasil embedding, ada database vektor terpisah, ada satu file CSV buat nyimpen prediksi model, terus ada satu notebook berantakan yang nyambungin semua itu. Begitu ada satu data baru masuk, aku harus jalanin ulang setengah pipeline secara manual dan berdoa semoga urutannya bener. Nah, Pixeltable itu jawaban buat kekacauan ini.

Di tutorial ini aku bakal ajak temen-temen kenalan sama Pixeltable dari nol. Kita mulai dari instalasi, bikin tabel, masukin data, terus naik ke bagian yang bikin Pixeltable spesial: computed columns yang update otomatis, UDF, embedding index buat similarity search, dan cara dia ngurusin gambar sampai frame video. Aku pakai gaya santai aja biar gampang dicerna, tapi semua kodenya bisa langsung temen-temen jalanin.

Apa Itu Pixeltable dan Kenapa Deklaratif Itu Penting

Pixeltable adalah library Python untuk infrastruktur data AI yang bersifat deklaratif. Maksud "deklaratif" di sini: temen-temen mendeskripsikan apa yang temen-temen mau (misalnya "kolom ini isinya thumbnail dari gambar di kolom itu"), bukan menuliskan langkah demi langkah kapan dan bagaimana thumbnail itu dibikin. Pixeltable yang ngurusin eksekusinya, cache-nya, dan kapan harus dihitung ulang.

Ide intinya sederhana tapi kuat: semua data temen-temen, mau itu teks, gambar, video, audio, atau dokumen, hidup di dalam tabel. Tabel ini mirip tabel database, punya baris dan kolom. Bedanya, satu kolom bisa nyimpen tipe data berat kayak gambar atau video secara native, bukan cuma angka dan string. Terus, temen-temen bisa nambahin computed column, yaitu kolom yang nilainya dihitung dari kolom lain lewat sebuah fungsi. Begitu data baru masuk, computed column-nya keisi otomatis. Begitu temen-temen tambah computed column baru ke tabel yang udah ada isinya, Pixeltable langsung ngitung mundur buat semua baris lama.

Kenapa ini penting? Karena pola kerja AI itu 90 persennya transformasi data yang berulang: resize gambar, ekstrak frame video, panggil model buat inference, bikin embedding, terus simpan indeksnya. Kalau semua langkah itu bisa dinyatakan sebagai kolom, temen-temen nggak perlu lagi nulis loop, nggak perlu ngurus file cache manual, dan nggak perlu takut lupa jalanin ulang salah satu tahap. Pixeltable juga otomatis nyimpen data plus versinya, jadi tiap perubahan bisa dilacak dan bisa di-rollback.

Bandingin sama cara lama. Biasanya aku punya satu skrip preprocessing, satu skrip inference, satu database vektor, dan satu direktori artefak. Empat sistem berbeda yang harus aku sinkronin sendiri. Di Pixeltable, keempat hal itu jadi satu tabel dengan beberapa computed column plus satu embedding index. Satu sumber kebenaran, dan semuanya nyambung.

Konsep Kunci yang Perlu Dipahami

Sebelum ngoding, ada beberapa istilah yang bakal sering muncul:

• Table: wadah utama data, mirip tabel SQL tapi mendukung tipe multimodal.
• Column: bisa kolom biasa (data yang temen-temen masukin) atau computed column (dihitung otomatis).
• Insert: cara masukin data baru ke tabel. Tiap insert memicu perhitungan ulang computed column terkait.
• UDF (User-Defined Function): fungsi Python biasa yang temen-temen daftarin ke Pixeltable buat dipakai di computed column.
• Embedding index: indeks vektor yang nempel di sebuah kolom, buat similarity search.
• View dan iterator: cara "meledakkan" satu baris jadi banyak baris, misalnya satu video jadi banyak frame.

Sekarang kita langsung praktik.

Instalasi

Pixeltable butuh Python 3.9 ke atas. Aku saranin bikin virtual environment dulu biar bersih, terus install lewat pip.

# Bikin dan aktifin virtual environment (jalankan di terminal)
python -m venv venv
source venv/bin/activate      # Linux / macOS
venv\Scripts\activate         # Windows

Install Pixeltable
pip install pixeltable

Setelah kepasang, coba import buat mastiin semuanya beres:

import pixeltable as pxt

print(pxt.version)

Pertama kali temen-temen jalanin, Pixeltable bakal bikin direktori penyimpanan lokal (defaultnya di ~/.pixeltable). Di situlah semua data, metadata, dan file media disimpan. Jadi tabel yang temen-temen bikin itu persisten, artinya kalau script-nya berhenti terus temen-temen jalanin ulang besok, tabelnya masih ada. Ini beda sama DataFrame Pandas yang ilang begitu program mati.

Untuk fitur tertentu, temen-temen mungkin perlu dependency tambahan. Misalnya buat model dari Hugging Face, install transformers dan torch. Buat pemrosesan video pastikan ada codec yang dibutuhin (biasanya udah ke-bundle). Buat pemanggilan API model eksternal seperti OpenAI, install SDK-nya dan set API key lewat environment variable.

# Contoh dependency tambahan yang sering dipakai
pip install transformers torch sentence-transformers
pip install openai

Satu hal yang perlu temen-temen tahu: Pixeltable bekerja berbasis directory dan namespace buat ngatur tabel. Jadi kita bisa kelompokin tabel ke dalam direktori logis, mirip folder. Ini kepakai banget kalau proyeknya udah gede.

import pixeltable as pxt

Bikin direktori buat proyek kita (aman kalau udah ada)
pxt.createdir('demo', ifexists='ignore')

Basic Usage: Tabel, Insert, dan Query

Sekarang kita bikin tabel pertama. Bayangin kita lagi bangun katalog produk sederhana yang nyimpen gambar produk plus deskripsinya.

Bikin Tabel

Bikin tabel dilakukan dengan pxt.createtable, di mana kita definisiin skema berupa nama kolom dan tipenya.

import pixeltable as pxt

Bersihin dulu kalau ada tabel lama dengan nama sama (opsional saat eksperimen)
pxt.droptable('demo.produk', ifnotexists='ignore')

Bikin tabel dengan skema kolom
produk = pxt.createtable(

    'demo.produk',
    {
        'nama': pxt.String,
        'kategori': pxt.String,
        'harga': pxt.Float,
        'gambar': pxt.Image,
        'deskripsi': pxt.String,
    }
)

print(produk)

produk.insert([
    {
        'nama': 'Sepatu Lari Ringan',
        'kategori': 'olahraga',
        'harga': 850000.0,
        'gambar': 'https://raw.githubusercontent.com/pixeltable/pixeltable/main/docs/resources/images/000000000009.jpg',
        'deskripsi': 'Sepatu lari dengan sol empuk dan bahan mesh yang breathable.',
    },
    {
        'nama': 'Tas Ransel Kanvas',
        'kategori': 'aksesoris',
        'harga': 450000.0,
        'gambar': 'https://raw.githubusercontent.com/pixeltable/pixeltable/main/docs/resources/images/000000000025.jpg',
        'deskripsi': 'Tas ransel kanvas tahan lama dengan banyak kompartemen.',
    },
])

print(f'Total baris sekarang: {produk.count()}')

# Ambil semua produk kategori olahraga
hasil = produk.where(produk.kategori == 'olahraga').select(
    produk.nama, produk.harga
).collect()

print(hasil)

Ambil produk dengan harga di bawah 500 ribu
murah = produk.where(produk.harga < 500000).select(
    produk.nama, produk.harga
).collect()

print(murah)

# Lihat 3 baris pertama
print(produk.head(3))

Ambil kolom gambar juga (akan berupa objek image)
sample = produk.select(produk.nama, produk.gambar).head(2)
print(sample)

Sampai sini kita udah punya tabel yang nyimpen data multimodal secara persisten dan bisa di-query. Tapi kekuatan Pixeltable baru kelihatan di bagian selanjutnya.

Advanced Usage: Computed Columns, UDF, dan Embedding

Computed Column dengan Fungsi Bawaan

Computed column adalah jantungnya Pixeltable. Ide dasarnya: kita nambah kolom yang nilainya adalah hasil sebuah ekspresi atas kolom lain. Karena datanya gambar, mari kita bikin computed column yang menghasilkan thumbnail dengan memanfaatkan operasi bawaan pada tipe image.

# Tambah computed column thumbnail (resize gambar jadi 224x224)
produk.addcomputedcolumn(
    thumbnail=produk.gambar.resize([224, 224])
)

Tambah computed column yang menyimpan lebar gambar asli
produk.addcomputedcolumn(
    lebargambar=produk.gambar.width

)

print(produk.select(produk.nama, produk.lebargambar).collect())

Yang bikin keren: karena kita nambahin kolom ini setelah data masuk, Pixeltable langsung ngitung thumbnail dan lebargambar buat semua baris yang udah ada. Dan lebih penting lagi, begitu nanti ada produk baru yang di-insert, kedua kolom itu bakal keisi otomatis tanpa kita jalanin apa-apa lagi. Ini yang aku maksud "update otomatis".

import pixeltable as pxt

@pxt.udf
def labelharga(harga: float) -> str:
    """Kategorikan harga jadi label yang gampang dibaca."""
    if harga < 300000:
        return 'murah'
    elif harga < 700000:
        return 'menengah'
    else:
        return 'premium'

Pakai UDF-nya sebagai computed column
produk.addcomputedcolumn(
    segmenharga=labelharga(produk.harga)
)

print(produk.select(produk.nama, produk.harga, produk.segmenharga).collect())

import PIL.Image
import numpy as np

@pxt.udf
def ratakecerahan(img: PIL.Image.Image) -> float:
    """Hitung kecerahan rata-rata sebuah gambar (0-255)."""
    arr = np.asarray(img.convert('L'))  # grayscale
    return float(arr.mean())

produk.addcomputedcolumn(
    kecerahan=ratakecerahan(produk.gambar)

)

print(produk.select(produk.nama, produk.kecerahan).collect())

from pixeltable.functions.huggingface import clipimage, cliptext

Contoh konsep: klasifikasi zero-shot dengan CLIP
(butuh transformers + torch terpasang)
kategorikandidat = ['sepatu', 'tas', 'baju', 'aksesoris', 'elektronik']

Bikin embedding gambar dan teks lewat model, lalu bandingkan.
Detail API bisa sedikit beda antar versi, cek dokumentasi pixeltable.functions.

Pola pentingnya bukan API spesifik model tertentu, tapi konsepnya: pemanggilan model jadi sebuah kolom. Begitu ada data baru masuk, inference-nya jalan otomatis dan hasilnya kesimpan. Nggak ada lagi skrip batch inference terpisah yang harus temen-temen jalanin manual, dan nggak ada masalah "aku lupa nge-run model buat data yang kemarin masuk".

Embedding Index dan Similarity Search

Sekarang bagian yang paling sering ditanyain: cara bikin semantic search. Di Pixeltable, temen-temen nambahin embedding index ke sebuah kolom, terus Pixeltable ngurus pembuatan embedding plus penyimpanan vektornya. Buat cari yang mirip, tinggal panggil similarity.

Mari kita bikin embedding index untuk kolom deskripsi teks pakai model sentence-transformers.

from pixeltable.functions.huggingface import sentencetransformer

Daftarkan embedding untuk kolom teks 'deskripsi'
produk.addembeddingindex(

    column='deskripsi',
    stringembed=sentencetransformer.using(

        modelid='sentence-transformers/all-MiniLM-L6-v2'
    )
)

Setelah index kepasang, kita bisa cari produk yang deskripsinya paling mirip dengan sebuah query teks. Caranya pakai ekspresi similarity di dalam query, terus urutkan.

query = 'perlengkapan buat lari pagi'

hasil = (
    produk
    .orderby(produk.deskripsi.similarity(query), asc=False)

    .select(produk.nama, produk.deskripsi)
    .limit(3)
    .collect()
)

print(hasil)

import pixeltable as pxt

pxt.droptable('demo.video', ifnotexists='ignore')

videos = pxt.createtable(

    'demo.video',
    {'sumber': pxt.Video}
)

videos.insert([
    {'sumber': 'https://raw.githubusercontent.com/pixeltable/pixeltable/main/docs/resources/bangkok.mp4'},
])

from pixeltable.iterators import FrameIterator

Bikin view yang ambil 1 frame per detik (fps=1)
frames = pxt.createview(
    'demo.frames',
    videos,
    iterator=FrameIterator.create(video=videos.sumber, fps=1)
)

print(f'Jumlah frame yang diekstrak: {frames.count()}')
print(frames.select(frames.frame, frames.pos).head(3))

Yang menarik, view ini bukan copy data. Dia adalah tampilan turunan yang dihitung dari tabel video induk. Begitu temen-temen tambah video baru ke tabel videos, view frames otomatis nambah baris frame buat video itu. Dan karena frame juga kolom bertipe image, kita bisa nempelin computed column atau embedding index di atasnya, persis kayak tabel gambar biasa.

# Contoh: tambah computed column deteksi objek per frame (konsep)
frames.addcomputedcolumn(deteksi=yolomodel(frames.frame))


Atau bikin embedding index buat cari frame lewat teks
frames.addembeddingindex(column='frame', embedding=clipembed)

Dengan pola ini, membangun sistem "cari momen di dalam video pakai kalimat" jadi cuma beberapa baris: bikin tabel video, bikin view frame, pasang embedding CLIP di kolom frame, terus query pakai similarity. Semua pipeline decoding, sampling frame, embedding, dan indexing ditangani deklaratif.

Update Inkremental dan Versioning

Salah satu janji Pixeltable adalah pemrosesan yang inkremental. Artinya, dia cuma menghitung ulang apa yang perlu, bukan semuanya. Kalau temen-temen insert 5 baris baru ke tabel yang isinya udah 1000 baris, computed column dan embedding cuma dihitung buat 5 baris itu. Yang lama nggak disentuh.

Update nilai kolom juga memicu perhitungan ulang yang tepat sasaran. Misalnya kita ubah harga sebuah produk, maka computed column yang bergantung ke harga (kayak segmenharga) bakal dihitung ulang cuma buat baris itu.

# Update harga produk tertentu
produk.where(produk.nama == 'Tas Ransel Kanvas').update(
    {'harga': 280000.0}
)

Kolom segmenharga otomatis ikut berubah jadi 'murah'
print(produk.select(produk.nama, produk.harga, produk.segmenharga).collect())

Pixeltable juga nyimpen versi. Tiap operasi yang mengubah tabel (insert, update, add column) menaikkan versi tabel. Kita bisa lihat riwayatnya dan bahkan balik ke versi sebelumnya dengan revert. Ini bikin eksperimen jadi aman: kalau sebuah addcomputedcolumn ternyata salah, tinggal revert.

# Lihat versi tabel sekarang lewat metadata
print(produk.getmetadata())

Balik satu langkah ke versi sebelumnya
produk.revert()

Kemampuan versioning ini juga bikin lineage data terlacak. Karena tiap computed column tahu dia dihitung dari kolom mana pakai fungsi apa, temen-temen selalu bisa telusuri asal-usul sebuah nilai. Buat proyek yang butuh reproducibility, ini nilai plus yang gede.

Best Practices

Setelah beberapa kali pakai Pixeltable di proyek nyata, ada beberapa hal yang menurutku bikin pengalaman jauh lebih mulus.

Kesimpulan

Pixeltable itu menyelesaikan masalah yang bikin banyak proyek AI berantakan: data multimodal yang kececer di banyak sistem plus pipeline transformasi yang rapuh. Dengan menaruh semuanya di dalam tabel dan menyatakan transformasi sebagai computed column, temen-temen dapet satu sumber kebenaran yang tetap konsisten secara otomatis. Data baru masuk, semua kolom turunan dan indeks langsung nyusul tanpa kita jalanin apa-apa.

Di tutorial ini kita udah jalan dari instalasi, bikin tabel multimodal, masukin dan query data, sampai ke bagian intinya: computed column dengan fungsi bawaan dan UDF, embedding index buat similarity search, ekstraksi frame video lewat view dan iterator, serta update inkremental dan versioning. Yang aku harap nempel di kepala temen-temen bukan sintaks spesifiknya, tapi pergeseran pola pikirnya: dari "aku nulis skrip yang mengeksekusi langkah-langkah" jadi "aku mendeklarasikan bentuk data yang aku mau, biar sistem yang ngeksekusi".

Langkah selanjutnya buat temen-temen: coba ganti dataset contoh di atas dengan data temen-temen sendiri, entah itu koleksi foto, arsip PDF, atau folder video. Tambahin satu computed column buat inference model favoritmu, pasang satu embedding index, terus rasain gimana rasanya search semantik yang selalu sinkron. Begitu temen-temen ngerasain "insert data, semuanya beres sendiri", susah buat balik ke cara lama. Selamat ngoprek, dan semoga pipeline AI temen-temen makin rapi.