Tutorial Lengkap txtai: Database Embeddings All-in-One untuk Semantic Search dan LLM Workflows

txtai adalah framework Python open-source yang menggabungkan database embeddings, pipeline AI, dan workflow orchestration dalam satu platform terpadu. Dikembangkan oleh NeuML, txtai memungkinkan developer membangun aplikasi AI yang powerful — mulai dari semantic search, question answering, hingga RAG (Retrieval-Augmented Generation) — tanpa perlu mengelola banyak library terpisah.

Dalam tutorial ini, kita akan mempelajari cara menggunakan txtai secara menyeluruh, mulai dari instalasi dasar hingga penggunaan lanjutan untuk membangun aplikasi AI yang production-ready.

Mengapa txtai?

Sebelum membahas teknis, penting untuk memahami mengapa txtai menjadi pilihan populer:

All-in-One: Menggabungkan embeddings database, NLP pipelines, dan workflow orchestration dalam satu package

Mudah Digunakan: API yang intuitif — bisa dimulai hanya dengan beberapa baris kode

Fleksibel: Mendukung berbagai model dari Hugging Face, sentence-transformers, dan model custom

Ringan: Tidak memerlukan database server eksternal — semua berjalan in-process

Production-Ready: Mendukung API server, indexing persisten, dan integrasi dengan berbagai format data

Instalasi

Instalasi Dasar

pip install txtai

Instalasi dengan Fitur Tambahan

txtai memiliki beberapa optional dependencies yang bisa diinstal sesuai kebutuhan:

# Instalasi dengan dukungan API server
pip install txtai[api]

Instalasi dengan dukungan pipeline (summarization, translation, dll)
pip install txtai[pipeline]

Instalasi dengan semua fitur
pip install txtai[all]

Instalasi dengan dukungan database SQL
pip install txtai[database]

Instalasi dengan dukungan graph
pip install txtai[graph]

Verifikasi Instalasi

import txtai
print(f"txtai version: {txtai.version}")

from txtai.embeddings import Embeddings
embeddings = Embeddings()
print("txtai berhasil diinstal!")

Basic Usage: Embeddings Database

Membuat Index Sederhana

Konsep utama txtai adalah Embeddings — sebuah database yang menyimpan dan mencari data berdasarkan kesamaan semantik, bukan keyword matching.

from txtai.embeddings import Embeddings

Inisialisasi embeddings dengan model default
embeddings = Embeddings(path="sentence-transformers/all-MiniLM-L6-v2")

Data contoh
data = [
    "Kucing adalah hewan peliharaan yang populer di seluruh dunia",
    "Python adalah bahasa pemrograman yang mudah dipelajari",
    "Machine learning mengubah cara kita memproses data",
    "Jakarta adalah ibu kota Indonesia",
    "Deep learning adalah subset dari machine learning",
    "Anjing dikenal sebagai sahabat terbaik manusia",
    "JavaScript digunakan untuk pengembangan web",
    "Natural language processing membantu komputer memahami bahasa manusia",
    "Bandung terkenal dengan kuliner dan udara sejuknya",
    "Transfer learning mempercepat proses training model AI"
]

Index data
embeddings.index([(i, text, None) for i, text in enumerate(data)])

Cari dokumen yang mirip
results = embeddings.search("bahasa pemrograman untuk data science", 3)
for score, idx in results:
    print(f"Score: {score:.4f} | {data[idx]}")

Output:

Score: 0.5823 | Python adalah bahasa pemrograman yang mudah dipelajari
Score: 0.4215 | Machine learning mengubah cara kita memproses data
Score: 0.3891 | JavaScript digunakan untuk pengembangan web

Indexing dengan Metadata

txtai juga mendukung penyimpanan metadata bersama dengan teks:

from txtai.embeddings import Embeddings

embeddings = Embeddings(
    path="sentence-transformers/all-MiniLM-L6-v2",
    content=True  # Aktifkan penyimpanan konten
)

Data dengan metadata
documents = [
    {"id": "doc1", "text": "Panduan instalasi Python untuk pemula", "category": "tutorial", "difficulty": "beginner"},
    {"id": "doc2", "text": "Optimasi query database PostgreSQL", "category": "database", "difficulty": "advanced"},