Tutorial Lengkap Jupyter AI: Integrasikan LLM Langsung ke Notebook Anda
Jupyter Notebook telah menjadi alat utama bagi data scientist dan ML engineer selama bertahun-tahun. Dengan hadirnya Jupyter AI, sekarang Anda bisa mengintegrasikan Large Language Model (LLM) langsung ke dalam workflow Jupyter Anda. Jupyter AI adalah ekstensi resmi dari Project Jupyter yang menambahkan kemampuan AI generatif ke JupyterLab, termasuk magic commands untuk cell-level interaction, chat interface untuk percakapan kontekstual, dan kemampuan RAG untuk bertanya tentang dokumen lokal Anda.
Dalam tutorial ini, kita akan membahas cara instalasi, konfigurasi, penggunaan dasar dan lanjutan Jupyter AI, serta best practices untuk memaksimalkan produktivitas Anda.
Mengapa Jupyter AI?
Sebelum kita mulai, mari pahami mengapa Jupyter AI layak digunakan dibanding alternatif lain:
- Native Integration: Berjalan langsung di JupyterLab tanpa perlu berpindah aplikasi
- Multi-Provider: Mendukung OpenAI, Anthropic, Cohere, HuggingFace, Google, Mistral, dan model lokal via Ollama
- Magic Commands: Gunakan
%%aidan%aimagic langsung di cell notebook - Chat Interface: Panel chat terintegrasi di sidebar JupyterLab
- RAG Built-in: Perintah
/learnuntuk mengindeks dokumen dan/askuntuk bertanya tentang konten lokal - Notebook Generation: Perintah
/generateuntuk membuat notebook lengkap dari deskripsi teks - Open Source: Dikembangkan oleh komunitas Project Jupyter
Instalasi
Prasyarat
Pastikan Anda memiliki Python 3.8+ dan JupyterLab 4.0+ terinstal.
# Buat virtual environment baru (opsional tapi disarankan)
python -m venv jupyter-ai-env
source jupyter-ai-env/bin/activate # Linux/Mac
jupyter-ai-env\Scripts\activate # Windows
Install JupyterLab jika belum ada
pip install jupyterlab>=4.0
Install Jupyter AI
# Install paket utama jupyter-ai (termasuk chat UI dan magic commands)
pip install jupyter-ai
Atau install hanya magic commands tanpa chat UI
pip install jupyter-ai-magics
Install Provider Dependencies
Jupyter AI membutuhkan paket tambahan sesuai provider LLM yang ingin Anda gunakan:
# Untuk OpenAI (GPT-4, GPT-4o, dll)
pip install langchain-openai
Untuk Anthropic (Claude)
pip install langchain-anthropic
Untuk Google (Gemini)
pip install langchain-google-genai
Untuk HuggingFace Hub
pip install langchain-huggingface
Untuk Mistral AI
pip install langchain-mistralai
Untuk model lokal via Ollama
pip install langchain-ollama
Untuk Cohere
pip install langchain-cohere
Konfigurasi API Key
Set API key sebagai environment variable sebelum menjalankan JupyterLab:
# OpenAI
export OPENAIAPIKEY="sk-..."
Anthropic
export ANTHROPICAPIKEY="sk-ant-..."
Google
export GOOGLEAPIKEY="AIza..."
Mistral
export MISTRALAPIKEY="..."
Atau simpan di file .env dan load otomatis
echo 'OPENAIAPIKEY=sk-...' >> ~/.bashrc
source ~/.bashrc
Jalankan JupyterLab:
jupyter lab
Penggunaan Dasar: Magic Commands
Cell Magic %%ai
Cell magic %%ai adalah cara paling cepat untuk berinteraksi dengan LLM langsung dari cell notebook. Tulis %%ai di baris pertama cell, diikuti nama provider dan model.
%%ai openai-chat:gpt-4o
Jelaskan konsep gradient descent dalam machine learning
dengan bahasa yang mudah dipahami.
Output akan ditampilkan langsung di bawah cell sebagai formatted markdown.
Menentukan Format Output
Anda bisa menentukan format output menggunakan flag -f:
%%ai openai-chat:gpt-4o -f code
Buatkan fungsi Python untuk menghitung moving average
dari sebuah list angka dengan window size yang bisa dikonfigurasi.
Format yang tersedia:
text- Plain text (default)code- Code blockmarkdownataumd- Markdown formattedmath- LaTeX mathhtml- HTML renderedjson- JSON formatted
Line Magic %ai
Line magic %ai digunakan untuk query singkat dalam satu baris:
# Tanya singkat
%ai openai-chat:gpt-4o "Apa perbedaan antara list dan tuple di Python?"
Mendaftarkan Alias Model
Agar tidak perlu mengetik nama provider dan model berulang kali:
# Daftarkan alias
%ai register mymodel openai-chat:gpt-4o
Gunakan alias
%%ai mymodel
Buatkan contoh penggunaan pandas groupby dengan aggregasi multiple kolom.
Menggunakan Variabel Python di Prompt
Anda bisa menyisipkan variabel Python ke dalam prompt menggunakan kurung kurawal:
# Definisikan variabel
datasetinfo = "Dataset berisi 10000 baris dengan kolom: age, income, education, purchaseamount"
targetvariable = "purchaseamount"
%%ai openai-chat:gpt-4o
Berdasarkan informasi dataset berikut: {datasetinfo}
Sarankan pendekatan feature engineering terbaik
untuk memprediksi {targetvariable}.
Interpolasi Output Cell Sebelumnya
Jupyter AI bisa mereferensikan output dari cell sebelumnya menggunakan In dan Out:
# Cell 1: Jalankan kode
import pandas as pd
df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})
df.describe()
# Cell 2: Minta AI menganalisis output
%%ai openai-chat:gpt-4o
Analisis statistik deskriptif berikut dan berikan insight:
{Out[1]}
Penggunaan Dasar: Chat Interface
Membuka Chat Panel
Klik ikon chat Jupyter AI di sidebar kiri JupyterLab. Panel chat akan terbuka di sebelah kanan.
Memilih Model
Di bagian atas chat panel, klik gear icon untuk membuka settings. Di sini Anda bisa:
gpt-4o, claude-3-opus)text-embedding-3-small)Percakapan Kontekstual
Chat interface mendukung percakapan multi-turn. AI mengingat konteks percakapan sebelumnya:
User: Saya sedang mengerjakan proyek klasifikasi sentiment menggunakan BERT.
AI: [memberikan saran]
User: Bagaimana cara menghandle class imbalance pada dataset saya?
AI: [menjawab dalam konteks BERT sentiment classification]
Mengirim Seleksi Kode ke Chat
Anda bisa mengirim kode yang di-highlight ke chat:
Ini sangat berguna untuk debugging atau meminta penjelasan kode tertentu.
Fitur Lanjutan
RAG dengan Perintah /learn
Fitur /learn memungkinkan Anda mengindeks dokumen lokal sehingga AI bisa menjawab pertanyaan berdasarkan konten tersebut.
# Di chat panel, ketik:
/learn /path/to/your/documents/
Atau learn file tertentu
/learn /home/user/project/README.md
Jupyter AI akan:
Setelah proses learning selesai, gunakan /ask untuk bertanya:
/ask Bagaimana cara mengkonfigurasi database connection di proyek ini?
/ask Apa fungsi dari class DataProcessor?
Generate Notebook dengan /generate
Perintah /generate membuat notebook lengkap dari deskripsi teks:
/generate Buat notebook untuk analisis exploratory data analysis (EDA)
pada dataset Titanic, termasuk visualisasi distribusi,
korelasi antar fitur, dan handling missing values
Jupyter AI akan menghasilkan notebook baru dengan cell-cell yang berisi kode dan markdown explanations.
Menggunakan Model Lokal via Ollama
Untuk privasi atau penggunaan offline, Anda bisa menggunakan model lokal:
# Install dan jalankan Ollama terlebih dahulu
curl -fsSL https://ollama.com/install.sh | sh
ollama pull llama3.1
ollama pull nomic-embed-text # untuk embedding
Kemudian di Jupyter AI:
%%ai ollama:llama3.1
Buatkan implementasi binary search tree di Python
dengan method insert, search, dan delete.
Untuk chat interface, pilih ollama sebagai provider di settings.
Custom Model Provider
Anda bisa membuat custom provider untuk model yang tidak didukung secara default:
from jupyteraimagics import BaseProvider
from jupyteraimagics.providers import EnvAuthStrategy
from langchainopenai import ChatOpenAI
class CustomProvider(BaseProvider):
id = "custom-provider"
name = "My Custom Provider"
modelidkey = "modelname"
models = ["my-model-v1", "my-model-v2"]
authstrategy = EnvAuthStrategy(
name="CUSTOMAPIKEY",
keywordparam="apikey"
)
pypipackagedeps = ["langchain-openai"]
@classmethod
def getchatmodel(cls, args, kwargs):
return ChatOpenAI(
baseurl="https://my-api.example.com/v1",
kwargs
)
Simpan file ini dan daftarkan sebagai entry point di setup.py atau pyproject.toml.
Prompt Templates
Buat prompt template reusable untuk task yang sering dilakukan:
# Definisikan template
codereviewtemplate = """
Lakukan code review untuk kode berikut:
python
{code}
Fokus pada:
Bug potensial
Performance issues
Readability
Best practices Python
Berikan skor 1-10 dan saran perbaikan spesifik.
"""
Gunakan dengan magic command
code = """
def processdata(data):
result = []
for i in range(len(data)):
if data[i] != None:
result.append(data[i] 2)
return result
"""
%%ai openai-chat:gpt-4o
{codereviewtemplate.format(code=code)}
Error Debugging dengan AI
Gunakan Jupyter AI untuk debugging error secara cepat:
# Cell yang menghasilkan error
import pandas as pd
df = pd.readcsv("data.csv")
result = df.groupby("category").agg({"value": "mean", "count": "sum"})
# Jika error, kirim traceback ke AI
%%ai openai-chat:gpt-4o -f markdown
Saya mendapat error berikut saat menjalankan pandas groupby:
{Out[-1]}
Data saya memiliki kolom: category (string), value (float), count (int).
Apa yang salah dan bagaimana cara memperbaikinya?
Konfigurasi Lanjutan
File Konfigurasi
Jupyter AI menyimpan konfigurasi di ~/.jupyter/jupyteraiconfig.json:
{
"languagemodel": {
"provider": "openai-chat",
"modelid": "gpt-4o"
},
"embeddingmodel": {
"provider": "openai",
"modelid": "text-embedding-3-small"
},
"apikeys": {},
"chunksize": 2000,
"chunkoverlap": 200
}
Konfigurasi RAG
Sesuaikan parameter chunking untuk hasil RAG yang lebih baik:
# Di notebook atau startup script
from jupyterai.config import AiConfig
config = AiConfig()
config.chunksize = 1500 # Ukuran chunk (karakter)
config.chunkoverlap = 200 # Overlap antar chunk
config.maxresults = 5 # Jumlah chunk yang di-retrieve
Menggunakan Beberapa Provider Sekaligus
Anda bisa menggunakan provider berbeda untuk tugas berbeda dalam notebook yang sama:
# Gunakan GPT-4o untuk reasoning kompleks
%%ai openai-chat:gpt-4o
Desain arsitektur microservice untuk sistem rekomendasi real-time.
Gunakan Claude untuk code generation
%%ai anthropic-chat:claude-sonnet-4-6
Implementasikan collaborative filtering menggunakan matrix factorization di Python.
Gunakan model lokal untuk tugas sederhana
%%ai ollama:llama3.1
Konversi list comprehension ini ke regular for loop:
result = [x2 for x in range(10) if x % 2 == 0]
Best Practices
1. Pilih Model yang Tepat untuk Tugas
- Code generation: Gunakan model yang kuat di coding (GPT-4o, Claude Sonnet)
- Analisis data: Model general purpose (GPT-4o, Claude)
- Tugas ringan/iterasi cepat: Model lokal (Llama 3.1 via Ollama) atau model yang lebih kecil
- Embedding untuk RAG**:
text-embedding-3-small(OpenAI) ataunomic-embed-text(lokal)
2. Berikan Konteks yang Cukup
# Kurang baik
%%ai openai-chat:gpt-4o
Fix this code.
Lebih baik
%%ai openai-chat:gpt-4o
Kode berikut seharusnya menghitung weighted average dari kolom 'score'
berdasarkan kolom 'weight' per group di kolom 'category'.
Tapi hasilnya selalu NaN untuk beberapa group.
DataFrame saya: {df.head().tostring()}
Dtypes: {df.dtypes.tostring()}
3. Gunakan RAG untuk Proyek Besar
Untuk proyek dengan banyak file dan dokumentasi:
/learn /path/to/project/src/
/learn /path/to/project/docs/
Kemudian tanyakan pertanyaan spesifik:
/ask Bagaimana flow data dari API endpoint /process hingga ke database?
/ask Function mana yang bertanggung jawab untuk data validation?
4. Buat Workflow yang Konsisten
Contoh workflow data analysis dengan Jupyter AI:
# Step 1: Load dan inspect data
import pandas as pd
df = pd.readcsv("salesdata.csv")
df.info()
# Step 2: Minta AI menganalisis struktur data
%%ai openai-chat:gpt-4o -f markdown
Berdasarkan info dataset berikut:
{Out[1]}
Sarankan langkah-langkah EDA dan preprocessing yang perlu dilakukan.
# Step 3: Minta AI generate kode preprocessing
%%ai openai-chat:gpt-4o -f code
Berdasarkan saran di atas, buatkan kode Python untuk:
Handle missing values pada kolom numerik dengan median
Encode categorical variables
Remove outliers menggunakan IQR method
5. Perhatikan Keamanan dan Privasi
- Jangan kirim data sensitif (PII, credentials) ke API provider cloud
- Gunakan model lokal (Ollama) untuk data confidential
- Review kode yang di-generate sebelum menjalankannya
- Jangan menyimpan API key langsung di notebook
6. Manfaatkan Output Format
# Untuk dokumentasi: gunakan markdown
%%ai openai-chat:gpt-4o -f md
Dokumentasikan class DataPipeline berikut beserta semua methodnya.
Untuk presentasi: gunakan HTML
%%ai openai-chat:gpt-4o -f html
Buat tabel perbandingan antara Random Forest, XGBoost, dan LightGBM.
Untuk paper/laporan: gunakan math
%%ai openai-chat:gpt-4o -f math
Tuliskan formula loss function untuk binary cross-entropy.
Integrasi dengan Workflow ML
Experiment Tracking dengan AI Assistance
import mlflow
Minta AI suggest hyperparameter
%%ai openai-chat:gpt-4o -f json
Berdasarkan dataset dengan 50000 samples, 20 fitur numerik,
dan target binary classification dengan rasio 70:30,
sarankan hyperparameter grid untuk Random Forest dalam format JSON:
{"nestimators": [...], "maxdepth": [...], "minsamplessplit": [...]}
# Parse response dan jalankan experiment
import json
params = json.loads(Out[-1])
with mlflow.startrun():
for nest in params["nestimators"]:
for depth in params["maxdepth"]:
# train dan log...
pass
Data Quality Checks
# Jalankan profiling
profile = df.describe(include='all').tostring()
%%ai openai-chat:gpt-4o -f markdown
Analisis profil data berikut dan identifikasi potential data quality issues:
{profile}
Berikan rekomendasi specific untuk setiap issue yang ditemukan.
Troubleshooting
Jupyter AI Tidak Muncul di Sidebar
# Pastikan extension terinstall dengan benar
jupyter labextension list
jupyter server extension list
Jika tidak muncul, coba rebuild
jupyter lab build
Error "No module named 'langchain_openai'"
# Install provider yang dibutuhkan
pip install langchain-openai langchain-anthropic
Model Tidak Tersedia
# List semua model yang tersedia
%ai list
Output akan menampilkan semua provider dan model yang terdeteksi
Rate Limiting
Jika Anda sering mendapat rate limit error:
# Gunakan model yang lebih murah untuk iterasi
%%ai openai-chat:gpt-4o-mini
Quick question: apa syntax pandas untuk merge dua dataframe?
Simpan model mahal untuk tugas kompleks
%%ai anthropic-chat:claude-sonnet-4-6
Desain dan implementasikan pipeline ETL lengkap...
Kesimpulan
Jupyter AI mengubah cara kita bekerja dengan notebook. Dengan mengintegrasikan LLM langsung ke workflow Jupyter, Anda bisa:
- Mempercepat eksplorasi data dengan bertanya langsung di notebook
- Mendapatkan code generation tanpa berpindah aplikasi
- Memanfaatkan RAG untuk memahami codebase dan dokumentasi proyek
- Menggunakan model lokal untuk data sensitif
- Membuat notebook lengkap dari deskripsi natural language
Mulailah dengan menginstal jupyter-ai, konfigurasi provider pilihan Anda, dan eksplorasi magic commands serta chat interface. Seiring waktu, Anda akan menemukan pola penggunaan yang paling efektif untuk workflow spesifik Anda.
Jupyter AI tersedia di GitHub dan dokumentasi lengkap bisa diakses di halaman proyek resmi.