Tutorial Lengkap Jupyter AI: Integrasikan LLM Langsung ke Notebook Anda

# Tutorial Lengkap Jupyter AI: Integrasikan LLM Langsung ke Notebook Anda Jupyter Notebook telah menjadi alat utama bagi data scientist dan ML engineer selama bertahun-tahun. Dengan hadirnya **Jupyte...

By Ruby Abdullah · · tutorial
Jupyter AIJupyterLabLLMData SciencePython

Tutorial Lengkap Jupyter AI: Integrasikan LLM Langsung ke Notebook Anda

Jupyter Notebook telah menjadi alat utama bagi data scientist dan ML engineer selama bertahun-tahun. Dengan hadirnya Jupyter AI, sekarang Anda bisa mengintegrasikan Large Language Model (LLM) langsung ke dalam workflow Jupyter Anda. Jupyter AI adalah ekstensi resmi dari Project Jupyter yang menambahkan kemampuan AI generatif ke JupyterLab, termasuk magic commands untuk cell-level interaction, chat interface untuk percakapan kontekstual, dan kemampuan RAG untuk bertanya tentang dokumen lokal Anda.

Dalam tutorial ini, kita akan membahas cara instalasi, konfigurasi, penggunaan dasar dan lanjutan Jupyter AI, serta best practices untuk memaksimalkan produktivitas Anda.

Mengapa Jupyter AI?

Sebelum kita mulai, mari pahami mengapa Jupyter AI layak digunakan dibanding alternatif lain:

  • Native Integration: Berjalan langsung di JupyterLab tanpa perlu berpindah aplikasi
  • Multi-Provider: Mendukung OpenAI, Anthropic, Cohere, HuggingFace, Google, Mistral, dan model lokal via Ollama
  • Magic Commands: Gunakan %%ai dan %ai magic langsung di cell notebook
  • Chat Interface: Panel chat terintegrasi di sidebar JupyterLab
  • RAG Built-in: Perintah /learn untuk mengindeks dokumen dan /ask untuk bertanya tentang konten lokal
  • Notebook Generation: Perintah /generate untuk membuat notebook lengkap dari deskripsi teks
  • Open Source: Dikembangkan oleh komunitas Project Jupyter

Instalasi

Prasyarat

Pastikan Anda memiliki Python 3.8+ dan JupyterLab 4.0+ terinstal.

# Buat virtual environment baru (opsional tapi disarankan)

python -m venv jupyter-ai-env

source jupyter-ai-env/bin/activate # Linux/Mac

jupyter-ai-env\Scripts\activate # Windows

Install JupyterLab jika belum ada

pip install jupyterlab>=4.0

Install Jupyter AI

# Install paket utama jupyter-ai (termasuk chat UI dan magic commands)

pip install jupyter-ai

Atau install hanya magic commands tanpa chat UI

pip install jupyter-ai-magics

Install Provider Dependencies

Jupyter AI membutuhkan paket tambahan sesuai provider LLM yang ingin Anda gunakan:

# Untuk OpenAI (GPT-4, GPT-4o, dll)

pip install langchain-openai

Untuk Anthropic (Claude)

pip install langchain-anthropic

Untuk Google (Gemini)

pip install langchain-google-genai

Untuk HuggingFace Hub

pip install langchain-huggingface

Untuk Mistral AI

pip install langchain-mistralai

Untuk model lokal via Ollama

pip install langchain-ollama

Untuk Cohere

pip install langchain-cohere

Konfigurasi API Key

Set API key sebagai environment variable sebelum menjalankan JupyterLab:

# OpenAI

export OPENAIAPIKEY="sk-..."

Anthropic

export ANTHROPICAPIKEY="sk-ant-..."

Google

export GOOGLEAPIKEY="AIza..."

Mistral

export MISTRALAPIKEY="..."

Atau simpan di file .env dan load otomatis

echo 'OPENAIAPIKEY=sk-...' >> ~/.bashrc

source ~/.bashrc

Jalankan JupyterLab:

jupyter lab

Penggunaan Dasar: Magic Commands

Cell Magic %%ai

Cell magic %%ai adalah cara paling cepat untuk berinteraksi dengan LLM langsung dari cell notebook. Tulis %%ai di baris pertama cell, diikuti nama provider dan model.

%%ai openai-chat:gpt-4o

Jelaskan konsep gradient descent dalam machine learning

dengan bahasa yang mudah dipahami.

Output akan ditampilkan langsung di bawah cell sebagai formatted markdown.

Menentukan Format Output

Anda bisa menentukan format output menggunakan flag -f:

%%ai openai-chat:gpt-4o -f code

Buatkan fungsi Python untuk menghitung moving average

dari sebuah list angka dengan window size yang bisa dikonfigurasi.

Format yang tersedia:

  • text - Plain text (default)
  • code - Code block
  • markdown atau md - Markdown formatted
  • math - LaTeX math
  • html - HTML rendered
  • json - JSON formatted

Line Magic %ai

Line magic %ai digunakan untuk query singkat dalam satu baris:

# Tanya singkat

%ai openai-chat:gpt-4o "Apa perbedaan antara list dan tuple di Python?"

Mendaftarkan Alias Model

Agar tidak perlu mengetik nama provider dan model berulang kali:

# Daftarkan alias

%ai register mymodel openai-chat:gpt-4o

Gunakan alias

%%ai mymodel

Buatkan contoh penggunaan pandas groupby dengan aggregasi multiple kolom.

Menggunakan Variabel Python di Prompt

Anda bisa menyisipkan variabel Python ke dalam prompt menggunakan kurung kurawal:

# Definisikan variabel

datasetinfo = "Dataset berisi 10000 baris dengan kolom: age, income, education, purchaseamount"

targetvariable = "purchaseamount"

%%ai openai-chat:gpt-4o

Berdasarkan informasi dataset berikut: {datasetinfo}

Sarankan pendekatan feature engineering terbaik

untuk memprediksi {targetvariable}.

Interpolasi Output Cell Sebelumnya

Jupyter AI bisa mereferensikan output dari cell sebelumnya menggunakan In dan Out:

# Cell 1: Jalankan kode

import pandas as pd

df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})

df.describe()

# Cell 2: Minta AI menganalisis output

%%ai openai-chat:gpt-4o

Analisis statistik deskriptif berikut dan berikan insight:

{Out[1]}

Penggunaan Dasar: Chat Interface

Membuka Chat Panel

Klik ikon chat Jupyter AI di sidebar kiri JupyterLab. Panel chat akan terbuka di sebelah kanan.

Memilih Model

Di bagian atas chat panel, klik gear icon untuk membuka settings. Di sini Anda bisa:

  • Language Model: Pilih model untuk chat (misal: gpt-4o, claude-3-opus)
  • Embedding Model: Pilih model untuk fitur RAG (misal: text-embedding-3-small)
  • API Keys: Input API key jika belum di-set via environment variable
  • Percakapan Kontekstual

    Chat interface mendukung percakapan multi-turn. AI mengingat konteks percakapan sebelumnya:

    User: Saya sedang mengerjakan proyek klasifikasi sentiment menggunakan BERT.
    

    AI: [memberikan saran]

    User: Bagaimana cara menghandle class imbalance pada dataset saya?

    AI: [menjawab dalam konteks BERT sentiment classification]

    Mengirim Seleksi Kode ke Chat

    Anda bisa mengirim kode yang di-highlight ke chat:

  • Select kode di notebook
  • Klik kanan > "Send to Jupyter AI Chat"
  • Tambahkan pertanyaan Anda di chat input
  • Ini sangat berguna untuk debugging atau meminta penjelasan kode tertentu.

    Fitur Lanjutan

    RAG dengan Perintah /learn

    Fitur /learn memungkinkan Anda mengindeks dokumen lokal sehingga AI bisa menjawab pertanyaan berdasarkan konten tersebut.

    # Di chat panel, ketik:
    

    /learn /path/to/your/documents/

    Atau learn file tertentu

    /learn /home/user/project/README.md

    Jupyter AI akan:

  • Membaca semua file di direktori yang ditentukan
  • Memecah konten menjadi chunks
  • Membuat embedding menggunakan model embedding yang dikonfigurasi
  • Menyimpan di vector store lokal (FAISS)
  • Setelah proses learning selesai, gunakan /ask untuk bertanya:

    /ask Bagaimana cara mengkonfigurasi database connection di proyek ini?
    

    /ask Apa fungsi dari class DataProcessor?

    Generate Notebook dengan /generate

    Perintah /generate membuat notebook lengkap dari deskripsi teks:

    /generate Buat notebook untuk analisis exploratory data analysis (EDA) 
    

    pada dataset Titanic, termasuk visualisasi distribusi,

    korelasi antar fitur, dan handling missing values

    Jupyter AI akan menghasilkan notebook baru dengan cell-cell yang berisi kode dan markdown explanations.

    Menggunakan Model Lokal via Ollama

    Untuk privasi atau penggunaan offline, Anda bisa menggunakan model lokal:

    # Install dan jalankan Ollama terlebih dahulu
    

    curl -fsSL https://ollama.com/install.sh | sh

    ollama pull llama3.1

    ollama pull nomic-embed-text # untuk embedding

    Kemudian di Jupyter AI:

    %%ai ollama:llama3.1
    

    Buatkan implementasi binary search tree di Python

    dengan method insert, search, dan delete.

    Untuk chat interface, pilih ollama sebagai provider di settings.

    Custom Model Provider

    Anda bisa membuat custom provider untuk model yang tidak didukung secara default:

    from jupyteraimagics import BaseProvider
    

    from jupyteraimagics.providers import EnvAuthStrategy

    from langchainopenai import ChatOpenAI

    class CustomProvider(BaseProvider):

    id = "custom-provider"

    name = "My Custom Provider"

    modelidkey = "modelname"

    models = ["my-model-v1", "my-model-v2"]

    authstrategy = EnvAuthStrategy(

    name="CUSTOMAPIKEY",

    keywordparam="apikey"

    )

    pypipackagedeps = ["langchain-openai"]

    @classmethod

    def getchatmodel(cls, args, kwargs):

    return ChatOpenAI(

    baseurl="https://my-api.example.com/v1",

    kwargs

    )

    Simpan file ini dan daftarkan sebagai entry point di setup.py atau pyproject.toml.

    Prompt Templates

    Buat prompt template reusable untuk task yang sering dilakukan:

    # Definisikan template
    

    codereviewtemplate = """

    Lakukan code review untuk kode berikut:

    python

    {code}

    
    

    Fokus pada:

  • Bug potensial
  • Performance issues
  • Readability
  • Best practices Python
  • Berikan skor 1-10 dan saran perbaikan spesifik.

    """

    Gunakan dengan magic command

    code = """

    def processdata(data):

    result = []

    for i in range(len(data)):

    if data[i] != None:

    result.append(data[i] 2)

    return result

    """

    %%ai openai-chat:gpt-4o

    {codereviewtemplate.format(code=code)}

    Error Debugging dengan AI

    Gunakan Jupyter AI untuk debugging error secara cepat:

    # Cell yang menghasilkan error
    

    import pandas as pd

    df = pd.readcsv("data.csv")

    result = df.groupby("category").agg({"value": "mean", "count": "sum"})

    # Jika error, kirim traceback ke AI
    

    %%ai openai-chat:gpt-4o -f markdown

    Saya mendapat error berikut saat menjalankan pandas groupby:

    {Out[-1]}

    Data saya memiliki kolom: category (string), value (float), count (int).

    Apa yang salah dan bagaimana cara memperbaikinya?

    Konfigurasi Lanjutan

    File Konfigurasi

    Jupyter AI menyimpan konfigurasi di ~/.jupyter/jupyteraiconfig.json:

    {
    

    "languagemodel": {

    "provider": "openai-chat",

    "modelid": "gpt-4o"

    },

    "embeddingmodel": {

    "provider": "openai",

    "modelid": "text-embedding-3-small"

    },

    "apikeys": {},

    "chunksize": 2000,

    "chunkoverlap": 200

    }

    Konfigurasi RAG

    Sesuaikan parameter chunking untuk hasil RAG yang lebih baik:

    # Di notebook atau startup script
    

    from jupyterai.config import AiConfig

    config = AiConfig()

    config.chunksize = 1500 # Ukuran chunk (karakter)

    config.chunkoverlap = 200 # Overlap antar chunk

    config.maxresults = 5 # Jumlah chunk yang di-retrieve

    Menggunakan Beberapa Provider Sekaligus

    Anda bisa menggunakan provider berbeda untuk tugas berbeda dalam notebook yang sama:

    # Gunakan GPT-4o untuk reasoning kompleks
    

    %%ai openai-chat:gpt-4o

    Desain arsitektur microservice untuk sistem rekomendasi real-time.

    Gunakan Claude untuk code generation

    %%ai anthropic-chat:claude-sonnet-4-6

    Implementasikan collaborative filtering menggunakan matrix factorization di Python.

    Gunakan model lokal untuk tugas sederhana

    %%ai ollama:llama3.1

    Konversi list comprehension ini ke regular for loop:

    result = [x2 for x in range(10) if x % 2 == 0]

    Best Practices

    1. Pilih Model yang Tepat untuk Tugas

    • Code generation: Gunakan model yang kuat di coding (GPT-4o, Claude Sonnet)
    • Analisis data: Model general purpose (GPT-4o, Claude)
    • Tugas ringan/iterasi cepat: Model lokal (Llama 3.1 via Ollama) atau model yang lebih kecil
    • Embedding untuk RAG**: text-embedding-3-small (OpenAI) atau nomic-embed-text (lokal)

    2. Berikan Konteks yang Cukup

    # Kurang baik
    

    %%ai openai-chat:gpt-4o

    Fix this code.

    Lebih baik

    %%ai openai-chat:gpt-4o

    Kode berikut seharusnya menghitung weighted average dari kolom 'score'

    berdasarkan kolom 'weight' per group di kolom 'category'.

    Tapi hasilnya selalu NaN untuk beberapa group.

    DataFrame saya: {df.head().tostring()}

    Dtypes: {df.dtypes.tostring()}

    3. Gunakan RAG untuk Proyek Besar

    Untuk proyek dengan banyak file dan dokumentasi:

    /learn /path/to/project/src/
    

    /learn /path/to/project/docs/

    Kemudian tanyakan pertanyaan spesifik:

    /ask Bagaimana flow data dari API endpoint /process hingga ke database?
    

    /ask Function mana yang bertanggung jawab untuk data validation?

    4. Buat Workflow yang Konsisten

    Contoh workflow data analysis dengan Jupyter AI:

    # Step 1: Load dan inspect data
    

    import pandas as pd

    df = pd.readcsv("salesdata.csv")

    df.info()

    # Step 2: Minta AI menganalisis struktur data
    

    %%ai openai-chat:gpt-4o -f markdown

    Berdasarkan info dataset berikut:

    {Out[1]}

    Sarankan langkah-langkah EDA dan preprocessing yang perlu dilakukan.

    # Step 3: Minta AI generate kode preprocessing
    

    %%ai openai-chat:gpt-4o -f code

    Berdasarkan saran di atas, buatkan kode Python untuk:

  • Handle missing values pada kolom numerik dengan median
  • Encode categorical variables
  • Remove outliers menggunakan IQR method
  • 5. Perhatikan Keamanan dan Privasi

    • Jangan kirim data sensitif (PII, credentials) ke API provider cloud
    • Gunakan model lokal (Ollama) untuk data confidential
    • Review kode yang di-generate sebelum menjalankannya
    • Jangan menyimpan API key langsung di notebook

    6. Manfaatkan Output Format

    # Untuk dokumentasi: gunakan markdown
    

    %%ai openai-chat:gpt-4o -f md

    Dokumentasikan class DataPipeline berikut beserta semua methodnya.

    Untuk presentasi: gunakan HTML

    %%ai openai-chat:gpt-4o -f html

    Buat tabel perbandingan antara Random Forest, XGBoost, dan LightGBM.

    Untuk paper/laporan: gunakan math

    %%ai openai-chat:gpt-4o -f math

    Tuliskan formula loss function untuk binary cross-entropy.

    Integrasi dengan Workflow ML

    Experiment Tracking dengan AI Assistance

    import mlflow
    
    

    Minta AI suggest hyperparameter

    %%ai openai-chat:gpt-4o -f json

    Berdasarkan dataset dengan 50000 samples, 20 fitur numerik,

    dan target binary classification dengan rasio 70:30,

    sarankan hyperparameter grid untuk Random Forest dalam format JSON:

    {"nestimators": [...], "maxdepth": [...], "minsamplessplit": [...]}

    # Parse response dan jalankan experiment
    

    import json

    params = json.loads(Out[-1])

    with mlflow.startrun():

    for nest in params["nestimators"]:

    for depth in params["maxdepth"]:

    # train dan log...

    pass

    Data Quality Checks

    # Jalankan profiling
    

    profile = df.describe(include='all').tostring()

    %%ai openai-chat:gpt-4o -f markdown

    Analisis profil data berikut dan identifikasi potential data quality issues:

    {profile}

    Berikan rekomendasi specific untuk setiap issue yang ditemukan.

    Troubleshooting

    Jupyter AI Tidak Muncul di Sidebar

    # Pastikan extension terinstall dengan benar
    

    jupyter labextension list

    jupyter server extension list

    Jika tidak muncul, coba rebuild

    jupyter lab build

    Error "No module named 'langchain_openai'"

    # Install provider yang dibutuhkan
    

    pip install langchain-openai langchain-anthropic

    Model Tidak Tersedia

    # List semua model yang tersedia
    

    %ai list

    Output akan menampilkan semua provider dan model yang terdeteksi

    Rate Limiting

    Jika Anda sering mendapat rate limit error:

    # Gunakan model yang lebih murah untuk iterasi
    

    %%ai openai-chat:gpt-4o-mini

    Quick question: apa syntax pandas untuk merge dua dataframe?

    Simpan model mahal untuk tugas kompleks

    %%ai anthropic-chat:claude-sonnet-4-6

    Desain dan implementasikan pipeline ETL lengkap...

    Kesimpulan

    Jupyter AI mengubah cara kita bekerja dengan notebook. Dengan mengintegrasikan LLM langsung ke workflow Jupyter, Anda bisa:

    • Mempercepat eksplorasi data dengan bertanya langsung di notebook
    • Mendapatkan code generation tanpa berpindah aplikasi
    • Memanfaatkan RAG untuk memahami codebase dan dokumentasi proyek
    • Menggunakan model lokal untuk data sensitif
    • Membuat notebook lengkap dari deskripsi natural language

    Mulailah dengan menginstal jupyter-ai, konfigurasi provider pilihan Anda, dan eksplorasi magic commands serta chat interface. Seiring waktu, Anda akan menemukan pola penggunaan yang paling efektif untuk workflow spesifik Anda.

    Jupyter AI tersedia di GitHub dan dokumentasi lengkap bisa diakses di halaman proyek resmi.

    Artikel Terkait

    Tutorial Lengkap Aisuite: Unified Multi-LLM Interface dari Andrew Ng

    Tutorial Lengkap Aisuite: Unified Multi-LLM Interface dari Andrew Ng Apa itu Aisuite? Aisuite adalah library Python open...

    Tutorial Lengkap Anthropic Claude API: Dari Dasar hingga Fitur Lanjutan

    Tutorial Lengkap Anthropic Claude API: Dari Dasar hingga Fitur Lanjutan Anthropic Claude adalah salah satu Large Languag...

    Tutorial ScrapeGraphAI: Web Scraping Cerdas dengan LLM dan Graph Logic

    Tutorial ScrapeGraphAI: Web Scraping Cerdas dengan LLM dan Graph Logic Pendahuluan Web scraping adalah salah satu teknik...

    Tutorial MergeKit: Menggabungkan Model LLM untuk Membuat Model AI Kustom

    Tutorial MergeKit: Menggabungkan Model LLM untuk Membuat Model AI Kustom Model bahasa besar (LLM) open-source terus berk...