Tutorial Install TensorRT dengan pip di Ubuntu

TensorRT adalah library optimasi inference dari NVIDIA untuk mempercepat model deep learning (ONNX, PyTorch, TensorFlow) di GPU NVIDIA. Metode pip install cocok untuk inference Python-based, bukan untuk development C++.

Tutorial ini fokus pada TensorRT via pip, bukan via .deb atau SDK full.

1. Prasyarat Wajib

Pastikan semua komponen berikut sudah tersedia:

GPU NVIDIA

CUDA Toolkit terinstal

NVIDIA Docker tidak wajib, tapi direkomendasikan

Cek GPU:

nvidia-smi

Cek CUDA:

nvcc --version

Jika CUDA belum ada, TensorRT tidak akan bisa digunakan meskipun pip install berhasil.

2. Cek Versi CUDA yang Digunakan

TensorRT sangat sensitif terhadap versi CUDA. Catat versi CUDA dari:

nvidia-smi

Contoh:

CUDA Version: 12.2

Ini penting untuk memilih versi TensorRT yang kompatibel.

3. Upgrade pip dan dependency dasar

python3 -m pip install --upgrade pip setuptools wheel

Disarankan menggunakan virtual environment:

python3 -m venv trt-env
source trt-env/bin/activate

4. Install TensorRT Menggunakan pip

TensorRT di pip tidak tersedia di PyPI publik, tetapi di repository NVIDIA.

Langkah 1: Install NVIDIA PyPI index

pip install nvidia-pyindex

Langkah 2: Install TensorRT

pip install nvidia-tensorrt

Jika ingin versi spesifik:

pip install nvidia-tensorrt==9.2.0

5. Verifikasi Instalasi TensorRT

Masuk ke Python:

python

Lalu jalankan:

import tensorrt as trt
print(trt.version)

Jika versi TensorRT muncul tanpa error, instalasi berhasil.

6. Verifikasi Akses CUDA dari TensorRT

import tensorrt as trt

logger = trt.Logger(trt.Logger.WARNING)
print("TensorRT OK, CUDA ready")

Jika tidak muncul error libnvinfer.so atau libcuda.so, berarti environment sudah benar.

7. Error Umum dan Solusinya

Error: libnvinfer.so not found

Penyebab:

Driver NVIDIA tidak cocok

export LDLIBRARYPATH=/usr/local/cuda/lib64:$LDLIBRARYPATH

echo 'export LDLIBRARYPATH=/usr/local/cuda/lib64:$LDLIBRARYPATH' >> ~/.bashrc
source ~/.bashrc

Versi driver NVIDIA lebih rendah dari kebutuhan TensorRT

Solusi:

Gunakan versi TensorRT yang lebih lama dan kompatibel

8. Catatan Penting (Wajib Dibaca)

Tidak cocok untuk:

Plugin custom C++

Compile TensorRT engine via C++

NVIDIA Docker + TensorRT image

• Atau install TensorRT via .deb

9. Ringkasan Singkat

Driver NVIDIA + CUDA
        ↓
pip install nvidia-pyindex
        ↓
pip install nvidia-tensorrt
        ↓
import tensorrt
        ↓
TensorRT siap untuk inference