Cara Menjalankan LLM Lokal dengan GPU NVIDIA: Panduan Lengkap untuk Pemula

Menjalankan Artificial Intelligence (AI) kini tidak selalu harus melalui layanan online seperti ChatGPT atau Gemini. Dengan bantuan teknologi Local AI, Anda bisa menjalankan Large Language Model (LLM) langsung di komputer sendiri, bahkan memanfaatkan GPU NVIDIA untuk mempercepat prosesnya.

Kabar baiknya, Anda tidak harus memiliki server mahal untuk mulai mencoba. Komputer desktop dengan GPU NVIDIA yang mendukung CUDA sudah bisa digunakan untuk menjalankan berbagai model AI lokal, selama kapasitas memori dan spesifikasinya sesuai.

Salah satu software yang mempermudah proses ini adalah Ollama. Dengan beberapa perintah sederhana, Anda dapat mengunduh model AI, menjalankannya, dan mulai berinteraksi melalui terminal atau aplikasi chat.

Dalam artikel ini, kita akan membahas cara menjalankan LLM lokal menggunakan GPU NVIDIA, mulai dari persiapan perangkat, instalasi driver, pemasangan Ollama, memilih model, hingga menguji apakah GPU benar-benar digunakan.

1. Apa Itu LLM Lokal?

LLM atau Large Language Model adalah model kecerdasan buatan yang dilatih menggunakan data dalam jumlah besar agar dapat memahami dan menghasilkan teks berdasarkan instruksi pengguna.

Contoh model yang cukup dikenal antara lain:

• Llama.

• Qwen.

• Gemma.

• Mistral.

• DeepSeek.

• Phi.

Biasanya, model AI seperti ini digunakan melalui layanan cloud. Ketika pengguna mengirimkan pertanyaan, permintaan akan diproses oleh server penyedia layanan.

Dengan LLM lokal, model tersebut diunduh dan dijalankan langsung pada komputer sendiri. Proses menghasilkan jawaban dilakukan menggunakan sumber daya komputer, terutama RAM, CPU, dan GPU.

Artinya, komputer Anda dapat berfungsi sebagai tempat menjalankan asisten AI pribadi.

2. Mengapa Menggunakan GPU NVIDIA?

Sebenarnya, LLM dapat dijalankan hanya menggunakan CPU. Namun, prosesnya bisa terasa lambat, terutama ketika menggunakan model dengan ukuran besar.

GPU memiliki banyak unit pemrosesan yang dapat bekerja secara paralel. Kemampuan ini cocok untuk perhitungan matematika dalam jumlah besar yang dibutuhkan ketika model AI menghasilkan jawaban.

GPU NVIDIA banyak digunakan untuk kebutuhan AI karena ekosistem CUDA dan dukungan berbagai software yang sudah cukup luas.

Beberapa keuntungan menggunakan GPU NVIDIA untuk LLM lokal adalah:

• Proses menghasilkan jawaban bisa lebih cepat dibandingkan CPU saja.

• Dapat memproses model dengan ukuran lebih besar jika kapasitas VRAM mencukupi.

• Mendukung berbagai framework dan runtime AI.

• Memiliki dukungan perangkat lunak yang luas.

• Dapat digunakan untuk berbagai pekerjaan AI selain LLM.

Namun, perlu dipahami bahwa tidak semua proses harus sepenuhnya dilakukan oleh GPU. Jika model terlalu besar untuk dimuat ke VRAM, sebagian proses dapat dialihkan ke RAM dan CPU. Kondisi ini biasanya membuat proses menjadi lebih lambat.

3. Persiapan Hardware Sebelum Menjalankan LLM

Sebelum memasang software, pastikan komputer memiliki spesifikasi yang sesuai.

Ada tiga komponen utama yang perlu diperhatikan.

A. GPU dan VRAM

VRAM adalah memori khusus pada kartu grafis. Dalam penggunaan LLM, VRAM digunakan untuk menampung model dan data yang sedang diproses oleh GPU.

Semakin besar kapasitas VRAM, semakin banyak pilihan model yang dapat dijalankan.

Berikut gambaran umum kapasitas GPU untuk memulai:

Kapasitas VRAM	Gambaran Penggunaan
4 GB	Mencoba model kecil dengan pengaturan terbatas
6 GB	Model kecil dan beberapa model ringan yang sudah dioptimalkan
8 GB	Lebih banyak pilihan model kecil hingga menengah
12 GB	Cukup fleksibel untuk mencoba beberapa model 7B–8B yang sudah di-quantize
16 GB	Ruang lebih besar untuk model dan context yang lebih panjang
24 GB atau lebih	Lebih fleksibel untuk model yang lebih besar

Tabel tersebut hanya gambaran, bukan jaminan bahwa semua model dengan ukuran tertentu pasti dapat berjalan. Kebutuhan VRAM juga dipengaruhi oleh quantization, panjang context, ukuran cache, dan aplikasi yang digunakan.

Sebagai contoh, NVIDIA GeForce RTX 3060 dengan VRAM 12 GB dapat menjadi perangkat awal yang menarik untuk mencoba model lokal berukuran kecil hingga menengah.

B. RAM Komputer

Selain VRAM, RAM utama juga penting.

RAM digunakan untuk menjalankan sistem operasi, aplikasi pendukung, dan bagian model yang tidak dapat dimuat sepenuhnya ke GPU.

Sebagai gambaran:

• 8 GB RAM: masih bisa mencoba model kecil, tetapi ruang kerja terbatas.

• 16 GB RAM: lebih nyaman untuk eksperimen dasar.

• 32 GB RAM: memberikan ruang lebih besar untuk menjalankan model dan aplikasi lain.

• 64 GB RAM atau lebih: lebih fleksibel untuk model yang lebih besar atau pekerjaan tambahan.

Jika RAM terlalu kecil, komputer dapat menjadi lambat ketika menjalankan model AI bersamaan dengan aplikasi lain.

C. Penyimpanan SSD

File model AI dapat berukuran beberapa gigabyte hingga puluhan gigabyte.

Karena itu, sediakan ruang penyimpanan yang cukup. SSD lebih disarankan agar proses membaca dan memuat file model terasa lebih responsif.

Jangan lupa memperhitungkan ruang untuk beberapa model, file sementara, dan pembaruan aplikasi.

4. Memastikan GPU NVIDIA Sudah Terdeteksi

Sebelum memasang Ollama, pastikan driver NVIDIA sudah terpasang dengan benar.

Cara paling mudah adalah menggunakan perintah nvidia-smi.

Untuk Windows

1. Pastikan driver NVIDIA sudah terpasang.

2. Buka Command Prompt atau PowerShell.

3. Jalankan perintah berikut:

nvidia-smi

Jika driver bekerja dengan baik, akan muncul informasi seperti nama GPU, versi driver, penggunaan VRAM, dan aktivitas GPU.

Untuk Ubuntu atau Linux

Buka terminal, kemudian jalankan:

nvidia-smi

Jika perintah tersebut berhasil, sistem akan menampilkan informasi GPU NVIDIA yang terpasang.

Jika muncul pesan bahwa perintah tidak ditemukan atau GPU tidak terdeteksi, periksa kembali instalasi driver NVIDIA.

Anda dapat mengunduh driver melalui halaman resmi NVIDIA:

https://www.nvidia.com/Download/index.aspx

Catatan penting: Untuk menjalankan Ollama dengan paket resminya, Anda umumnya tidak perlu memasang CUDA Toolkit secara manual. Ollama menyediakan dukungan GPU NVIDIA melalui komponen runtime yang sesuai. Yang paling penting adalah driver NVIDIA yang kompatibel dan GPU yang didukung. Kebutuhan CUDA Toolkit dapat berbeda jika Anda ingin membangun software atau framework AI sendiri dari source code.

5. Menginstal Ollama

Ollama adalah salah satu aplikasi yang memudahkan pengguna menjalankan model AI secara lokal.

Dengan Ollama, Anda tidak perlu mengatur seluruh proses pemuatan model secara manual. Aplikasi ini membantu mengunduh model, menjalankan model, dan menyediakan akses melalui terminal maupun API lokal.

Website resmi:

https://ollama.com/

A. Instalasi di Windows

Langkah-langkahnya cukup sederhana:

1. Buka website resmi Ollama.

2. Pilih versi Windows.

3. Unduh file installer.

4. Jalankan installer dan ikuti petunjuk pemasangan.

5. Setelah selesai, buka PowerShell atau Command Prompt.

Anda juga dapat memeriksa apakah Ollama sudah terpasang dengan perintah:

ollama --version

Jika versi Ollama muncul, instalasi dasar sudah berhasil.

Pada Windows, Ollama berjalan sebagai aplikasi native dan dapat berjalan di background. Perintah CLI dapat digunakan melalui PowerShell maupun Command Prompt.

B. Instalasi di Ubuntu atau Linux

Untuk Ubuntu dan distribusi Linux yang didukung, instalasi dapat dilakukan melalui terminal.

Jalankan perintah berikut:

curl -fsSL https://ollama.com/install.sh | sh

Setelah proses selesai, periksa instalasi:

ollama --version

Jika Anda menggunakan Linux dengan layanan Ollama, pastikan servicenya berjalan:

sudo systemctl status ollama

Jika belum aktif, Anda dapat menjalankannya dengan:

sudo systemctl start ollama

Perintah dan pengelolaan service dapat sedikit berbeda tergantung cara instalasi dan distribusi Linux yang digunakan.

6. Mengunduh dan Menjalankan Model AI

Setelah Ollama terpasang, langkah berikutnya adalah memilih model AI.

Untuk percobaan awal, Anda bisa menggunakan model Qwen3. Model ini tersedia dalam beberapa ukuran sehingga pengguna dapat memilih sesuai kemampuan perangkat.

Sebagai contoh, jalankan model berikut:

ollama run qwen3:4b

Ollama akan mengunduh model jika belum tersedia di komputer. Setelah proses selesai, Anda dapat langsung mengetik pertanyaan melalui terminal.

Contoh pertanyaan:

Jelaskan apa itu Local AI menggunakan bahasa sederhana.

Anda juga dapat mencoba model dengan ukuran lebih besar:

ollama run qwen3:8b

Namun, model 8B membutuhkan sumber daya lebih besar. Pastikan VRAM dan RAM mencukupi sebelum menjalankannya.

Untuk melihat daftar model yang sudah diunduh:

ollama list

Untuk menghapus model yang tidak lagi digunakan:

ollama rm qwen3:4b

Nama model dan pilihan ukuran dapat berubah seiring pembaruan katalog. Periksa halaman model resmi sebelum mengunduh:

https://ollama.com/library

7. Memastikan Ollama Menggunakan GPU NVIDIA

Ini adalah salah satu bagian paling penting.

Menginstal Ollama dan menjalankan model belum tentu berarti model tersebut sepenuhnya menggunakan GPU. Pada kondisi tertentu, Ollama dapat menggunakan CPU, GPU, atau kombinasi keduanya.

Ada dua cara sederhana untuk memeriksanya.

A. Menggunakan nvidia-smi

Buka terminal atau PowerShell, kemudian jalankan:

nvidia-smi

Biarkan perintah tersebut terbuka, lalu jalankan model AI di terminal lain.

Perhatikan bagian penggunaan VRAM dan proses yang menggunakan GPU. Jika model berjalan menggunakan GPU, biasanya penggunaan memori GPU akan meningkat.

Anda juga dapat memantau penggunaan GPU secara berkala:

nvidia-smi -l 1

Perintah tersebut memperbarui informasi GPU setiap satu detik.

B. Menggunakan ollama ps

Ollama menyediakan perintah untuk melihat model yang sedang berjalan:

ollama ps

Perhatikan kolom PROCESSOR.

Contoh gambaran hasil:

NAME          SIZE      PROCESSOR
qwen3:4b      3.1 GB    100% GPU

Jika tertulis 100% GPU, model dimuat sepenuhnya ke memori GPU.

Jika tertulis 100% CPU, model berjalan menggunakan memori sistem.

Jika tertulis pembagian seperti 40%/60% CPU/GPU, berarti sebagian model berada di RAM dan sebagian lainnya berada di VRAM.

Perlu diingat bahwa angka di atas hanya contoh. Hasil sebenarnya bergantung pada model, perangkat, dan konfigurasi yang digunakan.

8. Memahami Quantization agar Model Muat di VRAM

Ketika mencari model AI, Anda mungkin menemukan istilah seperti Q4, Q5, Q8, atau istilah quantization lainnya.

Quantization adalah proses mengurangi tingkat ketelitian angka yang digunakan untuk menyimpan bobot model AI.

Sederhananya, quantization membuat ukuran model menjadi lebih kecil sehingga lebih mudah dijalankan pada komputer dengan kapasitas memori terbatas.

Contohnya:

• Model dengan quantization Q4 biasanya membutuhkan memori lebih kecil dibandingkan versi dengan presisi lebih tinggi.

• Model Q5 dapat memberikan kompromi berbeda antara ukuran dan kualitas.

• Model dengan presisi lebih tinggi biasanya membutuhkan memori lebih besar.

Namun, semakin kecil ukuran model bukan berarti selalu semakin baik. Tingkat quantization tertentu dapat memengaruhi kualitas jawaban.

Pada Ollama, banyak model sudah tersedia dalam format yang dioptimalkan. Anda dapat memilih tag model yang sesuai dari katalog resminya tanpa harus mengubah file model secara manual.

9. Tips agar LLM Berjalan Lebih Optimal

Setelah berhasil menjalankan model, ada beberapa hal yang dapat dilakukan untuk meningkatkan kenyamanan penggunaan.

1. Pilih Model Sesuai Kapasitas VRAM

Jangan langsung mencoba model yang terlalu besar.

Mulailah dengan model kecil, misalnya Qwen3 4B. Jika performanya baik dan memori masih mencukupi, Anda dapat mencoba model yang lebih besar.

2. Perhatikan Context Length

Context length adalah jumlah token yang dapat diperhatikan model dalam satu sesi pemrosesan.

Semakin panjang context yang digunakan, semakin besar pula kebutuhan memori, terutama untuk menyimpan KV cache.

Jadi, model yang awalnya dapat berjalan di GPU belum tentu tetap muat ketika context length dinaikkan terlalu tinggi.

Gunakan context secukupnya sesuai kebutuhan.

3. Tutup Aplikasi yang Tidak Diperlukan

Aplikasi game, browser dengan banyak tab, aplikasi editing, dan software lain dapat menggunakan VRAM.

Jika VRAM hampir penuh, tutup aplikasi yang tidak diperlukan sebelum menjalankan model AI.

4. Gunakan SSD

Pastikan file model disimpan pada SSD dengan kapasitas yang memadai. Hal ini membantu proses membaca file dan memuat model.

5. Perbarui Driver dan Ollama

Gunakan driver NVIDIA dan versi Ollama yang masih didukung. Pembaruan dapat membawa perbaikan kompatibilitas, bug, dan dukungan perangkat keras.

Sebelum memperbarui sistem yang sudah digunakan untuk pekerjaan penting, sebaiknya catat konfigurasi yang berjalan dengan baik.

10. Mengakses Local AI Melalui Aplikasi Chat

Jika Anda tidak nyaman menggunakan terminal, Anda dapat menggabungkan Ollama dengan aplikasi yang memiliki antarmuka grafis.

Salah satu pilihan yang populer adalah Open WebUI.

Open WebUI menyediakan antarmuka chat yang dapat dihubungkan dengan Ollama sehingga pengalaman menggunakan Local AI terasa lebih mirip layanan chatbot berbasis website.

Website:

https://openwebui.com/

Dengan pendekatan ini, Anda dapat:

• Membuka Local AI melalui browser.

• Mengelola percakapan.

• Memilih model yang tersedia.

• Menggunakan antarmuka chat.

• Menghubungkan model lokal dengan kebutuhan lain sesuai fitur aplikasi.

Perlu diperhatikan bahwa Open WebUI merupakan aplikasi terpisah. Anda tetap harus menjalankan Ollama sebagai penyedia model AI lokal.

Jika menggunakan Docker, pastikan konfigurasi GPU dan koneksi antara container Open WebUI dengan Ollama sudah benar.

11. Masalah yang Sering Terjadi Saat Menjalankan LLM

Tidak semua proses instalasi langsung berjalan lancar. Berikut beberapa masalah yang sering ditemui.

GPU Tidak Terdeteksi

Penyebab yang mungkin:

• Driver NVIDIA belum terpasang dengan benar.

• Versi driver tidak memenuhi persyaratan.

• GPU tidak termasuk perangkat yang didukung.

• Ollama belum berhasil mengakses perangkat GPU.

Solusi awal:

Jalankan nvidia-smi untuk memastikan GPU terdeteksi oleh sistem. Setelah itu, periksa dokumentasi dukungan GPU Ollama dan restart layanan jika diperlukan.

Model Berjalan Menggunakan CPU

Penyebab yang mungkin:

• VRAM tidak mencukupi.

• Model terlalu besar.

• Ada masalah pada driver atau runtime GPU.

• GPU sedang digunakan aplikasi lain.

Solusi awal:

Coba model yang lebih kecil, tutup aplikasi yang menggunakan VRAM, kemudian periksa kembali hasil ollama ps.

Komputer Menjadi Lambat

Penyebab yang mungkin:

• RAM hampir penuh.

• Model terlalu besar.

• Context length terlalu tinggi.

• Sebagian model dialihkan ke CPU.

• Komputer menjalankan banyak aplikasi secara bersamaan.

Solusi awal:

Gunakan model yang lebih kecil, kurangi context length, dan tutup aplikasi yang tidak diperlukan.

Model Tidak Bisa Diunduh

Penyebab yang mungkin:

• Koneksi internet bermasalah.

• Ruang penyimpanan tidak mencukupi.

• Nama atau tag model tidak sesuai.

Solusi awal:

Periksa koneksi internet, kapasitas SSD, dan nama model pada katalog resmi Ollama.

12. Apakah LLM Lokal dengan GPU NVIDIA Cocok untuk Bisnis?

LLM lokal dapat menjadi pilihan menarik untuk bisnis yang ingin mengembangkan sistem AI sendiri.

Contohnya:

• Chatbot untuk dokumentasi internal.

• Asisten untuk membantu karyawan.

• Sistem pencarian dokumen.

• Bantuan analisis data.

• Asisten pemrograman.

• Integrasi AI ke aplikasi perusahaan.

Ollama menyediakan API lokal yang dapat digunakan untuk menghubungkan model dengan aplikasi lain. Dengan begitu, developer dapat membuat sistem yang memanfaatkan kemampuan LLM tanpa harus selalu mengandalkan layanan cloud.

Namun, untuk penggunaan bisnis, ada beberapa hal yang harus direncanakan:

• Kapasitas hardware dan jumlah pengguna.

• Keamanan API dan akses jaringan.

• Backup serta pengelolaan data.

• Pemilihan model dan ketentuan lisensi.

• Pemantauan performa.

• Rencana pembaruan dan pemeliharaan.

Jika Local AI akan diakses banyak pengguna secara bersamaan, satu komputer desktop mungkin tidak cukup. Anda perlu mempertimbangkan server dengan GPU yang lebih sesuai.

Kesimpulan

Menjalankan LLM lokal menggunakan GPU NVIDIA bukan lagi hal yang hanya bisa dilakukan oleh peneliti atau perusahaan besar. Dengan perangkat yang sesuai dan bantuan software seperti Ollama, pengguna komputer pribadi sudah dapat mencoba menjalankan model AI sendiri.

Langkah dasarnya cukup sederhana: pastikan driver NVIDIA berfungsi, instal Ollama, unduh model yang sesuai, jalankan model, lalu periksa apakah GPU sudah digunakan melalui nvidia-smi dan ollama ps.

Hal terpenting adalah memilih model berdasarkan kemampuan hardware. Jangan hanya mengejar model dengan ukuran besar. Model yang lebih kecil tetapi berjalan lancar sering kali lebih nyaman untuk penggunaan sehari-hari.

Dengan GPU NVIDIA yang sesuai, komputer pribadi Anda dapat menjadi platform Local AI yang berguna untuk belajar, bekerja, mengembangkan aplikasi, dan bereksperimen dengan teknologi kecerdasan buatan.