WINDOWS Üzerinde Kendi Yapay Zeka Modelini Çalıştır : OLLAMA + OPEN WEBUI

Ollama ve Open WebUI : Yerel LLM’lerin Gücü

Ollama, büyük dil modellerini (LLM’ler) yerel bilgisayarınızda çalıştırmanıza olanak tanıyan açık kaynaklı bir platformdur ¹. Llama, Phi ve Mistral gibi çeşitli popüler LLM’leri destekleyerek, yapay zeka teknolojilerini kendi sisteminizde denemeniz ve kullanmanız için güçlü bir ortam sunar ¹. Ollama, macOS, Linux ve Windows gibi farklı işletim sistemlerinde çalışabilir ¹.

Open WebUI ise, Ollama ile etkileşim kurmak için tasarlanmış kullanıcı dostu, web tabanlı bir arayüzdür ⁴. Tamamen çevrimdışı çalışabilen bu arayüz, Ollama ve OpenAI uyumlu API’leri destekleyerek LLM’lerle sohbet etmeyi ve onları yönetmeyi kolaylaştırır ⁴. ChatGPT benzeri arayüzü sayesinde, teknik bilgisi sınırlı kullanıcılar bile bu teknolojilere kolayca erişebilir ⁴.

Yerel LLM çalıştırmak, bulut tabanlı çözümlere olan bağımlılığı azaltmanın yanı sıra, veri gizliliği, özelleştirme ve internet bağlantısı olmadan erişim gibi önemli avantajlar sunar ¹. Bu rehber, Windows işletim sistemine sahip kullanıcıların Ollama ve Open WebUI’yı kurarak yerel LLM’leri nasıl çalıştırabileceğini adım adım anlatmayı amaçlamaktadır.

Neden Yerel Bir LLM Kurmalısınız?

Yerel bir LLM kurmanın çeşitli önemli nedenleri vardır:

• Veri Gizliliği ve Güvenliği: Özellikle hassas verilerle çalışıyorsanız, verilerin yerel makinenizde kalması gizlilik ve güvenlik açısından büyük önem taşır ¹. Bu, veri ihlali riskini önemli ölçüde azaltır.
• Düşük Gecikme Süresi: Verilerin yerel olarak işlenmesi, bulut tabanlı çözümlere kıyasla genellikle daha hızlı yanıt süreleri sağlar ². Bu, daha akıcı ve gerçek zamanlı bir etkileşim deneyimi sunar.
• İnternet Bağlantısı Bağımlılığının Olmaması: Model bir kez indirildikten sonra, internet bağlantısı olmasa bile LLM’yi kullanabilirsiniz ¹. Bu, özellikle internet erişiminin kısıtlı olduğu durumlarda büyük bir avantajdır.
• Özelleştirme ve Kontrol İmkanı: Yerel kurulum, model parametrelerini (örneğin yaratıcılık, yanıt uzunluğu) ayarlama ve LLM’yi özel kullanım senaryolarınıza göre optimize etme imkanı sunar ¹. Ollama’nın Modelfile özelliği, modelleri özelleştirme konusunda güçlü bir araçtır ⁷.
• Maliyet Etkinliği: Uzun vadede, özellikle yoğun kullanım gerektiren projeleriniz varsa, yerel LLM çalıştırmak bulut tabanlı API kullanımına kıyasla daha maliyet etkin olabilir.

Bu avantajlar, yerel LLM’leri özellikle hassas veri işleyen, internet bağlantısı sorunları yaşayan veya LLM’leri derinlemesine özelleştirmek isteyen kullanıcılar için cazip bir seçenek haline getirir.

Bu Kılavuzun Amacı ve Hedef Kitlesi

Bu kılavuzun temel amacı, Windows işletim sistemine sahip kullanıcılara Ollama ve Open WebUI’yı adım adım nasıl kuracaklarını ve kullanacaklarını anlatarak yerel LLM’leri çalıştırma konusunda rehberlik etmektir. Kılavuz, teknik bilgisi farklı seviyelerde olan kullanıcılara hitap edecek şekilde basit ve anlaşılır bir dilde yazılmıştır.

Hedef kitle, büyük dil modellerine ilgi duyan, Windows işletim sistemine sahip ve temel teknik bilgiye sahip bireylerdir. Ayrıca, kendi web sitelerinde bu tür bir işlevsellik sunmak isteyen web sitesi sahipleri ve yapay zeka teknolojilerine meraklı olan herkes bu kılavuzdan faydalanabilir. Bu kılavuz, yerel LLM kurulumunu denemek isteyen ancak nereden başlayacağını bilmeyen kullanıcılara yol göstermeyi ve kendi sistemlerinde LLM’leri çalıştırma konusunda bilgi ve beceri kazanmalarına yardımcı olmayı amaçlamaktadır.

Adım 1: Sistem Gereksinimleri

Ollama ve Open WebUI’yı Windows bilgisayarınıza kurmadan önce, sisteminizin belirli gereksinimleri karşıladığından emin olmanız önemlidir. Aşağıda, her iki uygulama için minimum ve önerilen sistem gereksinimleri özetlenmiştir.

Ollama için Minimum ve Önerilen Gereksinimler

• İşletim Sistemi:
  • Minimum: Windows 10 22H2 veya üzeri ⁸, Windows 10 64-bit 21H2 (build 19044) veya üzeri, Windows 11 64-bit 21H2 veya üzeri ⁴. Windows 10 veya üzeri ⁹. Daha eski Windows sürümleri uyumsuzluk sorunlarına yol açabilir. Ayrıca, WSL (Windows Subsystem for Linux) sürümünüzün 1.1.3.0 veya üzeri olması ve WSL 2 özelliğinin etkin olması önerilir ⁴.
  • Önerilen: Windows 10 veya 11’in en son sürümleri.
• İşlemci:
  • Minimum: 64-bit, en az 2 çekirdek ⁹.
  • Önerilen: 64-bit, 8 çekirdek ⁴. Modern CPU, en az 4 çekirdek önerilir ¹⁰. Daha fazla çekirdek, özellikle büyük modellerle çalışırken performansı artıracaktır. Yeni CPU’lardaki AVX512 ve DDR5 desteği gibi özellikler de performansı olumlu etkileyebilir ¹¹.
• RAM:
  • Minimum: 8 GB ⁹.
  • Önerilen: 16 GB veya üzeri ⁴. 7B (7 milyar parametreli) gibi modeller için en az 16 GB RAM önerilir ¹⁰. Daha büyük ve karmaşık modeller daha fazla RAM gerektirecektir.
• Disk Alanı:
  • Minimum: Kurulum için en az 1 GB boş alan ⁹, 4 GB ⁸. Modeller için ek olarak onlarca ila yüzlerce GB boş alan gerekebilir ⁸.
  • Önerilen: 10 GB veya üzeri kurulum alanı ve çalıştırmak istediğiniz modellere bağlı olarak yeterli boş alan. Ollama ve temel modeller için 12 GB, ayrıca model verileri için ek alan ¹⁰. Open WebUI ve model dosyaları için pratik minimum 50 GB boş alan önerilir ¹¹.
• GPU (İsteğe Bağlı, Ancak Önerilir):
  • Nvidia: Nvidia GPU (compute capability 5.0 veya üzeri) ⁹, Nvidia Grafik Kartı 4GB+ VRAM ⁴. Nvidia sürücülerinin 452.39 veya üzeri bir sürümde olması gereklidir ⁸. Uyumlu GPU’ların listesi Nvidia’nın CUDA GPU’ları dokümanlarında bulunabilir ⁹.
  • AMD: AMD Radeon GPU desteği için ROCm v6.1 veya üzeri bir sürüm gereklidir ve belirli kart aileleri desteklenmektedir ⁸. Desteklenen kart aileleri arasında AMD Radeon RX, AMD Radeon PRO ve AMD Instinct serileri bulunur ⁹.
• Diğer: WSL 1.1.3.0 veya üzeri (WSL 2 özelliği etkin) ⁴. Docker Desktop (en son sürüm) (Open WebUI için Docker kurulumu tercih edilirse) ⁴. .NET Framework (en son sürüm) (gerekli olabilir) ¹³.

Open WebUI için Minimum ve Önerilen Gereksinimler

Open WebUI’nın temel gereksinimleri genellikle Ollama’nın gereksinimleriyle benzerdir, ancak bazı ek hususlar vardır:

• İşletim Sistemi: Windows (Ollama ile aynı gereksinimler geçerlidir).
• RAM: Ollama’nın gereksinimlerine ek olarak, Open WebUI’nın kendisi de kaynak tüketebilir. Ollama ile birlikte rahat bir deneyim için en az 16 GB RAM önerilir ¹¹.
• Disk Alanı: Docker imajı (~2GB+) ve model dosyaları için yeterli alan gereklidir ¹¹. Ollama için belirtilen disk alanı gereksinimleri Open WebUI için de geçerlidir.
• Diğer: Docker (Docker kurulumu tercih edilirse) ⁴. Python 3.11 (pip ile kurulum tercih edilirse) ⁵. uv runtime manager (önerilen alternatif kurulum için) ⁵. Web tarayıcınızın WebSocket’i desteklemesi gereklidir ⁶.

Önemli Notlar: GPU Desteği ve Performans

GPU hızlandırması, büyük dil modellerinin performansını önemli ölçüde artırabilir ⁹. Ollama, uyumlu Nvidia ve AMD GPU’ları için otomatik donanım hızlandırması sağlar ⁴. GPU kullanarak model yanıtları, CPU’ya göre çok daha hızlı üretilebilir. Özellikle büyük ve kaynak yoğun modellerle çalışırken, GPU kullanımı LLM deneyimi için kritik bir faktördür.

GPU’nuzun tam performansından yararlanmak için GPU sürücülerinizin güncel tutulması önemlidir ⁹. Eski veya uyumsuz sürücüler performans sorunlarına veya hatalara yol açabilir. Nvidia sürücülerini Nvidia’nın web sitesinden, AMD sürücülerini ise AMD’nin web sitesinden güncelleyebilirsiniz.

GPU belleği (VRAM), çalıştırabileceğiniz modelin boyutunu doğrudan etkiler ⁴. VRAM miktarınız yetersizse, model CPU’ya yüklenebilir (daha düşük performansla) veya hiç çalışmayabilir. Örneğin, 7 milyar parametreli bir model için yaklaşık 4 GB VRAM, 13 milyar parametreli bir model için ise yaklaşık 8 GB VRAM gerekebilir ¹¹.

Ollama, sisteminizdeki GPU’ları otomatik olarak algılamaya çalışır, ancak bazı durumlarda sürücü sorunları veya yanlış yapılandırmalar nedeniyle GPU’nuz algılanmayabilir ⁹. Bu tür sorunlarla karşılaşırsanız, GPU sürücülerinizi kontrol etmeyi ve sisteminizi yeniden başlatmayı deneyebilirsiniz.

Aşağıdaki tablo, Ollama ve Open WebUI için özet bir sistem gereksinimi sunmaktadır:

Tablo 1: Sistem Gereksinimleri Özeti

Gerekli Bileşen	Ollama (Minimum)	Ollama (Önerilen)	Open WebUI
İşletim Sistemi	Windows 10 22H2+	Windows 10/11 (en son sürümler)	Windows (Ollama ile aynı)
İşlemci	64-bit, 2+ Çekirdek	64-bit, 8+ Çekirdek	–
RAM	8 GB	16 GB+	16 GB+
Disk Alanı	4 GB + model alanı	10 GB+ + model alanı	50 GB+
GPU	Nvidia (4GB+ VRAM, compute 5.0+) / AMD (belirli kartlar)	Yüksek performanslı Nvidia/AMD GPU	–
Diğer	–	Docker Desktop	Docker (isteğe bağlı), Python 3.11 (isteğe bağlı)

Adım 2: Ollama’nın Windows’a Kurulumu

Sistem gereksinimlerini kontrol ettikten sonra, Ollama’yı Windows bilgisayarınıza kurmaya başlayabilirsiniz.

Ollama’yı İndirme ve Kurulumu Başlatma

1. Ollama’nın Windows sürümünü indirmek için https://ollama.com/download/windows adresini ziyaret edin ⁴. Bu bağlantı sizi doğrudan yükleyici dosyasına yönlendirecektir.
2. İndirme işlemi tamamlandıktan sonra, OllamaSetup.exe adlı dosyayı indirme klasörünüzde bulun.
3. Bu dosyaya sağ tıklayın ve açılan menüden “Yönetici olarak çalıştır” seçeneğini seçin ⁴. Bu, kurulumun gerekli sistem değişikliklerini yapmasına olanak tanır.
4. Windows güvenlik uyarısı alırsanız, “Evet” veya “Uygulamanın cihazda değişiklik yapmasına izin veriyor musunuz?” gibi bir seçeneği tıklayarak kuruluma izin verin ¹⁵.
5. Kurulum sihirbazı açılacaktır. Lisans koşullarını okuyun ve kabul etmek için ilgili seçeneği işaretleyin. Ardından, kurulum dizinini seçmeniz istenebilir. Varsayılan olarak Ollama, kullanıcı dizininize kurulur ⁸. Farklı bir konuma kurmak isterseniz, kurulum sırasında bu konumu belirtebilirsiniz. Alternatif olarak, kurulum dosyasını komut satırından /DIR="d:\some\location" gibi bir parametreyle çalıştırarak da farklı bir dizin belirleyebilirsiniz ⁸.
6. Kurulum işlemi tamamlandığında, sistem tepsisinin sağ alt köşesinde Ollama ikonunu göreceksiniz ². Bu ikon, Ollama’nın arka planda çalıştığını gösterir.

Ollama’nın Windows üzerindeki kurulumu genellikle basit ve kullanıcı dostudur ve çoğu durumda yönetici ayrıcalıkları gerektirmez (varsayılan kurulum için) ⁸.

Kurulum Adımları: Adım Adım Rehber

1. İndirme klasörünüze gidin ve .exe uzantılı OllamaSetup.exe yükleyici dosyasını bulun ¹⁵.
2. Yükleyici dosyasına çift tıklayarak kurulum işlemini başlatın ¹⁵.
3. Kurulum sihirbazının talimatlarını dikkatlice okuyun ve ekrandaki adımları izleyin ¹⁵. Genellikle “İleri”, “Kabul Et” ve “Kur” gibi butonlara tıklamanız gerekecektir.
4. Kurulum tamamlandığında, “Son” veya benzeri bir butona tıklayarak kurulum sihirbazını kapatın ¹⁵.

Kurulum tamamlandıktan sonra Ollama kullanıma hazırdır.

Ollama’nın Komut Satırından Çalıştırılması ve Test Edilmesi

Ollama temel olarak komut satırı üzerinden yönetilir. Kurulumun başarılı olup olmadığını kontrol etmek ve ilk modelinizi çalıştırmak için aşağıdaki adımları izleyin:

1. Windows arama çubuğuna (Win + S) “cmd” yazarak Komut İstemi’ni veya “powershell” yazarak PowerShell’i açın ve Enter’a basın ⁸. İsterseniz daha modern bir deneyim için Windows Terminal’i de kullanabilirsiniz ¹⁵.
2. Ollama’nın doğru şekilde kurulduğunu ve çalışır durumda olduğunu kontrol etmek için terminal penceresine ollama --version komutunu yazın ve Enter’a basın ¹³. Bu komut, kurulu olan Ollama sürümünü döndürmelidir.
3. Şimdi ilk dil modelinizi çalıştırmayı deneyebilirsiniz. Bunun için terminale ollama run llama3.2 komutunu yazın ve Enter’a basın ¹. Bu komut, Llama 3.2 modelini Ollama kütüphanesinden indirecek ve ardından çalıştıracaktır. Farklı modelleri çalıştırmak için llama3.2 yerine istediğiniz modelin adını yazabilirsiniz (örneğin ollama run mistral, ollama run phi4) ¹⁵. Ollama tarafından desteklenen model adlarını ve etiketlerini https://ollama.com/library adresinde bulabilirsiniz ¹⁸.
4. Model indirme işlemi tamamlandıktan sonra, terminalde modelle doğrudan etkileşim kurabilirsiniz. Model size bir mesaj gönderecek ve siz de kendi sorularınızı veya komutlarınızı yazarak LLM ile sohbet etmeye başlayabilirsiniz ¹.
5. Ollama API’sine erişmek için varsayılan adres http://localhost:11434‘tür ⁸. Open WebUI ile bağlantı kurarken bu adresi kullanacaksınız.

İlk modelin indirilmesi ve çalıştırılması, modelin boyutuna ve internet bağlantınızın hızına bağlı olarak biraz zaman alabilir ³. Lütfen sabırlı olun.

Olası Kurulum Sorunları ve Çözümleri

Ollama’yı kurarken veya çalıştırırken bazı sorunlarla karşılaşabilirsiniz. İşte yaygın sorunlardan bazıları ve çözüm önerileri:

• Kurulum Sorunları: Kurulum sırasında bir sorunla karşılaşırsanız, öncelikle Windows işletim sisteminizin güncel olduğundan emin olun. Ayrıca, yükleyiciyi çalıştırmak için yeterli izinlere sahip olduğunuzdan emin olun ¹⁵. Yükleyiciye sağ tıklayıp “Yönetici olarak çalıştır” seçeneğini seçmek bazı sorunları çözebilir ¹⁵. Gerekirse Windows Update’i çalıştırarak sisteminizi güncelleyin ve geçici dosyaları temizleyin.
• Model Yükleme Hataları: Bir model yüklenirken veya çalıştırılırken hata alırsanız, terminale yazdığınız komutun doğru olduğundan ve model adının Ollama kütüphanesindeki modellerle tam olarak eşleştiğinden emin olun ¹⁵. Model adında veya etiketinde yazım hatası olup olmadığını kontrol edin.
• API Bağlantısı Sorunları: Open WebUI gibi bir uygulama Ollama API’sine bağlanmakta sorun yaşıyorsa, öncelikle Ollama’nın arka planda çalıştığından emin olun (sistem tepsisindeki ikonu kontrol edin). Ayrıca, Ollama’nın varsayılan olarak kullandığı 11434 numaralı portun başka bir uygulama tarafından kullanılmadığını kontrol edin ¹⁵. Komut istemcisinde netstat -ano | findstr "11434" komutunu çalıştırarak bu portu hangi uygulamanın kullandığını görebilirsiniz.
• Ollama’nın Düzgün Çalışmaması: Ollama beklenmedik şekilde davranıyorsa veya hiç çalışmıyorsa, log dosyalarını kontrol etmek faydalı olabilir. Log dosyalarına erişmek için Çalıştır penceresini (Win + R) açın ve %LOCALAPPDATA%\Ollama yazıp Enter’a basın ⁸. Bu klasörde bulunan server.log ve app.log dosyaları, sorunun kaynağı hakkında ipuçları verebilir ⁸. Log dosyaları, Ollama’nın gerçekleştirdiği işlemlerin ve olası hataların kaydını tutar. Hata mesajlarını dikkatlice inceleyin.
• Overwolf ile Çakışma: Bazı kullanıcılar, Ollama kurulumunun sonunda (özellikle %100’e ulaştıktan sonra) sistemin donduğunu bildirmiştir ²⁵. Bu durumun Overwolf adlı uygulama ile bir çakışmadan kaynaklandığı tespit edilmiştir. Kurulum sırasında bu tür bir sorunla karşılaşırsanız, sistem tepsisinden Overwolf uygulamasını kapatmayı deneyin. Bu, kurulumun tamamlanmasına yardımcı olabilir.
• Terminal Yazı Tipi Sorunları: Eski Windows 10 sürümlerinde, terminal programı bazı kontrol karakterlerini doğru şekilde görüntüleyemeyebilir ve bu karakterler yerine kareler görebilirsiniz ⁸. Bu durumda, terminalinizin yazı tipi ayarlarını değiştirmeyi deneyin.

Bu çözüm önerileri, Ollama’yı kurarken ve kullanırken karşılaşabileceğiniz yaygın sorunların üstesinden gelmenize yardımcı olabilir.

Adım 3: Open WebUI’nın Windows’a Kurulumu

Ollama’yı başarıyla kurduktan sonra, şimdi Open WebUI’yı kurarak bir web tarayıcısı üzerinden LLM’lerinize erişebilirsiniz. Open WebUI’yı Windows’a kurmanın iki ana yöntemi vardır: Docker kullanarak veya pip (Python paket yöneticisi) kullanarak.

Yöntem 1: Docker ile Kurulum

Docker, uygulamaları yalıtılmış ortamlarda (konteynerler) çalıştırmanıza olanak tanıyan bir platformdur. Open WebUI’yı Docker kullanarak kurmak, bağımlılık sorunlarını yönetmeyi kolaylaştırır ve farklı sistemlerde tutarlı bir deneyim sağlar.

1. Docker Desktop’ı İndirme ve Kurulumu: Henüz Docker Desktop’ınız yoksa, https://www.docker.com/products/docker-desktop/ adresini ziyaret ederek Windows için olan sürümünü indirin ⁴. İndirme işlemi tamamlandıktan sonra, yükleyiciyi çalıştırın ve ekrandaki talimatları izleyerek Docker Desktop’ı bilgisayarınıza kurun ²⁶. Kurulum tamamlandıktan sonra, sistem tepsisindeki Docker ikonunu kontrol ederek Docker Desktop’ın çalıştığından emin olun. Open WebUI’nın düzgün çalışabilmesi için Windows’ta WSL 2 özelliğinin etkinleştirilmesi gerekebilir ⁴. WSL 2’yi etkinleştirmek için Microsoft’un resmi dokümanlarını inceleyebilirsiniz.
2. Open WebUI Docker Konteynerini Çalıştırma: Docker Desktop çalışır durumdayken, aşağıdaki komutları kullanarak Open WebUI konteynerini çalıştırabilirsiniz:
   • Ollama bilgisayarınızda çalışıyorsa: Eğer Ollama’yı aynı Windows bilgisayarınızda kurduysanız, aşağıdaki komutu kullanabilirsiniz ⁴: Bashdocker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main Bu komuttaki -v open-webui:/app/backend/data kısmı, Open WebUI verilerinin kalıcı olarak saklanmasını sağlar ve veri kaybını önler ⁴.
   • Ollama farklı bir sunucudaysa: Eğer Ollama’yı farklı bir sunucuda çalıştırıyorsanız, aşağıdaki komutu kullanarak OLLAMA_BASE_URL ortam değişkenini Ollama sunucusunun URL’siyle değiştirmeniz gerekir ⁴: Bashdocker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://<Ollama_Sunucu_IP_Adresi>:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main <Ollama_Sunucu_IP_Adresi> yerine Ollama’nın çalıştığı sunucunun gerçek IP adresini yazın.
   • Nvidia GPU desteğiyle çalıştırmak için: Nvidia GPU’nuz varsa ve GPU hızlandırmasını kullanmak istiyorsanız, aşağıdaki komutu kullanabilirsiniz ⁵: Bashdocker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda Bu komutu kullanabilmek için Nvidia CUDA container toolkit’in Linux/WSL sisteminize kurulu olması gereklidir ⁵.
   • Ollama dahil tek bir konteyner imajı kullanmak için: Hem Ollama’yı hem de Open WebUI’yı tek bir komutla kurmak isterseniz, aşağıdaki komutları kullanabilirsiniz ⁵:
     • GPU destekli: Bashdocker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
     • Sadece CPU için: Bashdocker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
   Bu komutlardaki -d parametresi konteyneri arka planda çalıştırır. -p 3000:8080 ile ana makinenizin 3000 numaralı portunu konteynerin 8080 numaralı portuna eşlersiniz. --name open-webui ile konteynere bir isim verirsiniz ve --restart always ile konteynerin herhangi bir nedenle durması durumunda otomatik olarak yeniden başlatılmasını sağlarsınız ⁴.
3. Olası Docker Kurulum Sorunları ve Çözümleri:
   • Docker’ın düzgün kurulduğundan ve çalıştığından emin olun ²⁶. Docker Desktop uygulamasının sistem tepsisinde çalıştığını kontrol edin.
   • Eğer 3000 numaralı port başka bir uygulama tarafından kullanılıyorsa, -p parametresindeki ilk port numarasını değiştirerek ana makinede farklı bir port kullanmayı deneyebilirsiniz (örneğin -p 9090:8080) ²⁸.
   • Open WebUI konteyneri Ollama API’sine bağlanmakta sorun yaşıyorsa, Linux sistemlerde Docker komutuna --network="host" parametresini eklemeyi deneyin ³⁰. Windows’ta host.docker.internal adresinin doğru şekilde çözümlendiğinden emin olun ⁴.
   • Windows güvenlik duvarı ayarlarınızın, Docker konteynerinin kullandığı portu (varsayılan olarak 3000) engellemediğinden emin olun ¹³. Gerekirse bu port için güvenlik duvarında bir kural oluşturmanız gerekebilir.

Yöntem 2: Pip ile Kurulum

Pip, Python projeleri için paketleri yüklemek ve yönetmek için kullanılan bir araçtır. Eğer Docker kullanmak istemiyorsanız, Open WebUI’yı pip kullanarak da kurabilirsiniz.

1. Python 3.11’in Kurulumu ve Sanal Ortam Oluşturma: Open WebUI, Python 3.11 ile en iyi şekilde çalışır ⁵. Bilgisayarınızda Python 3.11 veya üzeri bir sürüm kurulu değilse, https://www.python.org/downloads/ adresinden indirebilirsiniz ⁶. Kurulum sırasında “Add to PATH” seçeneğini işaretlemeyi unutmayın ³⁵. Kurulum tamamlandıktan sonra, Komut İstemi’ni açın ve python --version komutunu çalıştırarak Python’ın kurulu olduğunu doğrulayın. Bağımlılık çakışmalarını önlemek için bir sanal ortam oluşturmanız önerilir. Komut İstemi’nde aşağıdaki komutu kullanarak bir sanal ortam oluşturabilirsiniz ¹⁴: Bashpython -m venv open-webui-venv Burada open-webui-venv sanal ortamınız için bir isimdir. İstediğiniz farklı bir ismi de kullanabilirsiniz. Oluşturduğunuz sanal ortamı etkinleştirmek için aşağıdaki komutu çalıştırın ¹⁴:
   • Windows (Komut İstemi): open-webui-venv\Scripts\activate
   • macOS/Linux: source open-webui-venv/bin/activate
   Sanal ortam etkinleştirildiğinde, komut istemcisinin başında (open-webui-venv) gibi bir ifade görmelisiniz.
2. Open WebUI’yı Pip ile Kurma: Sanal ortamınız etkinleştirildikten sonra, aşağıdaki komutu kullanarak Open WebUI’yı pip ile kurabilirsiniz ⁵: Bashpip install open-webui Bu komut, Open WebUI ve gerekli tüm bağımlılıklarını indirecek ve kuracaktır. Gerekirse, pip install --upgrade open-webui komutunu kullanarak Open WebUI’yı güncelleyebilirsiniz ⁶.
3. Open WebUI Sunucusunu Başlatma: Kurulum tamamlandıktan sonra, aşağıdaki komutu kullanarak Open WebUI sunucusunu başlatabilirsiniz ⁵: Bashopen-webui serve Bu komut, Open WebUI web sunucusunu varsayılan olarak http://localhost:8080 adresinde başlatacaktır ⁵. Farklı bir port kullanmak isterseniz, open-webui serve --port <port-numarası> komutunu kullanabilirsiniz (örneğin open-webui serve --port 9999) ³⁷.
4. Olası Pip Kurulum Sorunları ve Çözümleri:
   • Eğer open-webui komutu bulunamazsa, Python’ın sisteminizin PATH ortam değişkenine doğru şekilde eklendiğinden ve sanal ortamın etkin olduğundan emin olun ³⁵. Python kurulumu sırasında “Add to PATH” seçeneğini işaretlediğinizden emin olun.
   • Bağımlılıklarla ilgili sorunlar yaşarsanız, kullandığınız Python sürümünün 3.11 olduğundan emin olun. Gerekirse sanal ortamı yeniden oluşturmayı ve Open WebUI’yı tekrar kurmayı deneyebilirsiniz ⁵. Ayrıca, pip install --upgrade pip komutunu kullanarak pip’i güncelleyebilirsiniz.

Adım 4: Open WebUI’yı Ollama’ya Bağlama

Open WebUI’yı kurduktan sonra, şimdi onu Ollama’ya bağlamanız gerekecek. Bu, Open WebUI’nın Ollama tarafından çalıştırılan dil modellerine erişebilmesini sağlar.

Ollama Temel URL’sini Yapılandırma

1. Open WebUI’ya ilk kez bir web tarayıcısı üzerinden eriştiğinizde, uygulama otomatik olarak yerel Ollama kurulumunuza bağlanmaya çalışacaktır ³⁸. Eğer her şey doğru yapılandırılmışsa, herhangi bir sorun yaşamadan modellerinizi yönetmeye ve kullanmaya başlayabilirsiniz.
2. Ancak, bağlantı sorunları yaşarsanız, Open WebUI ayarlarından Ollama temel URL’sini manuel olarak yapılandırmanız gerekebilir. Bunu yapmak için, Open WebUI arayüzünde sağ üst köşedeki kullanıcı ikonuna tıklayın ve açılan menüden “Admin Settings” seçeneğini seçin.
3. Admin ayarları sayfasında, sol taraftaki menüden “Connections” sekmesine tıklayın. Ardından, “Ollama” bölümünü bulun ve yanındaki anahtar (wrench) ikonuna tıklayarak bağlantı ayarlarını açın ³⁸.
4. Bu sayfada, “Ollama Base URL” adlı bir alan göreceksiniz. Varsayılan olarak bu alan http://localhost:11434 olarak ayarlanmıştır ⁸. Eğer Ollama’yı aynı bilgisayarınızda varsayılan ayarlarla kurduysanız, bu adresi değiştirmenize gerek yoktur.
5. Eğer Ollama’yı farklı bir sunucuda çalıştırıyorsanız, bu alana o sunucunun IP adresini ve portunu (varsayılan olarak 11434) girmeniz gerekecektir. Örneğin, Ollama sunucunuzun IP adresi 192.168.1.100 ise, buraya http://192.168.1.100:11434 yazmanız gerekir ⁴.
6. Eğer Open WebUI’yı Docker kullanarak kurduysanız ve Ollama ana makinenizde çalışıyorsa, “Ollama Base URL” alanına http://host.docker.internal:11434 adresini girmeyi deneyebilirsiniz ⁴. Alternatif olarak, Docker’ı --network="host" parametresiyle başlattıysanız, http://localhost:11434 adresini kullanabilirsiniz.
7. Gerekli URL’yi girdikten sonra, bağlantıyı doğrulamak için sayfanın altındaki “Verify Connection” butonuna tıklayın ²⁹. Başarılı bir bağlantı kurulursa, genellikle yeşil bir onay işareti veya “Server connection verified” gibi bir mesaj görürsünüz.

Olası Bağlantı Sorunları ve Çözümleri

Open WebUI’yı Ollama’ya bağlarken bazı sorunlarla karşılaşabilirsiniz. İşte yaygın bağlantı sorunları ve çözüm önerileri:

• “Ollama: Network Problem” Hatası: Bu hatayı alıyorsanız, öncelikle Ollama’nın arka planda çalıştığından emin olun (sistem tepsisindeki ikonu kontrol edin). Ardından, Open WebUI ayarlarında yapılandırdığınız Ollama Base URL’sinin doğru olduğundan emin olun ²⁹. IP adresinde veya port numarasında bir yanlışlık olabilir.
• OLLAMA_HOST Ortam Değişkeni: Bazı durumlarda, Ollama’nın tüm ağ arayüzlerinde dinlediğinden emin olmak için OLLAMA_HOST adlı bir ortam değişkenini 0.0.0.0 olarak ayarlamanız gerekebilir ²⁹. Bu özellikle Docker kullanıyorsanız önemlidir ⁴⁵. Ortam değişkenlerini ayarlamak için Windows’ta Denetim Masası -> Sistem ve Güvenlik -> Sistem -> Gelişmiş sistem ayarları -> Ortam Değişkenleri yolunu izleyebilirsiniz. Yeni bir kullanıcı değişkeni ekleyerek OLLAMA_HOST adını ve 0.0.0.0 değerini girebilirsiniz. Ardından Ollama’yı yeniden başlatmanız gerekebilir.
• Güvenlik Duvarı (Firewall) Ayarları: Windows güvenlik duvarı veya başka bir güvenlik yazılımı, Ollama’nın kullandığı 11434 numaralı portu veya Open WebUI’nın kullandığı portu (varsayılan olarak 3000 veya 8080) engelleyebilir ¹³. Güvenlik duvarı ayarlarınızı kontrol ederek bu portların açık olduğundan emin olun. Gerekirse gelen bağlantılar için bu portlara izin veren yeni kurallar oluşturmanız gerekebilir.
• Yeniden Başlatma: Bazen basit bir yeniden başlatma işlemi bağlantı sorunlarını çözebilir. Hem Open WebUI uygulamasını (veya Docker konteynerini) hem de Ollama’yı yeniden başlatmayı deneyin ⁴⁹.
• Docker Ağ Ayarları: Eğer Open WebUI’yı Docker ile kurduysanız ve Ollama ana makinenizde çalışıyorsa, Docker komutunuzda --network=host parametresini kullanmayı deneyin ³⁰. Bu, Docker konteynerinin ana makinenizin ağını doğrudan kullanmasını sağlar ve bazı ağ sorunlarını çözebilir.

Çoğu bağlantı sorunu, yanlış yapılandırılmış URL’lerden, ağ yapılandırmalarından veya güvenlik duvarı engellemelerinden kaynaklanır. Bu adımları izleyerek bağlantı sorunlarını giderebilirsiniz.

Adım 5: Web Tarayıcısı Üzerinden Erişimi Gerçekleştirme

Ollama ve Open WebUI başarıyla kurulduktan ve birbirine bağlandıktan sonra, artık bir web tarayıcısı üzerinden LLM’lerinize erişebilirsiniz.

Open WebUI’ya Erişim

• Docker ile Kurulum: Eğer Open WebUI’yı Docker kullanarak kurduysanız, web tarayıcınızı açın ve adres çubuğuna http://localhost:3000 yazarak Enter’a basın ⁴. Eğer Docker komutunuzda port eşlemesini farklı bir porta ayarladıysanız (örneğin -p 9090:8080), localhost:3000 yerine o port numarasını kullanmanız gerekecektir (örneğin http://localhost:9090) ²⁹.
• Pip ile Kurulum: Eğer Open WebUI’yı pip kullanarak kurduysanız, web tarayıcınızda http://localhost:8080 adresine gidin ⁵. Eğer sunucuyu başlatırken farklı bir port belirttiyseniz (open-webui serve --port <port-numarası>), localhost:8080 yerine o port numarasını kullanmanız gerekecektir (örneğin http://localhost:9999) ³⁷.

Bu adreslerden birine gittiğinizde, Open WebUI arayüzünü görmelisiniz.

İlk Kez Oturum Açma ve Kullanıcı Oluşturma

Open WebUI’ya ilk kez eriştiğinizde, bir kayıt (Sign up) sayfası ile karşılaşacaksınız ⁴. Bu sayfada, yeni bir kullanıcı hesabı oluşturmanız gerekecektir.

1. “Sign up” veya “Kayıt Ol” butonuna tıklayın.
2. Gerekli bilgileri (genellikle bir e-posta adresi ve bir şifre) girin. İstenirse bir kullanıcı adı da belirleyebilirsiniz.
3. “Create Account” veya “Hesap Oluştur” butonuna tıklayarak kaydınızı tamamlayın.

Kayıt işlemi başarılı olduktan sonra, otomatik olarak Open WebUI’nın ana sayfasına yönlendirileceksiniz ⁴.

Model İndirme ve Seçme

Open WebUI’yı kullanmaya başlamadan önce, Ollama’dan bir veya daha fazla dil modeli indirmeniz gerekecektir.

1. Open WebUI ana sayfasında, genellikle sağ üst köşede bulunan ayarlar (settings) ikonuna tıklayın ⁴. Bu, ayarlar penceresini açacaktır.
2. Ayarlar menüsünde, “Connections” veya “Ollama” gibi bir sekme bulun ve bu sekmeye tıklayın ⁴.
3. Bu sekmede, genellikle “Pull a model from Ollama.com” veya benzeri bir başlık altında bir metin alanı ve bir indirme butonu göreceksiniz ⁴.
4. Metin alanına, indirmek istediğiniz modelin etiketini (örneğin llama2:7b, gemma:2b, mistral) yazın ve sağındaki indirme (download) butonuna tıklayın ⁴. Model etiketleri genellikle modelin adını ve isteğe bağlı olarak bir sürüm veya nicemleme bilgisini içerir. Popüler model etiketlerine örnekler şunlardır: llama3.2, mistral, phi4. Ollama tarafından desteklenen tüm model adlarını ve etiketlerini https://ollama.com/library adresinde bulabilirsiniz ¹⁸.
5. Modelin indirilmesini bekleyin ⁴. İndirme süresi, modelin boyutuna ve internet bağlantınızın hızına bağlı olarak değişebilir. İndirme işlemi tamamlandığında, indirilen model genellikle sol taraftaki menüde veya sohbet ekranının üst kısmındaki model seçici menüsünde listelenecektir ¹⁸. Ayrıca, komut satırında ollama list komutunu çalıştırarak da indirilen modelleri listeleyebilirsiniz ¹⁸.
6. Sohbet ekranında kullanmak istediğiniz modeli seçmek için, genellikle sol üst köşede bulunan model seçici menüsünü kullanın ⁴. Açılır menüden istediğiniz modeli seçin.

Sohbete Başlama ve LLM’yi Kullanma

Bir model indirdikten ve seçtikten sonra, artık LLM ile sohbet etmeye başlayabilirsiniz.

1. Open WebUI ana sayfasında veya sohbet ekranında, genellikle alt kısımda bulunan metin giriş alanına sorunuzu veya komutunuzu yazın ⁴.
2. Mesajınızı göndermek için Enter tuşuna basın veya sağ tarafta bulunan gönder butonuna (genellikle yukarı ok veya benzeri bir simge) tıklayın ⁴.
3. LLM’nin yanıtını beklemeniz gerekecektir ⁴. Yanıt süresi, modelin karmaşıklığına ve bilgisayarınızın kaynaklarına bağlı olarak değişebilir.

Artık yerel olarak çalışan bir LLM ile etkileşim kurabilir ve çeşitli görevler için kullanabilirsiniz.

Ek Bilgiler ve İpuçları

GPU Hızlandırmayı Etkinleştirme ve Yapılandırma

Ollama, uyumlu Nvidia ve AMD GPU’ları için otomatik donanım hızlandırması sağlar ⁴. Bu özellik genellikle varsayılan olarak etkindir, ancak GPU sürücülerinizin güncel olduğundan emin olmanız önemlidir ⁹. Nvidia sürücülerini Nvidia’nın web sitesinden, AMD sürücülerini ise AMD’nin web sitesinden güncelleyebilirsiniz.

GPU kullanımını kontrol etmek için Komut İstemi’nde ollama ps komutunu çalıştırabilirsiniz ⁵⁷. Bu komutun çıktısında, “PROCESSOR” sütununda modelin ne kadarının GPU’da çalıştığına dair bir yüzde gösterilir ⁴⁷. %100 GPU, modelin tamamen GPU’nuzda çalıştığı anlamına gelir ⁴⁷.

Bazı durumlarda, GPU’ya yüklenecek katman sayısını manuel olarak ayarlamak isteyebilirsiniz. Bunu yapmak için, model dosyasını düzenleyebilir ve PARAMETER num_gpu <sayı> satırını ekleyebilirsiniz ⁵⁷. <sayı> yerine GPU’nuza yüklemek istediğiniz katman sayısını yazın. Model dosyasına erişmek için ollama show --modelfile <model-adı> komutunu kullanabilirsiniz. Ayrıca, modeli çalıştırırken komut satırında /set parameter num_gpu <sayı> komutunu da kullanabilirsiniz. num_gpu parametresi, modelin kaç katmanının GPU’ya yükleneceğini belirtir ⁵⁷.

Eğer VRAM’iniz yetersiz gelirse, num_ctx (context window size) değerini düşürmeyi deneyebilirsiniz ⁴⁷. num_ctx, modelin bir konuşmada ne kadar geçmiş bilgiyi hatırlayabileceğini belirler. Bu değeri düşürmek, modelin daha az VRAM kullanmasına yardımcı olabilir.

Model Parametrelerini Anlama ve Yapılandırma

Dil modellerinin davranışını etkileyen çeşitli parametreler vardır. En yaygın olanları temperature, top_p, num_ctx ve num_predict‘tir ⁷.

• temperature: Modelin yanıtlarının ne kadar yaratıcı veya rastgele olacağını kontrol eder. Yüksek değerler (örneğin 0.8-1.0) daha yaratıcı ve beklenmedik yanıtlar üretirken, düşük değerler (örneğin 0.2-0.5) daha tutarlı ve odaklanmış yanıtlar verir.
• num_ctx: Context window boyutudur ve modelin bir konuşmada ne kadar geçmiş bilgiyi hatırlayabileceğini belirler. Daha yüksek değerler, modelin daha uzun konuşmaları takip etmesine olanak tanır.
• top_p: Modelin olası sonraki kelimeleri seçerken kullandığı bir olasılık eşiğidir. Daha düşük değerler, modelin daha olası kelimeleri seçmesine neden olurken, daha yüksek değerler daha çeşitli kelimelerin seçilmesine izin verir.

Bu parametreleri Open WebUI arayüzünden (genellikle sohbet ekranının sağ tarafındaki “Chat Controls” bölümünden) veya model dosyasını düzenleyerek yapılandırabilirsiniz ⁷. Ayrıca, modeli komut satırından çalıştırırken de bu parametreleri ayarlayabilirsiniz. Örneğin, Llama 3.2 modelini 0.8 temperature ile çalıştırmak için aşağıdaki komutu kullanabilirsiniz:

Bash

ollama run llama3.2 --parameter temperature=0.8

Model parametrelerini ayarlayarak, LLM’nin yanıtlarını kendi tercihlerinize ve kullanım senaryolarınıza göre özelleştirebilirsiniz.

Sık Karşılaşılan Sorunlar ve Çözüm Önerileri

Yerel LLM kurulumu ve kullanımı sırasında karşılaşabileceğiniz bazı yaygın sorunlar ve bunlara yönelik çözüm önerileri aşağıda özetlenmiştir:

• Ollama’nın Açılmaması: Eğer Ollama sistem tepsisinde görünmüyorsa veya çalışmıyorsa, öncelikle bilgisayarınızı yeniden başlatmayı deneyin. Sorun devam ederse, log dosyalarını kontrol edin (%LOCALAPPDATA%\Ollama). Gerekirse Ollama’yı tamamen kaldırıp yeniden yüklemeyi deneyebilirsiniz ²³.
• Open WebUI’ya Erişilememesi: Web tarayıcınızda Open WebUI adresine ulaşamıyorsanız, öncelikle sunucunun (Docker konteyneri veya pip ile başlatılan sunucu) çalıştığından emin olun. Port numarasını kontrol edin (varsayılan olarak Docker için 3000, pip için 8080). Güvenlik duvarı ayarlarınızın bu portlara erişimi engellemediğinden emin olun ³³.
• Model Yükleme Hataları: Open WebUI’da bir modeli indirmeye çalışırken hata alıyorsanız, internet bağlantınızın olduğundan ve model etiketini doğru yazdığınızdan emin olun. Ayrıca, bilgisayarınızda yeterli disk alanı olduğundan da emin olun ¹⁵.
• Bağlantı Sorunları (Open WebUI – Ollama): Open WebUI, Ollama’ya bağlanmakta sorun yaşıyorsa (“Ollama: Network Problem” hatası gibi), Ollama Base URL’sinin doğru yapılandırıldığından emin olun (http://localhost:11434 veya Ollama’nın çalıştığı sunucunun IP adresi ve portu). Gerekirse OLLAMA_HOST ortam değişkenini ayarlamayı ve güvenlik duvarı ayarlarınızı kontrol etmeyi deneyin ²⁹.

Bu sorun giderme önerileri, karşılaştığınız yaygın sorunların üstesinden gelmenize yardımcı olabilir. Sorun devam ederse, Ollama ve Open WebUI topluluk forumlarından veya dokümantasyonlarından ek yardım alabilirsiniz.

Sonuç

Yerel olarak büyük dil modellerini çalıştırmak, özellikle veri gizliliği, özelleştirme ve internet bağlantısı bağımsızlığı gibi avantajları göz önünde bulundurulduğunda, giderek daha önemli hale geliyor. Ollama ve Open WebUI, Windows kullanıcıları için bu teknolojiyi erişilebilir kılan güçlü ve kullanıcı dostu araçlar sunmaktadır. Bu rehberde adım adım anlatılan kurulum ve yapılandırma süreçlerini izleyerek, siz de kendi Windows bilgisayarınızda LLM’leri çalıştırabilir ve yapay zekanın sunduğu olanakları keşfedebilirsiniz.

LLM teknolojisi hızla gelişmeye devam ediyor ve yerel kullanımın potansiyeli her geçen gün artıyor. Bu rehberin size yerel LLM’leri keşfetme ve deneme konusunda bir başlangıç noktası sağladığını umuyoruz. Kendi projelerinizde ve çalışmalarınızda bu teknolojinin sunduğu yeniliklerden faydalanmaktan çekinmeyin.

Yeni LLM’iniz ile başarılı çalışmalar dilerim. :)