Derinlemesine OLLAMA Kullanım Rehberi

Günümüzde yapay zeka ve büyük dil modelleri (LLM’ler) teknolojinin merkezinde yer alıyor. Peki bu güçlü modelleri çalıştırmak için her zaman bulut tabanlı servislere ve API’lere bağımlı olmak zorunda mıyız?

Cevap: Hayır. Ollama, kendi bilgisayarınızda Llama 3, Mistral, Gemma3, Gpt-Oss gibi en popüler açık kaynaklı dil modellerini kolayca kurup çalıştırmanızı sağlayan harika bir araçtır.

Bu yazımızda, Ollama’nın ne olduğundan başlayarak, temel komutlarını, model davranışlarını nasıl özelleştirebileceğinizi ve ince ayarlar yapabileceğinizi adım adım öğreneceksiniz.

Ollama Nedir ve Neden Kullanmalısınız?

Ollama, büyük dil modellerini yerel olarak (kendi makinenizde) çalıştırmak için tasarlanmış bir komut satırı aracıdır. Karmaşık kurulum süreçlerini ve bağımlılıkları ortadan kaldırarak tek bir komutla istediğiniz modeli indirip sohbete başlamanıza olanak tanır.

Neden Ollama?

• Gizlilik: Verileriniz asla bilgisayarınızdan dışarı çıkmaz. Hassas bilgilerle çalışırken bu kritik bir avantajdır.
• Çevrimdışı Çalışma: Bir kez modeli indirdikten sonra internet bağlantısına ihtiyaç duymazsınız.
• Maliyet Etkin: Bulut tabanlı API’lerin getirdiği kullanım başına ücretlendirme derdi yoktur.
• Özelleştirme: Modellerin davranışlarını, “kişiliklerini” ve yanıt verme biçimlerini kolayca değiştirebilirsiniz.
• Hız: Özellikle güçlü bir donanımınız varsa, yerel çıkarım (inference) işlemleri oldukça hızlı olabilir.

Adım 1: Kurulum

Ollama’yı kurmak oldukça basittir. Resmi web sitesi ollama.com adresine gidin ve işletim sisteminize (macOS, Windows, Linux) uygun olan kurulum dosyasını indirin. Kurulum tamamlandığında, terminal veya komut istemciniz üzerinden ollama komutlarına erişebilirsiniz.

Linux kullanıcıları için genellikle şu komut yeterlidir:

curl -fsSL https://ollama.com/install.sh | sh

Kurulumun başarılı olup olmadığını kontrol etmek için terminale ollama --version yazabilirsiniz.

Adım 2: Temel Ollama Komutları

Ollama’nın kullanımı birkaç temel komuta dayanır.

Model Çalıştırma: run

Bir modeli ilk kez çalıştırmak hem indirir hem de onunla sohbet etmeye başlamanızı sağlar. Örneğin, Meta’nın en yeni Llama 3 modelini çalıştırmak için:

ollama run llama3

Eğer model yerelinizde yoksa, Ollama otomatik olarak indirmeye başlayacaktır. İndirme bittiğinde, doğrudan terminal üzerinden modelle sohbet etmeye başlayabilirsiniz.

Mevcut Modelleri Listeleme: list

Bilgisayarınıza indirdiğiniz tüm Ollama modellerini görmek için kullanılır.

ollama list

Bu komut size modellerin adını, boyutunu ve en son ne zaman değiştirildiğini gösterir.

Model İndirme: pull

Bir modeli çalıştırmadan sadece indirmek isterseniz pull komutunu kullanabilirsiniz. Bu, daha sonra çevrimdışı kullanmak için modelleri hazırda bekletmek adına faydalıdır.

ollama pull mistral

Model Silme: rm

Artık kullanmadığınız bir modeli sisteminizden kaldırmak için rm komutunu kullanın.

ollama rm llama3

Adım 3: İnce Ayarlar ve Özelleştirme – Modelfile‘ın Gücü

Ollama’nın en güçlü yanlarından biri, modellerin davranışlarını Modelfile adında bir dosya aracılığıyla özelleştirmenize olanak tanımasıdır. Bu dosya, Dockerfile’a benzer bir mantıkla çalışır ve modelinize özel talimatlar vermenizi sağlar.

Bir Modelfile temel olarak şu bileşenlerden oluşur:

1. FROM: Hangi temel modelin üzerine değişiklik yapacağınızı belirtir.
2. PARAMETER: Modelin çıkarım (inference) sırasında kullanacağı parametreleri ayarlar.
3. SYSTEM: Modelinize bir “rol” veya “kişilik” atar. Bu, modelin nasıl davranacağını belirleyen en önemli kısımdır.
4. TEMPLATE: Modelinize gönderilen girdinin nasıl formatlanacağını belirler (genellikle ileri düzey kullanıcılar için).

Pratik Örnek: Bir Siber Güvenlik Asistanı Oluşturalım

Şimdi, genel amaçlı bir llama3 modelini, özellikle siber güvenlik konularında (örneğin, Nmap komutları veya güvenlik açığı analizleri) yardımcı olacak bir asistana dönüştürelim.

1. Modelfile Oluşturun:

Masaüstünüzde veya istediğiniz bir dizinde guvenlik-asistani adında bir dosya oluşturun (uzantısı olmasın) ve içine aşağıdaki satırları yazın:

Kod snippet’i

# Temel olarak Llama 3 modelini kullan
FROM llama3

# Modelin çıkarım parametrelerini ayarla
# temperature: 0.2 -> Daha tutarlı ve daha az yaratıcı yanıtlar için düşük bir değer.
# top_p: 0.9 -> Yanıtların çeşitliliğini kontrol eder.
# stop: "User:" -> Modelin "User:" kelimesini gördüğünde yanıt vermeyi durdurmasını sağlar.
PARAMETER temperature 0.2
PARAMETER top_p 0.9
PARAMETER stop "User:"

# Modelin sistem mesajını (kişiliğini) belirle
SYSTEM """
You are a senior cybersecurity analyst assistant. Your name is "Guardian".
Your expertise includes penetration testing, vulnerability assessment, SIEM analysis, and firewall configuration.
Provide clear, concise, and technically accurate answers.
When asked for a command, provide the command in a code block with a brief explanation of its parameters.
Do not provide any information that could be used for illegal activities. Always prioritize ethical security practices.
"""

Önemli Parametrelerin Anlamları:

• temperature: Bu parametre, modelin yanıtlarının ne kadar “yaratıcı” veya “rastgele” olacağını kontrol eder. 0’a yaklaştıkça model daha deterministik ve tutarlı yanıtlar verir (teknik konular için ideal). 1’e yaklaştıkça daha yaratıcı ve çeşitli metinler üretir.
• top_p (Nucleus Sampling): Yanıt oluşturulurken olasılık dağılımının ne kadarının dikkate alınacağını belirler. Genellikle temperature yerine kullanılır. 0.9 değeri, kümülatif olasılığı %90’a ulaşan en olası kelimelerin dikkate alınmasını sağlar.
• stop: Modelin metin üretmeyi ne zaman durduracağını belirten bir kelime veya ifade. Bu, modelin kendi kendine konuşmaya devam etmesini engeller.

2. Özel Modelinizi Oluşturun: create

Şimdi bu Modelfile’ı kullanarak kendi özel modelinizi oluşturacağız. Terminali açın ve Modelfile’ın olduğu dizinde şu komutu çalıştırın:

ollama create guvenlik-asistani -f ./guvenlik-asistani

• guvenlik-asistani: Modelinize verdiğiniz yeni isim.
• -f ./guvenlik-asistani: Kullanılacak Modelfile‘ın yolu.

3. Yeni Modelinizi Çalıştırın:

Artık “guvenlik-asistani” adında yeni bir modeliniz var. ollama list komutuyla bunu görebilirsiniz. Hadi çalıştıralım:

ollama run guvenlik-asistani

Artık modelle sohbet ettiğinizde, ona atadığınız sistem rolü gereği bir siber güvenlik analisti gibi davranacaktır.

Örnek Sorgu:

>>> Bir web sunucusunun 80 ve 443 portlarının açık olup olmadığını taramak için nmap komutu nedir?

Beklenen Yanıt:

Elbette, bir web sunucusunun 80 (HTTP) ve 443 (HTTPS) portlarını taramak için aşağıdaki Nmap komutunu kullanabilirsiniz:


nmap -p 80,443 <hedef_ip_adresi>

Parametrelerin Açıklaması:

• -p 80,443: Bu parametre, Nmap’e sadece belirtilen portları (80 ve 443) taramasını söyler. Bu, tüm portları taramaktan daha hızlı ve hedefe yöneliktir.
• <hedef_ip_adresi>: Buraya taramak istediğiniz sunucunun IP adresini veya alan adını yazmalısınız.

Gördüğünüz gibi, model hem doğru komutu verdi hem de sistem mesajında istediğimiz gibi parametreleri açıkladı.

## **İleri Düzey Kullanım: Ollama API**

Ollama'yı çalıştırdığınızda, arka planda otomatik olarak bir REST API de başlatır. Bu API, uygulamalarınıza, betiklerinize veya otomasyon araçlarınıza yerel yapay zeka yetenekleri eklemenizi sağlar.

Varsayılan olarak API, `http://localhost:11434` adresinde çalışır.

Örneğin, `curl` kullanarak `guvenlik-asistani` modelinize bir istek gönderebilirsiniz:

```bash
curl http://localhost:11434/api/generate -d '{
  "model": "guvenlik-asistani",
  "prompt": "Bir firewall'da 'deny all' kuralının amacı nedir?",
  "stream": false
}'

Bu komut, modelden bir yanıt içeren bir JSON nesnesi döndürecektir. Bu özellik, Ollama’yı özel otomasyon araçları veya SIEM alarmlarını zenginleştirmek gibi senaryolar için inanılmaz derecede güçlü kılar.

Ollama, büyük dil modellerinin gücünü herkes için erişilebilir hale getiriyor. Bu yazımızda öğrendiğiniz temel komutlar ve Modelfile özelleştirmeleri ile artık kendi ihtiyaçlarınıza yönelik yapay zeka asistanları oluşturabilir, verilerinizin gizliliğinden emin olabilir ve bulut maliyetlerinden tasarruf edebilirsiniz. Denemekten ve farklı sistem mesajları ve parametrelerle kendi özel modellerinizi yaratmaktan çekinmeyin.

Sonuçta herşey ücretsiz ve sizin hayal gücünüze kalmış duurmda :)