Yerel LLM'lerle CrewAI Kurulumu - 2026 Kılavuzu

Giriş

Otonom yapay zeka ajanlarının vaadi baştan çıkarıcı. Siz uyurken çalışan bir dijital iş gücü hayal edin. Karmaşık iş akışlarını yürütüyorlar ve çıktınızı sonsuza kadar ölçeklendiriyorlar.

Ancak birçok işletme önemli bir engelle karşı karşıyadır. Teknik kabiliyet değildir. Bu veri̇ egemenli̇ği̇ ve mali̇yet.

GPT-4o üzerinde bir temsilci filosu çalıştırmak, bir API bütçesini günler içinde tüketmenize olanak tanır. Ayrıca, özel finansal verileri veya dahili strateji belgelerini üçüncü taraf bir buluta göndermek genellikle imkansızdır. Düzenlemeye tabi sektörler bu riski alamaz.

Çözüm basittir: Yerel Büyük Dil Modelleri (LLM'ler).

Birleştirebilirsiniz CrewAI ile Ollama veya LM Stüdyo. Bu, sofistike çok aracılı sistemleri tamamen kendi donanımınızda çalıştırmanıza olanak tanır. Makinenizden hiçbir veri çıkmaz. API faturaları birikmez.

Bu kılavuzda, CrewAI'yi yerel LLM'lerle kurmak için gereken tam mimariyi ele alıyoruz. Temel eğitimlerin ötesine geçiyoruz. Sonsuz döngüler, sınırlı bağlam pencereleri ve karmaşık muhakeme için daha küçük modelleri optimize etme gibi gerçek dünya zorluklarını ele alıyoruz.

CrewAI Neden Yerel Olarak Çalıştırılmalı? Şirket İçi Temsilciler için İş Gerekçesi

Kod yazmadan önce mimari seçimini anlamanız gerekir. Bulut ham güç sunar. Ancak, yerel aracılar kontrol sunar.

1. Mutlak Veri Gizliliği

Hukuk, sağlık ve finans sektörleri için “buluttan bağımsız” olmak yeterli değildir. “Buluttan bağımsız” olmanız gerekir. Llama 3 veya Mistral'i yerel olarak çalıştırdığınızda verileriniz intranetinizden asla çıkmaz.

Bu, aşağıdakileri oluşturmanızı sağlar Dahili Araçlar & İş Portalları. Hassas sözleşmeleri veya çalışan verilerini GDPR veya HIPAA uyumluluğunu ihlal etmeden işleyebilirsiniz.

2. Maliyet Öngörülebilirliği

API tabanlı aracıların değişken maliyetleri vardır. GPT-4 aracısındaki sonsuz bir döngü, siz onu yakalamadan önce size $50'ye mal olabilir. Yerel bir aracı size elektrikten başka bir şeye mal olmaz.

Bu, yerel ortamları aşağıdakiler için mükemmel bir kum havuzu haline getirir Özel Yapay Zeka Aracı Geliştirme. Tek kuruş harcamadan bir bilgi istemini 1.000 kez yineleyebilirsiniz.

3. Gecikme ve Çevrimdışı Kullanılabilirlik

Yerel temsilciler ağ el sıkışmalarını beklemez. Belki de bir Özel Düşük Kodlu Uygulama. Ya da belki de internetin kesik olduğu bir depoda bir uç cihazınız var. Yerel bir temsilci, mantığınızın çalışmaya devam etmesini sağlar.

Thinkpeak Insight: Genellikle bir “Hibrit Mimari” öneriyoruz. Yüksek hacimli, düşük karmaşıklıktaki görevler için yerel modeller kullanın. GPT-4 gibi ücretli API'lere yalnızca üst düzey stratejik muhakeme yönlendirin. Bu, maliyeti zeka ile dengeler.

Donanım Gerçeklik Kontrolü: Neye İhtiyacınız Var?

Yerel LLM'ler kaynaklara açtır. Basit bir dizüstü bilgisayarda yetkin bir çoklu ajan ekibi çalıştıramazsınız. Kullanılabilir performans elde etmek için özel bir donanıma ihtiyacınız vardır.

“Tatlı Nokta” Gereksinimleri (Önerilen)

• İŞLEMCI: Apple M2/M3/M4 Pro veya Max (Unified Memory is king) veya AVX-512 destekli modern bir Intel/AMD.
• RAM: 32GB yeni minimum değerdir çoklu ajan iş akışları için. Nicelleştirilmiş 8B model ~6GB VRAM alır. İki aracı ve bir gömme model çalıştırırsanız, 16GB boğulacaktır.
• GPU: NVIDIA RTX 3060/4060 (12GB VRAM) veya üstü.
• Depolama: NVMe SSD. Modelleri RAM'e yüklemek HDD'de dakikalar alırken saniyeler sürüyor.

Model Seçim Kılavuzu

Seçtiğiniz model, donanım ihtiyaçlarınızı belirler.

Adım 1: Makine Dairesi - Ollama'nın Kurulumu

Tavsiye ediyoruz Ollama CrewAI entegrasyonu için LM Studio üzerinden. Geliştiriciler için üretilmiştir. Bir arka plan hizmeti olarak çalışır ve temiz bir API sunar.

1. Kurulum

macOS / Linux:
Terminalinizi açın ve çalıştırın:

curl -fsSL https://ollama.com/install.sh | sh

Pencereler:
Yükleyiciyi doğrudan resmi Ollama web sitesinden indirin.

2. “Beyninizi” Çekmek”

Kullanmayı düşündüğünüz modelleri indirmeniz gerekiyor. Biz kullanacağız Llama 3.1 (8B). Tüketici donanımı için en iyi hız ve mantık dengesini sunar.

Terminalinizi/komut isteminizi açın:

ollama çekme llama3.1

İsteğe bağlı: RAG (Retrieval Augmented Generation) kullanmayı planlıyorsanız bir gömme modeli çekin:

ollama pull nomic-embed-text

3. Sunucuyu Doğrulayın

Varsayılan olarak, Ollama port üzerinde çalışır 11434. Şu adresi ziyaret ederek çalıştığını doğrulayın http://localhost:11434 tarayıcınızda. “Ollama çalışıyor” mesajını görmelisiniz.”

Adım 2: Çerçeve - CrewAI'nin Kurulması

Thinkpeak.ai sanal bir ortam kullanmanızı önerir. Bu, bağımlılıklarınızı temiz tutar. CrewAI sık sık güncellenir ve sürüm çakışmaları yaygındır.

# Sanal bir ortam oluşturma
python -m venv crewai-local-env

# Etkinleştirin
source crewai-local-env/bin/activate # macOS/Linux
crewai-local-envScriptsactivate # Windows

# CrewAI ve LangChain topluluk araçlarını yükleyin
pip install crewai crewai-tools langchain-ollama

Adım 3: Yerel Mürettebatın Mimarisi (Kod İzlenecek)

Şimdi, hadi bir Yerel Pazar Araştırma Ekibi. Bu ekip iki ajandan oluşacak:

1. Araştırmacı: Bilgi için kazıyor.
2. Analist: Bulguları özetler.

“Aptal” Modeller Hakkında Not: Llama 8B gibi yerel modeller GPT-4 kadar akıllı değildir. Karmaşık araç kullanımı ile mücadele ederler. Yönlendirmelerimizde çok açık olmalıyız.

Kod Yapılandırması

Adında bir dosya oluşturun local_crew.py.

import os
from crewai import Temsilci, Görev, Mürettebat, Süreç
from crewai.llm import LLM

# 1. Yerel LLM'yi tanımlayın
# Localhost üzerinde çalışan Ollama örneğine bağlanıyoruz.
# 'base_url' CrewAI'nin OpenAI sunucularına değil sizin makinenize bakmasını sağlar.
local_llm = LLM(
    model="ollama/llama3.1",
    base_url="http://localhost:11434"
)

# 2. Temsilcilerinizi Tanımlayın
# 'verbose=True' seçeneğine dikkat edin - bu yerel döngülerde hata ayıklamak için çok önemlidir.

araştırmacı = Agent(
    role='Yerel Veri Araştırmacısı',
    goal='{topic} hakkında ayrıntılı bilgi ortaya çıkarın',
    backstory="""Çevrimdışı çalışan titiz bir araştırmacısınız.
    Gerçekleri bulma ve onları net bir şekilde düzenleme konusunda çok başarılısınız.
    Bilgi halüsinasyonu görmüyorsunuz.""",
    llm=local_llm,
    verbose=True,
    allow_delegation=False # Yerel modeller delegasyon mantığı ile mücadele eder
)

analist = Agent(
    rol='İçgörü Analisti',
    goal='Bulguları 3 maddelik kısa bir yönetici özeti halinde özetleyin.',
    backstory="""Kıdemli bir analistsiniz. Ham verileri alıyor ve bunları
    eyleme dönüştürülebilir istihbarata. Kurumsal, profesyonel bir tonda yazıyorsunuz.""",
    llm=local_llm,
    verbose=True,
    allow_delegation=False
)

# 3. Görevleri Tanımlayın
# Yerel modeller için görevleri daha basit tutun. Her görev için net bir hedef.

task_research = Görev(
    description="""{konunun} temel özelliklerini ve fiyatını araştırın.
    Gerçeklerin ham bir listesini sağlayın.""",
    expected_output="{Konu} hakkında en az 5 temel bilgiden oluşan madde işaretli bir liste.",
    ajan=araştırmacı
)

task_analiz = Görev(
    description="""Sağlanan araştırmayı kullanarak bir özet rapor oluşturun.
    "Ne olmuş yani?" sorusuna odaklanın. - Bu bir işletme sahibi için neden önemli?""",
    expected_output="3 paragraflık bir yönetici özeti.",
    ajan=analist
)

# 4. Mürettebatı hazırlayın
mürettebat = Mürettebat(
    ajanlar=[araştırmacı, analist],
    tasks=[task_research, task_analysis],
    process=Process.sequential, # Sıralı yerel muhakeme için daha güvenlidir
    verbose=True
)

# 5. Kickoff
print("Yerel Mürettebat Başlıyor...")
result = crew.kickoff(inputs={'topic': 'The future of AI Agents in 2026'})
print("######################")
print(sonuç)

Komut Dosyasını Çalıştırma

Koşmak python local_crew.py. Aracıların terminalinizde “düşündüğünü” göreceksiniz. Hız tamamen GPU'nuza bağlıdır.

“Yerel Ölüm Döngüsü” Sorununu Giderme”

Yaygın bir sorunla karşılaşabilirsiniz. Temsilci bir göreve başlar, düşünür ve sonra sonsuza kadar “Düşünüyorum...” diye tekrar eder. Vurmak zorundasınız Ctrl+C.

Bu, aşağıdaki durumlarda en büyük sıkıntı noktasıdır Yerel LLM'lerle CrewAI kurulumu.

Bu neden oluyor?

Küçük modeller genellikle belirli “Durdurma Simgesini” oluşturmada başarısız olur. Ayrıca araçlar için gereken JSON'u biçimlendirmekte de zorlanırlar. Bu da sistemin taleplerini reddetmesine neden olarak sonsuz bir döngü yaratır.

Nasıl Düzeltilir

1. Daha İyi Sistem İstemleri: Açık ol. Arka plana ekleyin: “Cevabı bulduğunuzda, Nihai Cevabı hemen vermelisiniz. Aramaya devam etmeyin.”
2. max_iter kullanın: CrewAI denemeleri sınırlamanıza izin verir.

   araştırmacı = Agent(
       ...
       max_iter=5, # 5 denemeden sonra durdurmaya zorla
       ...
   )

3. Modeli Yükseltin: Llama 3 8B döngüleri varsa, şunu deneyin Mistral-Nemo veya Qwen 2.5. Bunlar genellikle talimatları daha iyi ele alır.

Dizüstü Bilgisayardan İşletmeye Ölçeklendirme: “Hibrit” Yaklaşım

Ajanları MacBook üzerinde çalıştırmak prototip oluşturmak için harikadır. Ancak 5.000 satır müşteri verisini işlemeniz gerekebilir. Ya da belki de bunu bir ekibe dağıtmanız gerekiyordur.

İşte burası Thinkpeak.ai boşluğu doldurur.

Yerel kavram kanıtlarını Ismarlama Dahili Araçlar ve Özel Uygulama Geliştirme. Genellikle, en iyi mimari Hibrit:

• Kademe 1 (Yerel): Yüksek hacimli veri temizleme, PII redaksiyonu ve taslak hazırlama için yerel aracıları kullanın. Bu, dahili sunucularınızda ücretsiz olarak çalışır.
• Kademe 2 (Bulut): Yerel ajan karmaşık bir stratejik karar tespit ettiğinde, görevi bir GPT-4 ajanına devreder.

Thinkpeak.ai: Ajansa Genel Bakış

Thinkpeak.ai, yapay zeka öncelikli bir otomasyon ortağıdır. Statik operasyonları dinamik ekosistemlere dönüştürüyoruz. Gelişmiş yapay zeka aracılarını sağlam dahili araçlarla birleştiriyoruz.

Özellikle Sunduklarımız:

Anında dağıtım ve ısmarlama mühendislik yoluyla değer sunuyoruz.

1. Otomasyon Pazaryeri (Kullanıma Hazır Ürünler)
Anında hız için “tak ve çalıştır” şablonları sunuyoruz. Bunlar Make.com ve n8n için optimize edilmiştir.

• İçerik ve SEO Sistemleri: Bizim SEO Öncelikli Blog Mimarı araştırır, rakipleri analiz eder ve optimize edilmiş makaleler oluşturur.
• Operasyon ve Veri Yardımcı Programları: Bizim Google E-Tablolar Toplu Yükleyici Binlerce veri satırını anında temizler ve biçimlendirir.

2. Ismarlama Dahili Araçlar ve Özel Uygulama Geliştirme (Hizmetler)
Bu “sınırsız” katmandır. İş mantığı mevcutsa, altyapıyı oluşturabiliriz.

• Özel Yapay Zeka Aracı Geliştirme: 7/24 muhakeme yapabilen ve görevleri yerine getirebilen “Dijital Çalışanlar” yaratıyoruz.
• Toplam Yığın Entegrasyonu: CRM, ERP ve iletişim araçlarınızı akıllı bir şekilde birbirine bağlıyoruz.

Yerel acenteleriniz güvenilmezse, bizim Karmaşık İş Süreçleri Otomasyonu (BPA) hizmeti iş akışınızı yeniden tasarlayabilir.

Özel Temsilci Dağıtımı konusunda Thinkpeak'e danışın

Gelişmiş Yapılandırma: Yerel Performansı Optimize Etme

Kurulumunuzdan en iyi şekilde yararlanmak için parametreleri değiştirmeniz gerekir.

1. Bağlam Penceresi Yönetimi

Yerel modellerin katı bağlam sınırları vardır (genellikle 8k veya 32k belirteç). Eğer 8k'lık bir modele büyük bir PDF yüklerseniz, model çökecektir.

• Çözüm: “Yığınlama” stratejisi kullanın. Verileri küçük parçalara ayırın.
• Thinkpeak İpucu: Bizim Yapay Zeka Teklif Oluşturucu limitleri aşmadan büyük keşif notlarını almak için bu mantığı kullanır.

2. Sıcaklık Ayarı

Yerel modeller daha yüksek sıcaklık GPT-4'ten daha duyarlıdır.

• Yaratıcı Görevler İçin: Set sıcaklık=0.7.
• Mantık/Veri Görevleri için: Set sıcaklık=0.1. Yerel modeller kolayca halüsinasyon görür. Düşük sıcaklık onları gerçeklere bağlı kalmaya zorlar.

local_llm = LLM(
    model="ollama/llama3.1",
    base_url="http://localhost:11434",
    sıcaklık=0,1 # Gerçeklere sıkı sıkıya bağlılık
)

3. Ağ Kullanımı (Ollama Bağlama)

Varsayılan olarak, Ollama localhost. CrewAI'yi bir konteynerde veya farklı bir makinede çalıştırmak için ana bilgisayarı açığa çıkarmanız gerekir.

Linux/Mac:

OLLAMA_HOST=0.0.0.0 ollama servis

Değiştirin base_url masaüstünüzün IP'sine bağlayın: http://192.168.1.XX:11434.

Gerçek Dünya Kullanım Örneği: Yerel GDPR Uyum Görevlisi

Şimdi pratik bir uygulamaya bakalım.

Senaryo: Elinizde 10.000 müşteri destek bileti içeren bir CSV var. Duyarlılığı tanımlamanız gerekiyor. Ancak biletler KTB içeriyor. Bunu ChatGPT'ye yükleyemezsiniz.

Çözüm: Yerel Bir CrewAI Kurulumu.

1. Ajan A (Scrubber): CSV'yi okur. PII'yi tanımlamak ve redakte etmek için Llama 3 kullanır.
2. Ajan B (Analist): Redakte edilmiş metni alır ve hatayı kategorize eder.
3. Ajan C (Muhabir): Hata listesini temiz bir rapor halinde derler.

Bu çevrimdışı çalışır. PII asla internete bağlanmaz.

Thinkpeak.ai'nin Ismarlama Dahili Araçlar hizmeti bu arayüzü sizin için oluşturabilir. Bu betiği kullanıcı dostu bir Softr veya Yeniden Düzenle gösterge paneli. Teknik olmayan ekibiniz tek bir tıklama ile verileri temizleyebilir.

Sonuç

CrewAI'yi yerel LLM'lerle birlikte kurmak stratejik bir hamledir. Veri egemenliği ve operasyonel esneklik sağlar. Ollama ve Llama 3 gibi araçlardan yararlanarak, gizliliğinize saygı duyan güçlü aracılar oluşturursunuz.

Ancak yerel aracılar sihirli değildir. Dikkatli bir hızlı mühendislik ve donanım yönetimi gerektirirler.

İster tek bir araştırmacı ister hibrit aracılardan oluşan bir filo konuşlandırın, gelecek otomatiktir.

Kendi özel yazılım yığınınızı oluşturmaya hazır mısınız?
At Thinkpeak.ai, ekosistemler inşa ediyoruz. Manuel operasyonları dinamik büyüme motorlarına dönüştürmek için altyapı sağlıyoruz.

Thinkpeak'in Otomasyon Pazarını Keşfedin
Özel Mühendislik için Keşif Çağrısı Yapın

Sıkça Sorulan Sorular (SSS)

CrewAI'yi bir Windows dizüstü bilgisayarda yerel LLM'lerle çalıştırabilir miyim?

Evet, yeterli RAM'iniz ve özel bir GPU'nuz varsa. Ollama Windows üzerinde çalışsa da, en sorunsuz deneyim için WSL2'yi (Linux için Windows Alt Sistemi) öneriyoruz. GPU olmadan, ajanlar CPU'nuzda çalışacaktır. Bu önemli ölçüde daha yavaştır ancak test için işlevseldir.

Yerel acentem neden aynı düşünceyi tekrarlayıp duruyor?

Bu bir “bağlam döngüsü ”dür. Model, adımı tamamladığını algılayamıyor. Bunu düzeltmek için sıcaklık 0'a ekleyin. max_iter=3 Ajan tanımınıza ekleyin. “Durdur” koşulu hakkında son derece açık olmak için Görev açıklamasını basitleştirin.

Ollama, CrewAI için LM Studio'dan daha mı iyi?

Otomatik iş akışları ve kodlama için, Ollama genellikle tercih edilir. Basit bir API ile başsız bir sunucu olarak tasarlanmıştır. LM Stüdyo modelleri görsel olarak test etmek için mükemmeldir. Bununla birlikte, Ollama'nın hafif yapısı Python komut dosyalarına entegre edilmesini kolaylaştırır.

Kaynaklar

• https://docs.crewai.com/en/concepts/llms
• https://docs.crewai.com/learn/llm-connections
• https://www.fullyda.com/courses/crewai-tutorials/
• https://methodlab.ai/multi-agent/how-to-connect-llama3-to-crewai-groq-ollama/
• https://www.youtube.com/watch?v=4G6MlUxh3q8