Maksimum Token Ayarını Değiştirme

prompt = """
Sevgili arkadaşım Andrew için bir doğum günü kartı yazmama yardım et. İşte arkadaşım hakkında detaylar:
Plajda uzun yürüyüşler yapmayı ve kitapçıda okumayı sever. Hobileri araştırma makaleleri okumak ve konferanslarda konuşma yapmaktır. Favori rengi açık mavidir. Pandaları sever.
"""
response = llama(prompt, max_tokens=20)
print(response)

# Sonraki hücre Margery Williams'ın "The Velveteen Rabbit" adlı çocuk kitabının metnini okur ve bir string olarak 'text' adıyla kaydeder. (Not: Bu metni görmek isterseniz, not defterinin üstündeki Dosya -> Aç menüsünü kullanabilirsiniz.)
with open("TheVelveteenRabbit.txt", "r", encoding='utf=8') as file:
    text = file.read()
prompt = f"""
Aşağıdaki metni 50 kelimede özetle:\n\n
{text}
"""
response = llama(prompt)
print(response)
# Hücrenin üstünde çalıştırılması bir hata döndürür çünkü çok fazla tokenımız var.

# Giriş tokenları (komut + Velveteen Rabbit metni) ve çıkış tokenları toplamı
3974 + 1024
# Llama 2 sohbet modelleri için, giriş ve max_new_tokens parametresinin toplamı <= 4097 token olmalıdır.

# Giriş tokenları için hesaplanan 3974 token sonrası yanıt için kullanılabilir tokenlar
4097 - 3974
# Giriş + çıkış tokenları limiti dahilinde kalmak için max_tokens'ı ayarla
prompt = f"""
Aşağıdaki metni 50 kelimede özetle:\n\n
{text}
"""
response = llama(prompt, max_tokens=123)
print(response)
# max_tokens'ı giriş + çıkış tokenları limitinin ötesine çıkar
prompt = f"""
Aşağıdaki metni 50 kelimede özetle:\n\n
{text}
"""
response = llama(prompt, max_tokens=124)
print(response)

# Bir takip sorusu sorma
prompt = """
Sevgili arkadaşım Andrew için bir doğum günü kartı yazmama yardım et. İşte arkadaşım hakkında detaylar:
Plajda uzun yürüyüşler yapmayı ve kitapçıda okumayı sever. Hobileri araştırma makaleleri okumak ve konferanslarda konuşma yapmaktır. Favori rengi açık mavidir. Pandaları sever.
"""
response = llama(prompt)
print(response)
prompt_2 = """
Ah, ayrıca öğretmeyi de sever. Bunu içerecek şekilde yeniden yazabilir misin?
"""
response_2 = llama(prompt_2)
print(response_2)

# Kendi bilgisayarınızda Llama 2 veya 3 kullanma (İsteğe Bağlı)! Kendi makinenizde ü

Ücretsiz olarak indirilebilen küçük Llama 2 veya 3 sohbet modeli! Unutmayın, yalnızca Llama 2 7B sohbet veya Llama 3 8B modeli (varsayılan olarak 4-bit kuantize sürümü indirilir) yerel olarak iyi çalışabilir. Daha büyük boyutlu modeller fazla bellek gerektirebilir (genellikle 13b modelleri en az 16GB RAM ve 70b modelleri en az 64GB RAM gerektirir) ve çok yavaş çalışabilir. Meta ekibi hala bir barındırılan API hizmeti kullanılmasını önermektedir (bu durumda sınıf Together.AI barındırılan API hizmetini kullanıyor) çünkü bu, donanımınızın sınırlamaları olmaksızın tüm mevcut llama modellerine erişim sağlar. Sınıf dışında Together.AI API hizmetini kullanma talimatlarını bu kısa kursun son dersinde bulabilirsiniz. Bilgisayarınıza llama 7B'yi kurmanın ve kullanmanın bir yolu, https://ollama.com/ adresine gidip uygulamayı indirmektir. Bu, düzenli bir uygulama yüklemek gibidir. Llama 2 veya 3'ü kullanmak için tam talimatlar burada: https://ollama.com/library/llama2 ve https://ollama.com/library/llama3. Başlamak için hızlı bir özet: Kurulum talimatlarını izleyin (Windows, Mac veya Linux için). Komut satırı arabirimini (CLI) açın ve ollama run llama2 veya ollama run llama3 yazın. İlk kez bunu yaptığınızda, llama 2 veya 3 modelini indirmek biraz zaman alacaktır. 

### Ders 4

Yardımcı fonksiyonu içe aktar:

```python
from utils import llama, llama_chat

Bağlamda Öğrenme Standart komut ve talimat Şu ana kadar, komutunuzda talimatı açıkça belirtiyordunuz:

prompt = """
Mesajın duygusu nedir:
Merhaba Amit, düşünceli doğum günü kartın için teşekkürler!
"""
response = llama(prompt)
print(response)

Sıfır-atış Komutlama İşte sıfır-atış komutlamanın bir örneği. Modelin, komutunuzun yapısından görevi çıkarıp çıkaramayacağını görmek için modeli yönlendiriyorsunuz. Sıfır-atış komutlamada, modele tamamlanmış görevin örnekleri olmadan yalnızca yapısını sağlarsınız.

prompt = """
Mesaj: Merhaba Amit, düşünceli doğum günü kartın için teşekkürler!
Duygu: ?
"""
response = llama(prompt)
print(response)

Birkaç-atış Komutlama İşte birkaç-atış komutlamanın bir örneği. Birkaç-atış komutlamada, modele sadece yapısını değil, aynı zamanda iki veya daha fazla örnek de sağlarsınız. Modelin, komutunuzdaki yapıyı ve örnekleri de dikkate alarak görevi çıkarıp çıkaramayacağını görmek için modeli yönlendiriyorsunuz.

prompt = """
Mesaj: Merhaba Baba, piyano resitalime 20 dakika geç kaldın!
Duygu: Negatif

Mesaj: Bu akşam akşam yemeği için pizza siparişi vermek için sabırsızlanıyorum
Duygu: Pozitif

Mesaj: Merhaba Amit, düşünceli doğum günü kartın için teşekkürler!
Duygu: ?
"""
response = llama(prompt)
print(response)

Çıktı Formatını Belirtme Modelin nasıl yanıt vereceği formatını da belirtebilirsiniz. Aşağıdaki örnekte, "tek kelimeyle yanıt ver" demek istiyorsunuz.

prompt = """
Mesaj: Merhaba Baba, piyano resitalime 20 dakika geç kaldın!
Duygu: Negatif

Mesaj: Bu akşam akşam yemeği için pizza siparişi vermek için sabırsızlanıyorum
Duygu: Pozitif

Mesaj: Merhaba Amit, düşünceli doğum günü kartın için teşekkürler!
Duygu: ?

Tek kelimeyle yanıt ver.
"""
response = llama(prompt)
print(response)

Not: Yukarıdaki tüm örneklerde, 7 milyar parametreli model, llama-2-7b-chat kullanıldı. Ve son örnekte gördüğünüz gibi, 7B model duygusal olarak belirsizdi.

Daha iyi, kesin bir yanıt alıp alamayacağınızı görmek için daha büyük (70 milyar parametreli) llama-2-70b-chat modelini kullanabilirsiniz:

prompt = """
Mesaj: Merhaba Baba, piyano resitalime 20 dakika geç kaldın!
Duygu: Negatif

Mesaj: Bu akşam akşam yemeği için pizza siparişi vermek için sabırsızlanıyorum
Duygu: Pozitif

Mesaj: Merhaba Amit, düşünceli doğum günü kartın için teşekkürler!
Duygu: ?

Tek kelimeyle yanıt ver.
"""
response = llama(prompt, model="togethercomputer/llama-2-70b-chat")
print(response)

Şimdi, daha küçük modeli tekrar kullanın, ancak modelin beklentilerinizi anlamasına yardımcı olmak için komutunuzu ayarlayın.