Büyük Dil Modelleri Nasıl Çalışır: Token'lar, Bağlam Pencereleri ve Neden Unuturlar

Yapay zekâ sohbet robotlarına ve dil araçlarına güç veren o gizemli kara kutular, yani büyük dil modelleri, aslında metni son derece belirli bir yöntemle işleyerek…

Yapay Zeka5 dakikalık okuma Güncelleme: Eylül 2026

CC0 waiver: To the extent possible under law, I waive all copyright and related or neighboring rights to this work — Fotoğraf: Derrick Coetzee from Berkeley, CA, USA · Wikimedia Commons · CC0

Yapay zekâ sohbet robotlarına ve dil araçlarına güç veren o gizemli kara kutular, yani büyük dil modelleri, aslında metni son derece belirli bir yöntemle işleyerek çalışır. İşlevlerinin merkezinde token'lar, bağlam pencereleri, dikkat mekanizmaları ve temel bir olasılıksal tahmin yatar.

Metinden Token'a – LLM'ler Aslında Ne Okur?

Büyük dil modellerini (LLM'ler) anlamak için, girdi metnini nasıl ele aldıklarını kavramak büyük önem taşır. LLM'ler, doğrudan insanların okuyabildiği kelimeler veya karakterlerle çalışmak yerine, token adı verilen bir ara katman üzerinde işlem yapar.

Bir token yaklaşık 4 karaktere veya bir kelimenin yaklaşık dörtte üçüne denk gelir. Bu da İngilizce metin kullanan birçok LLM'de 100 token'ın kabaca 75 kelimelik bir metne karşılık geldiği anlamına gelir.

Token'lar, Byte Pair Encoding (BPE) veya SentencePiece gibi tokenizasyon yöntemleriyle oluşturulur. Bu algoritmalar metni alt kelime birimlerine ayırarak modelin varyasyonları ve bağlamı kelime düzeyinde işlemeye kıyasla çok daha etkili biçimde yakalamasını sağlar. Token'lar kelime parçalarını ve hatta birleştirilmiş birden fazla kısa kelimeyi temsil edebilir; böylece kelime dağarcığının genişlemesini ve dilin nüanslarını yönetebilen esnek bir temsil sunar.

Örneğin, "The language model generates tokens based on the input text" cümlesi şu şekilde token'laştırılabilir: ["The", "language", " ", "model", " ", "generates", " ", "tokens", " ", "based", " ", "on", " ", "the", " ", "input", " ", "text"]. Bu örnek; boşluk karakterlerinin, noktalama işaretlerinin ve tam kelimelerin nasıl bağımsız token'lara dönüştüğünü gösterir.

Token'ları anlamak, LLM'lerin metni nasıl işlediğini kavramanın ilk adımıdır. Ama bu sadece bir başlangıç. Asıl sihir—ya da daha doğru bir ifadeyle mekanik—bağlam penceresi denen şeyin içinde gerçekleşir.

Bağlam Penceresi – Modelin Çalışma Belleği

Bağlam penceresini LLM'in çalışma belleği olarak düşünün. Modelin tek seferde dikkate alabileceği veya "hatırlayabileceği" maksimum metin miktarıdır. Bu pencere kelimelerle değil token'larla ölçülür ve eğitilmiş modelin sabit bir mimari sınırıdır.

Sistem talimatları, konuşma geçmişi, tüm belgeler ve modelin kendi ürettiği yanıtlar da dâhil olmak üzere modele sunulan her metin parçası, bu penceredeki toplam token sayısına katkıda bulunur. Toplam sayı pencerenin sınırını aştığında, en eski içerik bırakılır ya da istek reddedilir.

Peki bu bellek ne kadar büyük? Modele göre değişir:

GPT‑3.5 yaklaşık 4.096 token'ı, yani yaklaşık 3.000 kelimeyi işleyebilir.
GPT‑4 yapılandırmaları ise 128.000 token'a, yani kabaca 96.000 kelimelik metne kadar ulaşır.

Ancak bu kapasitelere rağmen bağlam penceresi, tıpkı insan çalışma belleği gibi davranır. Her şeyin sığması gerekir ve sığmayan şeyler göz ardı edilir. Model, mevcut penceresinin dışında kalan metinleri işleyemez veya bunlara atıfta bulunamaz.

Uzun sohbetlerin önceki ayrıntıları kaybetmeye başlamasının nedeni işte bu sınırlı bağlam penceresidir. Sohbet ilerledikçe diyaloğun eski kısımları pencerenin dışına düşer ve modelin yanıtlarını etkilemeyi bırakır. Bu tam olarak bir unutma değil, daha ziyade çalışma belleğinin sürekli olarak tazelenmesidir.

Dikkat ve Tahmin – Model Bir Sonraki Token'ı Nasıl Seçer?

Peki model bir sonraki adımda ne söyleyeceğine veya ne üreteceğine nasıl karar verir? Bu süreç, token dizisinin analiz ve önemli anlamların çıkarılması için uygun bir biçime dönüştürülmesini içerir. İşte böyle çalışır:

Token Dönüşümü: Girdideki her bir token; sorgu (query), anahtar (key) ve değer (value) (QKV) vektörleri adı verilen bir dizi sayısal temsile dönüştürülür. Bu vektörler her bir token'ın özünü—bağlamını, anlamını ve diğer token'larla ilişkisini—yakalar.
Öz-Dikkat (Self-Attention) Hesaplaması: Model, bağlam penceresindeki her bir token'ın diğer tüm token'larla ne kadar güçlü bir ilişki içinde olduğunu ölçen dikkat puanlarını hesaplar. Bu süreç, bir araya gelen QKV vektörlerini ve nokta çarpımı ile softmax fonksiyonları gibi matris işlemlerini içerir. Özetle bu, modelin penceredeki TÜM token'lar arasındaki ilişkilere bakmasıdır.
Bağlamsal Gömmeler (Contextual Embeddings): Dikkat puanları, her bir token için bağlamsal gömmeler türetmek amacıyla kullanılır. Bunlar, yerel bağlamı ve ilişkileri hesaba katan daha zengin temsillerdir.
Sonraki Token Tahmini: Bu bağlamsal gömmelere dayanarak model, olası her bir sonraki token için logit'ler, yani puanlar üretir. Ardından bir softmax fonksiyonu kullanarak bu logit'leri olası sonraki token'lar üzerinde bir olasılık dağılımına dönüştürür. En yüksek olasılığa sahip token, bir sonraki çıktı olarak seçilir.

Ama işin püf noktası şudur: Modelin temel operasyonu yalnızca bir sonraki token'ı tahmin etmekten ibarettir. Tüm konuşmayı "anlamaz", bunun yerine her adımı mevcut bağlam penceresinden etkilenerek metni her seferinde tek bir token olacak şekilde üretir. Üretilen metnin adım adım bir metin tahmini olmasına rağmen bağlamsal olarak tutarlı hissettirebilmesinin sebebi budur.

Bu süreç hesaplama açısından maliyetlidir ve bağlam penceresi boyutunun karesiyle ölçeklenir. Bağlam penceresini iki katına çıkarmak hesaplama maliyetini dört katına çıkarabilir, bu yüzden performans ile kapasite arasında bir ödünleşim vardır. Her model, mimari tasarımına ve kullanım amacına bağlı olarak kendi dengesini kurar.

Sıcaklık (Temperature) ve Kontrol – Yanıtlar Neden Güvenli veya Şaşırtıcı Olabilir?

Sıcaklık parametresi, modelin yaratıcılığını ve öngörülebilirliğini kontrol eden bir ayar düğmesidir. Logit'lerden türetilen olası sonraki token'lar üzerindeki olasılık dağılımını ayarlar.

Sıcaklık = 1 olduğunda, logit'ler olduğu gibi kullanılır ve bu da dengeli bir olasılık dağılımı sağlar.
Sıcaklık < 1 olduğunda, dağılım keskinleşir ve model yüksek olasılıklı token'ları tercih ederek daha deterministik hâle gelir. Bu da çıktıları daha tekrarlı ve daha az çeşitli yapar.
Sıcaklık > 1 olduğunda dağılım düzleşir ve rastgelelik artar. Model daha yaratıcı ancak daha az öngörülebilir hâle gelir; bazen şaşırtıcı, hatta anlamsız sonuçlar üretir.

0.0 sıcaklığı, modelin her zaman en yüksek olasılıklı token'ı seçtiği ve deterministik çıktılarla sonuçlandığı özel bir durumdur: aynı girdi her zaman aynı çıktıyı verir. Daha yüksek sıcaklıklar, daha düşük olasılıklı token'ları ve daha çeşitli devam yollarını destekler; bu durum genellikle daha yaratıcı ancak daha az güvenilir olarak algılanır.

Uzun Sohbetlerin Kalitesi Neden Düşer ve Modeller Neleri Yapamaz?

Tüm bu mekanizmalar bir araya gelerek, LLM'lerle yapılan uzun etkileşimlerin neden bazen unutkan ya da konuşmanın önceki kısımlarından kopuk hissettirebildiğini açıklar.

Sohbet devam ettikçe eski token'lar bağlam penceresinin dışına itilir ve model artık bu bilgilere atıfta bulunamaz veya bu bilgilere dayanarak yanıt üretemez. Bu, modelin unutmasından kaynaklanmaz; sadece mevcut çalışma belleğinin ötesindeki metni işleyemez veya geri çağıramaz.

Bu sınırlama sadece teorik bir endişe değildir; pratik sonuçları vardır. Claude Opus 4.x için pazarlanan 1 milyon token sınırı gibi çok büyük bağlam pencerelerine sahip olduğu reklamı yapılan modeller bile, konuşma uzunluğu bu sınıra yaklaştıkça düşük performans gösterir. Pratikte birçok kullanıcı, yaklaşık 200-256 bin token'a kadar güvenilir bir akıl yürütme bildirirken, bu noktanın ötesinde ciddi bir bozulma olduğunu belirtmektedir.

Dahası, yaygın