Token nedir? Token, bir buyuk dil modelinin (LLM) metni isleyebilmek icin parcaladigi en kucuk anlam birimidir. Bir kelimenin tamami, bir hece, bir noktalama isareti ya da yalnizca birkac karakter bir token olabilir. Dil modelleri metni dogrudan harf harf okumaz; metni once tokenlara boler, ardindan her tokeni bir sayisal vektore donusturerek isler. Bu nedenle token, yapay zeka modellerinin dili “anlamasinin” ve maliyetlerinin hesaplanmasinin temel olcu birimidir.
Token kavramini anlamak, yapay zeka projelerinde hem teknik hem de ticari kararlar icin kritiktir. Modelin ne kadar metni isleyebilecegi, bir istegin ne kadar maliyetli olacagi ve yanitin ne kadar uzun olabilecegi dogrudan tokenlarla olculur. Daha genis bir bakis acisi icin Buyuk Dil Modelleri (LLM) Nedir? Baslangic Rehberi yazisi temel cerceveyi sunar.
Token Tam Olarak Neyi Ifade Eder?
Bir token, modelin kelime dagarcigindaki (vocabulary) bir girdiye karsilik gelir. Modern dil modelleri genellikle 30.000 ile 200.000 arasinda farkli token iceren bir kelime dagarcigina sahiptir. Metin bu dagarcik kullanilarak parcalanir ve her parca, dagarcikta kendisine ayrilmis bir sayisal kimlik (ID) ile temsil edilir.
Onemli bir nokta sudur: bir token her zaman bir kelimeye esit degildir. Sik kullanilan kisa kelimeler cogu zaman tek bir token olurken, uzun veya nadir kelimeler birden fazla parcaya bolunur. Ornegin Ingilizce “unbelievable” kelimesi “un”, “believ” ve “able” gibi parcalara ayrilabilir. Bu yaklasim, modelin daha once hic gormedigi kelimeleri bile bilinen parcalar uzerinden temsil edebilmesini saglar.
Pratik bir yaklasik deger: Ingilizce metinde ortalama bir token yaklasik 4 karaktere veya bir kelimenin dortte ucune denk gelir. Turkce gibi sondan eklemeli dillerde durum farklilasir; ekler ayri tokenlara bolunebildigi icin ayni anlami tasiyan bir Turkce cumle, Ingilizce karsiligindan daha fazla token tuketebilir.
Tokenizasyon Nasil Calisir?
Tokenizasyon, ham metni tokenlara ayirma islemine verilen addir. Bu islem, modelin metni anlamlandirmadan once attigi ilk adimdir ve tokenizer adi verilen bir bilesen tarafindan yurutulur. Tokenizer, hangi karakter dizilerinin tek bir token olusturacagini belirleyen kurallar ve istatistiklerle egitilmistir.
Gunumuzde en yaygin kullanilan yontemler, alt kelime (subword) tabanli algoritmalardir. Bu yaklasimlar, metni ne tamamen kelime ne de tamamen karakter duzeyinde isler; ikisinin arasinda bir denge kurar. Baslica yontemler sunlardir:
- BPE (Byte Pair Encoding): En sik birlikte gecen karakter ciftlerini adim adim birlestirerek bir kelime dagarcigi olusturur. GPT ailesi modellerinin temelinde bu yaklasim bulunur.
- WordPiece: BERT gibi modellerde kullanilir; kelimeleri olasiliksal olarak en verimli alt parcalara boler.
- SentencePiece / Unigram: Bosluklari da bir karakter gibi ele alarak dilden bagimsiz calisabilen, cok dilli modellerde tercih edilen bir yontemdir.
Tokenizasyon iki yonlu calisir. Model girdiyi alirken metin tokenlara cevrilir (encoding); model yanit uretirken de tekrar tokenlardan okunabilir metne donusturulur (decoding). Bu sayede kullanici dogal bir cumle gorur, model ise arka planda sayilarla calisir.
Token ile Kelime ve Karakter Arasindaki Fark Nedir?
Token, kelime ve karakter birbirine karistirilan kavramlardir. Asagidaki tablo aralarindaki temel farklari ozetler:
| Birim | Tanim | Ornek (“yapay zeka”) |
|---|---|---|
| Karakter | Tek bir harf, rakam veya sembol | y-a-p-a-y-(bosluk)-z-e-k-a = 11 karakter |
| Kelime | Bosluklarla ayrilmis anlamli birim | “yapay” ve “zeka” = 2 kelime |
| Token | Modelin kelime dagarcigindaki parca | Yaklasik 3-5 token (modele gore degisir) |
Goruldugu gibi token sayisi, karakter ve kelime sayisinin arasinda bir yerde durur ve dogrudan modelin tokenizerina baglidir. Ayni metin, iki farkli modelde farkli sayida token uretebilir.
Token Sayisi Maliyetleri ve Performansi Nasil Etkiler?
Ticari dil modeli saglayicilarinin neredeyse tamami, ucretlendirmeyi token basina yapar. Genellikle iki ayri kalem bulunur: modele gonderilen girdi tokenlari (input) ve modelin urettigi cikti tokenlari (output). Cikti tokenlari cogunlukla daha pahali fiyatlandirilir.
Bu durum, maliyet optimizasyonunu dogrudan token yonetimine baglar. Asagidaki faktorler token tuketimini belirler:
- Istem (prompt) uzunlugu: Gereksiz uzun talimatlar her cagrida ek girdi tokeni tuketir.
- Baglam (context) miktari: Modele eklenen belge, sohbet gecmisi veya ornekler token bütcesini hizla doldurur.
- Yanit uzunlugu: Daha uzun cevaplar daha fazla cikti tokeni demektir.
- Dil secimi: Bazi dillerde ayni anlam daha fazla token gerektirir.
Token ayrica modelin baglam penceresi (context window) ile de yakindan iliskilidir. Baglam penceresi, modelin tek seferde dikkate alabilecegi toplam token sayisidir. Bir model 128.000 token kapasiteye sahipse, girdi ve cikti tokenlarinin toplami bu siniri asamaz. Sinir asildiginda en eski bilgiler kapsam disinda kalir ve model baglami “unutmaya” baslar.
Token Kullanimi Nasil Optimize Edilir?
Token tuketimini bilincli yonetmek, hem maliyetleri dusurur hem de yanit kalitesini artirir. Asagidaki uygulamalar bu konuda yol gostericidir:
- Istemleri sadelestirin: Talimatlari net ve kisa tutarak gereksiz tekrarlardan kacinin.
- Yalnizca ilgili baglami ekleyin: Tum belgeyi degil, soruyla iliskili bolumleri modele verin.
- Cikti uzunlugunu sinirlandirin: Maksimum token parametreleriyle yanit boyutunu kontrol altinda tutun.
- Tokenizer araclarini kullanin: Bir metnin kac token ettigini onceden olcerek bütce planlamasi yapin.
- Onbellekleme (caching) degerlendirin: Tekrar eden uzun baglamlar icin onbellek destegi maliyetleri ciddi olcude azaltabilir.
Bu yaklasimlar, ozellikle yuksek hacimli yapay zeka uygulamalarinda ay sonunda olusan faturayi belirgin sekilde etkiler. Token bilinci, surdurulebilir bir yapay zeka mimarisinin temel tasidir.
Sikca Sorulan Sorular
Token nedir, kisaca aciklar misiniz?
Token, bir dil modelinin metni islemek icin boldugu en kucuk birimdir. Bir kelimenin tamami, bir hecesi veya bir noktalama isareti olabilir. Model metni tokenlara ayirir ve her tokeni sayisal olarak isler.
Bir token kac kelimeye esittir?
Kesin bir esitlik yoktur. Ingilizce icin ortalama bir token yaklasik dortte uc kelimeye denk gelir. Turkce gibi eklemeli dillerde token sayisi genellikle daha yuksektir cunku ekler ayri tokenlara bolunebilir.
Token sayisini neden onemsemek gerekir?
Cunku dil modeli saglayicilari ucretlendirmeyi token basina yapar ve modellerin baglam penceresi token cinsinden sinirlidir. Token yonetimi hem maliyeti hem de yanit kalitesini dogrudan etkiler.
Girdi tokeni ve cikti tokeni arasindaki fark nedir?
Girdi tokenlari, modele gonderilen istem ve baglamdir. Cikti tokenlari ise modelin urettigi yanittir. Cikti tokenlari cogu saglayicida daha yuksek fiyatlandirilir.
Bir metnin kac token oldugunu nasil olcebilirim?
Model saglayicilarinin sundugu tokenizer araclari veya acik kaynak kutuphaneler ile bir metnin token sayisini onceden hesaplayabilirsiniz. Bu, bütce ve baglam penceresi planlamasi icin pratik bir yontemdir.