0Boşluklu karakter
0Boşluksuz karakter
0CJK karakter
0Latin/sayı kelime
0Tahmini token
Bu değer yaklaşık hesaplamadır. Gerçek token sayısı modele ve tokenizer'a göre değişir.
Bu sayı ne işe yarar?
AI araçları metni kelime değil token olarak işler. Girdi çok uzunsa bağlam kesilebilir veya API maliyeti artar. Bu araç uzun metni parçalara ayırmadan önce fikir verir.
Bu araç eğitim amaçlıdır. Hesaplamalar yaklaşık olabilir; kritik kararlar için resmi kaynakları kontrol et.