Yapay Zekâ Modeli Seçerken Hız Ölçümü Nasıl Yanıltır? GPT-6 Luna, GPT-5.6 ve Gemini

Sesli kanal için ilk ölçüm sunucumuzdan, gerçek sesli promptla, düşünme kapalı ve beşer tekrarla yapıldı:

Tabloda yeni sürümlerin hızlı olduğuna dair bir desen yok. Bir hafta sonra aynı soruyu kaliteyle birlikte sorduk. Cevap modeli için ilk metin süresi medyanları birbirine yakındı (GPT-5.6 Luna 1.006 ms, gpt-4.1-mini 1.030 ms, gemini-2.5-flash 1.071 ms). Fark başka yerdeydi: bilgi tabanında saat ve adres bilgisi olmayan bir soruda Gemini "24 saat hizmet veriyoruz" ve "adresimiz yok" gibi cevaplar uydurdu; GPT-5.6 Luna ve 4.1-mini "bu bilgi bende yok" dedi. Luna ayrıca %21 daha ucuzdu. Cevap modeli olarak seçildi.

Bu ölçümde bir tuzağı da yakaladık. İlk karşılaştırmayı aynı süreçte arka arkaya koştuk; ikinci model, birincisinin doldurduğu cevap önbelleğini okuyordu. Sonuçlar çöpe gitti ve her model ayrı süreçte yeniden ölçüldü.

Birkaç hafta sonra yarı fiyatlı GPT-6 Luna çıktı. İlk ölçüm şaşırtıcıydı: ilk token medyanı GPT-6'da 2.572 ms, GPT-5.6'da 1.038 ms. Yazılı test setinde tur medyanı 4,3 saniyeydi.

Sebep model değildi. Kurulu AI SDK sürümü gpt-6-* adını "düşünmeyen model" sayıyor ve düşünme seviyesi (reasoningEffort) ile hizmet sınıfı (serviceTier) alanlarını hata vermeden atıyordu. Yani GPT-6 her testte varsayılan seviyede, "medium" düşünerek çalıştı; yanıtta düşünme token'ları görünüyordu. SDK güncellenince ve ölçüm doğrudan API'ye yapılınca tablo değişti. Gerçek sesli prompt ve sekiz parçalık bilgi bloğuyla, 10'ar çağrı, sıra dönüşümlü:

Aynı model, yalnız ayar farkıyla 3,5 kat yavaş. İki ders çıktı:

• Ayarın gerçekten gittiğini doğrulayın. SDK ya da kütüphane bir alanı desteklemiyorsa hata vermeyebilir. Yanıttaki düşünme token sayısı gibi bir kanıta bakın.
• Varsayılan ayarı bilin. GPT-6 Luna'nın varsayılan düşünme seviyesi "medium". Yalnız model adını değiştirmek sesli kanalda düşünmeyi açık bırakır.

Hızlı mod (öncelikli hizmet sınıfı) fiyatı iki katına çıkarıyor. Sesli kanalda sekizinci kelimenin gelme süresine GPT-6 için yalnız ~40 ms kazandırdı; değmedi.

Doğru ayarla GPT-6 Luna hızlıydı ve liste fiyatı yarıydı: 1 milyon token için giriş 0,10, çıkış 0,50 dolar (GPT-5.6 Luna 0,20 ve 1,20 dolar). Kalite ölçümü ise başka bir şey gösterdi.

Yazılı kanalda araç kullanımı. GPT-6 sayfa gösterme aracını çok daha sık çağırdı: bir klinik setinde 24 turun 11'inde kart, GPT-5.6'da 0. Her araç çağrısı ikinci bir model adımı demek; tur medyanı 3,0 saniyeden yaklaşık 4,1 saniyeye çıktı ve kart yalnız yönlendirmede gösterilmeli kuralımız (kart yazısı) ihlal edildi.

Sesli kanalda talep onayı. İki kritik vakayı dörder kez koştuk:

Bu tablo iki karar doğurdu. GPT-6'ya geçilmedi. Ve GPT-5.6'nın da dört denemenin birinde onaysız talep açtığı görülünce kural koda taşındı (onay kapısı yazısı).

Diğer roller için de GPT-6'yı tek tek denedik:

SDK'lar güncellendikten sonra, aynı gün yayımlanan diğer modellerle birlikte küçük bir karşılaştırma daha yaptık:

Bu kez GPT-6'nın sesli talep akışı daha iyiydi; 23 Eylül'deki onaysız talep sorunu tekrarlamadı. Ama seste ilk token yaklaşık 200 ms geride kaldı. GPT-5.6'nın talep akışındaki düşük puanın çoğu da modelden değil, hakemin hazır bir duyuru cümlesini çelişkili bulmasından geliyordu. Gemini modelleri hızlıydı ama kaynakta olmayan bilgi söyledi ("destek anında ve gece", "seksen ikiden fazla dil"). Gemini 3.7 ve 3.8 düşünmeyi "düşük"ün altına indirmediği için sesli kanala uygun değildi.

Tek koşuda ±1 vaka gürültü olduğunu bildiğimiz için sonuç "değişiklik yok, GPT-6 aday" oldu. Kısa bir canlı sesli denemede GPT-6, yan konuşma algılayan bekleme aracını yanlış tetikledi ve bir turda 11 saniyelik bir sessizlik oluştu; aynı gün GPT-5.6'ya dönüldü.

Sınıflandırıcı için de aynı turda dört modeli 16 belirsiz ve takip turunda karşılaştırdık:

Mevcut model kaldı. Bir risk not edildi: Google 2.5 ailesini yeni hesaplara açmıyor. Kapanırsa yedek aday 3.5 Flash-Lite, ama geçişten önce niyet setiyle doğrulanmalı.

Yazılı kanalda cevap modelinin düşünme seviyesini varsayılandan "düşük"e çekmeyi de ölçtük. Üç sette toplam sonuç iki ayarda da 55'te 51'di; ilk metin 150-500 ms erken geliyordu. Beklediğimiz kazanç 1-2 saniyeydi.

Toplamın gizlediği bir vaka vardı: diş çekiminden sonra kanaması durmayan hastanın sorusunda düşük ayar, bilgi tabanında olmayan "30 dakika ısırın" süresini ekledi. Varsayılan ayar "hekimin önerdiği süre boyunca" demişti. Kural netti: yanlış ya da eksik cevap almamak, 1 saniyelik gecikmeden önemli. Ayar açılmadı.

• Ayarın gittiğini kanıtlayın. SDK sürümü, düşünme seviyesi ve önbellek seçenekleri sessizce atılabilir. Yanıttaki token dökümüne bakın.
• Her modeli ayrı süreçte ölçün. Paylaşılan önbellek ikinci modele haksız avantaj verir.
• Ortalama yerine dağılıma bakın. Oynak bir model ortalamada hızlı görünüp kuyrukta kaybettirebilir.
• Uydurma testini hız testinin yanına koyun. En hızlı model bilmediği şeyi söyleyebilir.
• Araç davranışını ölçün. Aynı prompt ve araçlarla modeller farklı sıklıkta araç çağırır; bu hem hızı hem kuralları etkiler.
• Kritik vakaları ayrı izleyin. Toplam puan aynı kalırken en riskli vaka bozulabilir.
• Rolleri ayrı değerlendirin. Cevap modeli için iyi olan, sınıflandırıcı ya da analiz için iyi olmayabilir.

Ölçümler kendi sunucumuzdan, kendi promptlarımız ve Türkçe test setlerimizle yapıldı; başka bir kurulumda sıralama değişebilir. Test setleri 14-24 vakalık ve tek koşuda ±1 vaka gürültü var. Anthropic ve açık kaynak modeller o dönem hesabımızda anahtar olmadığı için karşılaştırmaya girmedi. Fiyatlar ölçüm tarihindeki liste fiyatları.