Sesli Asistan Ne Zaman Konuşmalı? Türkçede Tur Sonu ve Söze Girme

ElevenLabs hattındaki ilk ölçümde 65 asistan turunun 27'si (%42) misafir tarafından kesilmişti. İlk varsayım yanlış algılamaydı: öksürük ya da "hı hı" gibi sesler asistanı susturuyordur.

Kayıtları okuyunca durum farklı çıktı. Kesilen 27 turun 16'sında misafir hemen ardından 2-22 kelimelik gerçek bir söz söylemişti. "Hı hı" gibi bir onay sesi yalnız 1 turdaydı. Geri kalanlar görüşme bitirilirken kesilmişti. Kesilen asistan cevapları 14-37 kelimeydi.

Yani sorun algılamada değil, cevap uzunluğundaydı. Misafir uzun cevabın ortasında söze giriyordu. Ses kayıtlarında kesilen turların son 20 milisaniyesinde 9-32 dB'lik ani düşüşler vardı (doğal cümle sonunda bu 6 dB'nin altında). "Asistan robot gibi" hissinin ölçülebilir kaynağı buydu: her beş turdan ikisinde cümle kelimenin ortasında kesiliyordu.

Çözüm prompt tarafındaydı: cevap ilk cümlede, en fazla iki cümle ve 25 kelime. Kesilme listesini genişletmek çare değildi.

Tur sonu kararını LiveKit'in metin tabanlı tur modeli veriyor. Model son söze bakıp "bu cümle bitti mi?" olasılığını hesaplıyor; olasılık dile göre belirlenmiş eşiğin altındaysa en uzun bekleme süresi uygulanıyor.

Bir kullanıcı şikâyetle geldi: "Hayır da… diye devam edecektim, hemen aldı." Sekiz test aramasının olay dökümünü okuduk. Modelin yarım ve tam cümlelere verdiği olasılıklar:

LiveKit'in Türkçe eşiği 0,0045'ti. "Hayır da." 0,0064 ile eşiği geçti, asistan 830 ms'de sırayı aldı, misafir 869 ms'de devam etti. Türkçede yüklem cümlenin sonunda geldiği için "Hayır da", "ama", "şey" gibi yarım sözler cümlenin bittiği izlenimini verebiliyor.

Türkçe eşiği 0,015'e çektik. Altındaki olasılıkta 2 saniye bekleniyor. Diğer dillerde çerçevenin eşiği aynen kaldı. Bedeli de hesaplandı: yanlışlıkla yarım sayılan tam bir cümle yaklaşık 1,7 saniye geç cevaplanıyor. Örnek küçük olduğu için olasılıklar görüşme günlüğüne yazılıyor ve izleniyor.

Numara için ayrı bir kural var: asistan telefon numarası sorduysa, yarım bir rakam grubunda ("0532 45…") tur kapanmıyor.

Bir test görüşmesinde misafir adını söyledi ve cevap bekledi. Asistan konuşmadı; misafir 8 saniye sonra kapattı. Kayıtlarda beynin cevabı ("Memnun oldum…") 153 ms'de üretilmiş ve veritabanına yazılmıştı. Ses çalmamıştı.

Olay dökümü sebebi gösterdi: yazı sustuktan 0,3 saniye sonra kesinleşmiş, ama tur modelinin tahmini ancak oturum kapanırken, 11.700 ms sonra gelmişti. Tahmin gelmeden tur kapanmıyor, hazır cevap seslendirilmiyordu. Çerçevenin JavaScript sürümünde bu tahmini beklerken bir süre sınırı yoktu.

Son üç günün günlüğünde 279 tur tahmini vardı: p50 1.054 ms, p90 1.378 ms, en büyük 31.065 ms. Kuyruk birkaç olaydan ibaretti ama her biri bir görüşme demekti.

Yavaşlığın kaynağını saniyelik işlemci ölçümüyle bulduk. Her dakikanın ilk yaklaşık 6 saniyesinde CPU çalınması (steal) %20-80'e çıkıyordu. Sunucunun kendi yükü o anlarda düşüktü; işlemciyi aynı fiziksel makinedeki başka sanal makineler alıyordu. Ses işçisinin uyarıları da aynı pencerede toplanmıştı:

Kalıcı çözüm altyapıda: ses işçisini ayrılmış işlemcili bir sunucuya almak. Kısa vadede tahmine 1,5 saniye sınır koyduk (p95'in üstü, kuyruğun altı). Süre aşılırsa çerçeve tahminsiz devam ediyor ve tur kapanıyor. Ders şuydu: gecikme şikâyetinde yalnız konuşma tanıma ya da ses modelini suçlamak yanlış teşhise götürebilir; önce altyapıdaki kuyruğu dışlamak gerekiyor.

Söze girmede iki hata var. Asistan "tamam", "evet" gibi onay seslerinde susarsa misafir her "hı hı" dediğinde cevap yarıda kalıyor. Asistan "dur", "hayır" dendiğinde susmazsa misafir duyulmadığını düşünüyor.

İlk ayarımız söze girmek için en az 2 kelime istiyordu. LiveKit'in onay sesini ayıran modeli yalnız kendi bulut hizmetinde çalıştığı için elimizdeki yol buydu. Konuşma tanımayı Gemini'ye taşıyınca bu kural bozuldu: Gemini ara yazıyı seyrek ve geç veriyordu, kelimeler ara yazıdan sayıldığı için asistan ancak misafir sustuktan sonra duruyordu. Bir kayıtta söze giriş 36,34. saniyede başladı, asistan 38,43. saniyede durdu.

Rakiplerin yöntemine geçtik: ses duyulunca duraklat (Vapi 0,2 sn, LiveKit 0,5 sn ses süresiyle), yanlış alarmsa sürdür. Bizim ayarımız:

• 400 ms ses duyulunca asistan duraklıyor (yankı payı için).
• 1,5 saniye içinde anlamlı bir söz gelmezse kaldığı yerden sürüyor.
• Söz yalnız bir onay sesiyse ("evet", "tamam", "hı hı", "aynen", "anladım") yazısı yutuluyor, tur oluşmuyor, asistan devam ediyor.
• "Dur", "hayır" ve içinde başka söz olan her cümle asistanı kesiyor.

Son bir ayrıntı da kulak testinden geldi: "Kesilirken anında kesiliyor, doğal değil." Çerçeve söze girilince sesi bir anda siliyordu. Araya bir kısma halkası koyduk: ses 160 ms'de kısılıyor, ardından 200 ms sessizlik geliyor. Asistan söze girildikten yaklaşık 0,75 saniye sonra sesini kısarak susuyor.

Açılıştaki karşılama cümlesi kesilemiyor, çünkü o cümle asistanın yapay zekâ olduğunu söylüyor. Mobilde bu cümlenin başının kesildiğini de gördük: tarayıcı mikrofon izni sorarken asistan konuşmaya başlıyordu. Karşılama artık misafirin mikrofonu açıldığında başlıyor.

Misafir hiç konuşmazsa ne olacak? Google'ın konuşma tasarımı rehberi ve Dialogflow CX'in sesli ajan rehberi aynı deseni öneriyor: en fazla üç deneme. Bizim merdivenimiz 7 saniye sessizlikten sonra başlıyor: "Beni duyabiliyor musunuz?", sonra botun son sorusunun aynısı, sonra nazik bir veda ve kapanış. Misafir "bir saniye" dediyse sonraki hatırlatma 20 saniye bekliyor.

LiveKit'in yayımladığı Türkçe tur ölçümü (400 tur, 834 duraklama) farklı modellerin erken kesme oranlarını gösteriyor:

Bizim canlıdaki metin tabanlı model bu tabloda yok. Yerel ses tabanlı modele geçip geçmemeye kendi kayıtlarımızla karar vereceğiz. Bunun için modeli yeniden koşturmayan, kayıttaki tahminleri karşılaştıran bir araç yazdık, çünkü modelin lisansı onu çerçevenin dışında tek başına çalıştırmayı yasaklıyor.

• Kesilen turu okuyun. Kesmelerin çoğu gerçek bir sözse sorun algılamada değil, cevap uzunluğundadır.
• Dile özgü eşiği ölçün. Türkçede yarım sözler bitmiş cümle gibi görünebiliyor; olasılıkları günlüğe yazın.
• Her beklemeye süre sınırı koyun. Tur tahmini gibi "kısa sürer" varsayılan adımlar da takılabilir.
• Altyapıyı dışlayın. Saniyelik işlemci ölçümü paylaşımlı sunucudaki çalınmayı gösterir; uyarıların dakika içindeki dağılımına bakın.
• Söze girmeyi sesle, onayı anlamla ayırın. Ses duyunca duraklamak hızlı; onay sesinde sürdürmek doğal.

Türkçe eşik sekiz test aramasının olay dökümünden seçildi; örnek küçük ve ekibin kendi seslerinden oluşuyor. CPU çalınması tek sunucuda ölçüldü. Tur modeli karşılaştırma tablosu LiveKit'in kendi ölçümü, bizim değil. Söze girme ayarları üç test aramasının kayıtlarıyla doğrulandı.