Site İçeriği Bilgi Tabanına Yapay Zekâyla mı Girmeli, Ham mı? Sadakat Kapısı ve Maliyet

Dört farklı sayfa şekli seçtik: bir ürün sayfası (teknik özellik tablosu), bir iade politikası sayfası, bir emlak ilanı listesi ve bir bilgi yazısı.

Ham metnin kalitesi sayfadan sayfaya uçurum kadar değişti. Ürün sayfasında bütün teknik özellikler yapılandırılmış verinin tek bir hücresinde düz yazı olarak duruyordu ("Çalışma gerilimi : +5 V DC . Tavsiye edilen besleme gerilimi : 7 - 12 V DC. …"), araya "3.9", "İndirim Oranı", ":" gibi kopuk satırlar karışmıştı. Politika sayfasında asıl metin temizdi ama başında menü, sonunda yaklaşık 100 satır kategori listesi, altbilgi ve çerez uyarısı vardı.

Tek sayfaya bakmak ise ham metni haksız yere kötü gösteriyor. Çok sayfalı taramada menüyü istatistiksel olarak ayıklayan adım (ayrıntı) aynı sitenin dört sayfasında atılacak satırları buldu: ürün sayfasında %2, politika sayfasında %52, kategori sayfasında %1, bir başka ürün sayfasında %73. Menü gürültüsü asıl olarak tek adresli kaynaklarda ve yüklenen dosyalarda kalıyor, çünkü orada karşılaştıracak başka sayfa yok.

Yeniden yazım bir sadakat kapısından geçiyor. Kapı modelin çıktısını kaynakla karşılaştırıyor: sayılar korunmuş mu, olumsuzluklar ("iade edilmez", "hariç") yerinde mi, tablo satırları kaybolmuş mu, çıktı kaynağa göre fazla kısalmış mı? Kapıdan geçemeyen yeniden yazım atılıyor ve ham metin kalıyor.

İlk ölçümde dört sayfanın yalnız birinde yeniden yazım kabul edildi. Diğer üçünde modele para ödenmiş, ham metin kalmıştı. Retlerin gerekçelerini tek tek okuyunca üçünün de yanlış alarm olduğu çıktı:

1. "Hariç" kelimesi. Kaynak: "…iade kabul edilmez (ayıplı ürünler hariç)." Çıktı: "…iade kabul edilmez. Ayıplı ürünler bu koşulun dışındadır." Anlam ve yön aynı. Kapı olumsuzluk kelimelerini birebir karşılaştırdığı için "hariç" düşünce reddetti. Bir başka sayfa %100 sadakat puanıyla aynı gerekçeyle düşmüştü.
2. Kendi ürettiğimiz tablo. Kapı "tablo satırı kayboldu" diyordu. Kaybolan satır sayfanın tablosu değil, bizim yapılandırılmış veriden ürettiğimiz özet satırıydı; model yalnız başlığın sonundaki site adını atmıştı.
3. Telif yılı. Bir düzeltmeden sonra aynı sayfa bu kez "sayısal bilgi kaybı: 2024" ile düştü. Kaynaktaki "© 2024" dört haneli olduğu için olgu sayılıyordu. Model altbilgiyi doğru olarak atınca kapı, temizlemesi için para ödediğimiz gürültüyü koruyordu.

Olumsuzluk artık kelimeyle değil sınıfla karşılaştırılıyor ("hariç", "dışında", "değil" aynı sınıfta). Yön yine korunuyor: kaynakta olmayan bir olumsuzluk çıktıda belirirse kapı kapanıyor. Kendi ürettiğimiz blok kapının tablo kontrolüne girmiyor; telif iminin yanındaki yıl anlamlı sayılmıyor.

Daha önce aynı kapıda üç yanlış alarm daha yakalamıştık: bir tarih ("31.12.2027") sayı gibi birleştirilip "31122027" oluyordu ve bu yüzden sayfaların %21'i boşuna reddediliyordu; boşluklu sayılar ("50 40 30 20 10") yapışıyordu; Türkçe ek farkı ("köpeğim" / "köpeğin") bozulma sanılıyordu. Başka bir sitede kapı ilk geçişte 45 sayfanın 41'ini reddetmişti, çünkü olumsuzluk taşıyan her satırın birebir aynı kalmasını istiyordu. Yeniden yazmanın tanımı satırı yeniden akıtmaktır.

Ölçümün vardığı yer iki ucun da yanlış olduğuydu.

• "Yapay zekâ olmadan aktar" yanlış. Kart alanları (ürün adı, fiyat, görsel), arama için kullanılan özet metin (özet, kalem adları, sayfanın cevapladığı sorular) ve konu etiketi aynı model çağrısından geliyor. İlan listesi ham hâlde 0, yapay zekâ ile 6 kart üretti.
• "Her sayfayı baştan yaz" da yanlış. Kalem tanıtan sayfalarda (ürün, ilan) ham metin yeterli; yeniden yazım kart sayısını artırmıyor.

Varsayılan kademe sayfaya göre karar veriyor: önce yalnız kart ve etiket çıkaran ucuz bir çağrı, kalem tanıtmayan sayfalarda (politika, bilgi) tam yeniden yazım. Kapı düzeltmesiyle birlikte aynı dört sayfada:

Kapı gevşedi diye uydurma riski artmadı mı? Bunu ayrıca ölçtük. Depodaki 40 vakalık hakemli bir karşılaştırmada tam yeniden yazılmış bilgi tabanı, yalnız kart çıkarılmış olana göre daha dayanaklı cevap verdi: 40'ta 31'e karşı 27. Kayıp, kalem tanıtmayan sayfalarda toplanıyordu; yeni kademenin kuralı da tam olarak bu.

Önbellek kararı taşıyordu. Yeniden yazımlar önbelleğe alınıyor; aynı sayfa ikinci kez taranınca modele gidilmiyor. Önbellekte çıktıyla birlikte kapının o günkü kararı da saklanıyordu. Kapıyı düzelttik ama ikinci taramada 50 sayfanın hepsi eski kararla döndü; düzeltme canlıya hiç ulaşmamıştı. Artık önbellek yalnız çıktıyı taşıyor ve karar her seferinde kaynak metne karşı yeniden veriliyor. Reddedilen çıktı da önbelleğe yazılıyor; böylece kapı değişince para ödemeden yeniden yargılanabiliyor.

Yeniden yazım kapanmıştı. Bir kod değişikliğinden sonra yeniden yazımın kapısı "seçenek açıkça verilmediyse çalışma" diye kalmıştı ve hiçbir yer bu seçeneği vermiyordu. Her yeni sitede yeniden yazım ve ürün kartları sessizce kaybolacaktı. Bir test taramasında fark edildi.

Sayfa başı maliyeti önce ince içerikli bir danışmanlık sitesinden tahmin etmiştik: 0,0017 dolar. Ürün kataloğu olan bir sitede ölçünce 0,00489 dolar çıktı. Katalog sayfası özellik dolu: ortalama 5.292 giriş ve 3.252 çıkış token'ı.

Maliyetin %79'u çıkış token'larındaydı, çünkü modelden sayfayı yeniden yazmasını istiyorduk ve çıkış token'ı girişten 6 kat pahalı. Yalnız etiket ve kart çıkaran çağrı sayfa başına 0,00136 dolar (%73 daha ucuz). Sayfaya göre kademe kararının maliyet tarafı buydu.

Başka bir sitede fark daha büyük çıktı: beklenen 0,10 dolar yerine 0,48 dolar. Sebep modelin düşünme token'larıydı: 62 çağrı 497 bin giriş ve 218 bin çıkış token'ı üretti. Bu hızda sayfa başı yaklaşık 0,007 dolar ediyordu. Önceki tahmin yalnız embedding maliyetini sayıyordu.

Bu maliyet tek seferlik. Yeniden taramada değişmeyen sayfalar önbellekten geliyor; 372 sayfalık bir yeniden koşuda 274 sayfa (%74) modele hiç gitmedi.

Yeniden yazım kartları da üretiyor, ve bir kart her zaman kart olmamalı. Dolphy'nin kendi sitesinde "Tidio'dan farkınız ne?" sorusunun altına Dolphy, Tidio ve Chatwoot kartları çıktı: karşılaştırma blog yazılarındaki rakip ürünler kalem sayılmıştı. "Kart olmayanlar" kuralları (blog yazısı, işletmenin kendi adı, başka firmanın ürünü, kategori ve marka dizini) yalnız tam yeniden yazım promptundaydı; varsayılan kademe önce kart promptunu koşuyordu ve orada yoktu. Kurallar ortak bir listeye taşındı. Dolphy sitesinde kart sayısı 89'dan 28'e, blog kartı 51'den 0'a indi; mağaza sitesindeki 24 ürün kartı aynen kaldı.

• Yeniden yazımı bir kapıdan geçirin. Sayı, olumsuzluk ve tablo satırı korunmuyorsa ham metin kalsın.
• Kapının reddini okuyun. İlk sürüm kapılar genellikle yanlış alarm verir; her ret para ödenmiş bir çıktıdır.
• Önbellekte karar değil çıktı saklayın. Aksi hâlde kapı düzeltmesi hiç uygulanmaz.
• Sayfaya göre kademe seçin. Kalem tanıtan sayfa ile politika sayfası aynı işlemi gerektirmez.
• Maliyeti gerçek katalogla ölçün. İnce sayfalardan yapılan tahmin, özellik dolu sayfalarda kat kat düşük kalır; düşünme token'larını da sayın.

Kapı düzeltmesinin ilk ölçümü dört sayfayla yapıldı; yön gösterir, oran değildir. Dayanaklılık karşılaştırması 40 vakalık tek bir setten geliyor. Maliyetler ölçüm tarihindeki model fiyatlarıyla hesaplandı ve kullanılan modele göre değişir.