RAG etiketli yazılar

Bu etiketi taşıyan tüm yazılar.

5 yazı

Grafikli laptop, ortada hassas terazi ve kontrol listesi; üstte “Chatbot'un uydurduğunu nasıl ölçtük?” başlığı

Test ve Ölçüm7 dk okuma28 Eylül 2026

Chatbot'un Uydurduğunu Nasıl Ölçtük? Hakem Model, Kalibrasyon ve Gürültü

Bilgi tabanından cevap veren bir chatbot'un uydurup uydurmadığını ölçmek için gerçek cevap hattını test sorularıyla koşturan, kurallı kontrollerin yanında farklı aileden bir hakem model kullanan bir değerlendirme aracı kurduk. İlk öğrendiğimiz, hakemin de yanıldığıydı: 'kaldı' dediği 8 vakanın yalnız 2'si gerçek hataydı, 3'ü hakemin kendi yanlışıydı. Hakemi insan etiketli vakalarla kalibre ettik, sonuçları geçti/kaldı/hata diye ayırdık ve küçük setlerde ±1 vakanın gürültü olduğunu ölçtük. Bu düzenle beş işletme sitesinde 73 vakada 1 gerçek uydurma bulundu.

Yazıyı oku

Test tezgâhında belge yığını, sunucu modülü ve bir çubuğu eksik sıralı liste ekranı; üstte “RAG'de recall %99 iken bot neden eksik cevap verir?” başlığı

Test ve Ölçüm7 dk okuma28 Eylül 2026

RAG'de Recall %99 İken Bot Neden Eksik Cevap Verir?

RAG'de doğru sayfanın ilk 8 sonuçta olması, cevabın doğru olacağı anlamına gelmiyor. Ölçümlerimizde recall %93-100 iken bot bazı soruları eksik cevaplıyordu. Dört sebep çıktı: parçalar o kadar küçüktü ki 3.000 tokenlık bir sayfanın yalnız yedide biri modele gidiyordu; ürün kartlarının %55,8'i birbirinin kopyasıydı ve yanlış fiyatlı kopya seçilebiliyordu; sözcüksel arama Türkçe doğal sorularda neredeyse hiç eşleşmiyordu; blog yazıları kanonik hizmet sayfasının önüne geçiyordu. Her biri recall'un göremediği bir katmandaydı.

Yazıyı oku

Sunucu modülü, sırası değişen sonuç listesi ekranı ve kart kutusu; üstte “Hibrit aramada rerank gerçekten gerekli mi?” başlığı

Test ve Ölçüm7 dk okuma28 Eylül 2026

Rerank Gerçekten Gerekli mi? Hibrit Aramada Ölçtüklerimiz

Rerank, RAG'in en çok önerilen iyileştirmelerinden biri. Bizim ölçümümüzde çok dilli bir rerank modeli 59 test vakasında yalnız 1 vakayı kurtardı ve her yazılı tura 668 ms ekledi; kapattık. Rerank'in yaptığı işin bir kısmı iki mekanik düzeltmeyle geri geldi: aday havuzunu rerank'ten bağımsız 30'da tutmak ve aynı sayfanın kopyalarını ayıklamak. Ardından iki arama kolunu birleştiren RRF yerine skor ölçeğini koruyan kalibre füzyona geçtik; 101 soruda ilk sıra isabeti %81'den %86'ya çıktı. Aynı süreçte küçük setlerde ±1 vakanın gürültü olduğunu ölçtük.

Yazıyı oku

Dağınık kâğıt yığını, belge tarayıcı ve düzenli kart destesi; üstte “Site içeriği bilgi tabanına yapay zekâyla mı girmeli, ham mı?” başlığı

Test ve Ölçüm7 dk okuma28 Eylül 2026

Site İçeriği Bilgi Tabanına Yapay Zekâyla mı Girmeli, Ham mı? Sadakat Kapısı ve Maliyet

Tarayıp çektiğimiz sayfayı chatbot'a olduğu gibi mi vermeli, yoksa bir dil modeline temizletip mi? İki uç da yanlış çıktı. Ham metin, ürün özelliklerinin tek bir hücreye sıkıştığı sayfalarda ve menüsü ayıklanamayan tek sayfalık kaynaklarda kötü; her sayfayı yeniden yazmak ise pahalı ve risksiz değil. Yeniden yazımı bir sadakat kapısından geçiriyoruz: sayılar, olumsuzluklar ve tablo satırları kaybolursa ham metin kalıyor. Kapının üç yanlış alarmını düzeltince uygulanan yeniden yazım 4 sayfada 1'den 4'e çıktı, maliyet %59 düştü. Sayfa başı maliyet tahminimiz ise ilk ölçümde 3 kat düşük çıktı.

Yazıyı oku

Test tezgâhında ağ anahtarı, web sayfası taslağı açık laptop ve uyarı işaretli çıktılar üstünde büyüteç; üstte “12 sessiz hata” başlığı

Test ve Ölçüm8 dk okuma28 Eylül 2026

Web Sitesinden Bilgi Tabanı Kurarken Karşılaştığımız 12 Sessiz Hata

Bir web sitesini tarayıp chatbot'a bilgi tabanı kurmak basit görünür: sayfaları çek, metni ayıkla, parçala, vektöre çevir. Bu hattı yüzlerce sayfalık gerçek sitelerde çalıştırırken karşılaştığımız hataların ortak özelliği hiçbirinin hata mesajı üretmemesiydi. Sitemap gerçek sayfaların bir kısmını atlıyordu, bir yönlendirme başka bir sitenin kullanım şartlarını bilgi tabanına soktu, yeniden senkron içeriği ikiye katlıyordu, bir hata döngüsü 12 saatte 90 bin parçayı yeniden gömdü. Bu yazı her hatanın nasıl bulunduğunu ve kendi hattınızda nasıl önleyebileceğinizi anlatıyor.

Yazıyı oku

Tüm yazılara dön