İçeriğe geç
Dolphy

Bilgi Tabanı etiketli yazılar

Bu etiketi taşıyan tüm yazılar.

4 yazı

Test tezgâhında belge yığını, sunucu modülü ve bir çubuğu eksik sıralı liste ekranı; üstte “RAG'de recall %99 iken bot neden eksik cevap verir?” başlığı
Test ve Ölçüm7 dk okuma

RAG'de Recall %99 İken Bot Neden Eksik Cevap Verir?

RAG'de doğru sayfanın ilk 8 sonuçta olması, cevabın doğru olacağı anlamına gelmiyor. Ölçümlerimizde recall %93-100 iken bot bazı soruları eksik cevaplıyordu. Dört sebep çıktı: parçalar o kadar küçüktü ki 3.000 tokenlık bir sayfanın yalnız yedide biri modele gidiyordu; ürün kartlarının %55,8'i birbirinin kopyasıydı ve yanlış fiyatlı kopya seçilebiliyordu; sözcüksel arama Türkçe doğal sorularda neredeyse hiç eşleşmiyordu; blog yazıları kanonik hizmet sayfasının önüne geçiyordu. Her biri recall'un göremediği bir katmandaydı.

Yazıyı oku
Sunucu modülü, sırası değişen sonuç listesi ekranı ve kart kutusu; üstte “Hibrit aramada rerank gerçekten gerekli mi?” başlığı
Test ve Ölçüm7 dk okuma

Rerank Gerçekten Gerekli mi? Hibrit Aramada Ölçtüklerimiz

Rerank, RAG'in en çok önerilen iyileştirmelerinden biri. Bizim ölçümümüzde çok dilli bir rerank modeli 59 test vakasında yalnız 1 vakayı kurtardı ve her yazılı tura 668 ms ekledi; kapattık. Rerank'in yaptığı işin bir kısmı iki mekanik düzeltmeyle geri geldi: aday havuzunu rerank'ten bağımsız 30'da tutmak ve aynı sayfanın kopyalarını ayıklamak. Ardından iki arama kolunu birleştiren RRF yerine skor ölçeğini koruyan kalibre füzyona geçtik; 101 soruda ilk sıra isabeti %81'den %86'ya çıktı. Aynı süreçte küçük setlerde ±1 vakanın gürültü olduğunu ölçtük.

Yazıyı oku
Dağınık kâğıt yığını, belge tarayıcı ve düzenli kart destesi; üstte “Site içeriği bilgi tabanına yapay zekâyla mı girmeli, ham mı?” başlığı
Test ve Ölçüm7 dk okuma

Site İçeriği Bilgi Tabanına Yapay Zekâyla mı Girmeli, Ham mı? Sadakat Kapısı ve Maliyet

Tarayıp çektiğimiz sayfayı chatbot'a olduğu gibi mi vermeli, yoksa bir dil modeline temizletip mi? İki uç da yanlış çıktı. Ham metin, ürün özelliklerinin tek bir hücreye sıkıştığı sayfalarda ve menüsü ayıklanamayan tek sayfalık kaynaklarda kötü; her sayfayı yeniden yazmak ise pahalı ve risksiz değil. Yeniden yazımı bir sadakat kapısından geçiriyoruz: sayılar, olumsuzluklar ve tablo satırları kaybolursa ham metin kalıyor. Kapının üç yanlış alarmını düzeltince uygulanan yeniden yazım 4 sayfada 1'den 4'e çıktı, maliyet %59 düştü. Sayfa başı maliyet tahminimiz ise ilk ölçümde 3 kat düşük çıktı.

Yazıyı oku
Test tezgâhında ağ anahtarı, web sayfası taslağı açık laptop ve uyarı işaretli çıktılar üstünde büyüteç; üstte “12 sessiz hata” başlığı
Test ve Ölçüm8 dk okuma

Web Sitesinden Bilgi Tabanı Kurarken Karşılaştığımız 12 Sessiz Hata

Bir web sitesini tarayıp chatbot'a bilgi tabanı kurmak basit görünür: sayfaları çek, metni ayıkla, parçala, vektöre çevir. Bu hattı yüzlerce sayfalık gerçek sitelerde çalıştırırken karşılaştığımız hataların ortak özelliği hiçbirinin hata mesajı üretmemesiydi. Sitemap gerçek sayfaların bir kısmını atlıyordu, bir yönlendirme başka bir sitenin kullanım şartlarını bilgi tabanına soktu, yeniden senkron içeriği ikiye katlıyordu, bir hata döngüsü 12 saatte 90 bin parçayı yeniden gömdü. Bu yazı her hatanın nasıl bulunduğunu ve kendi hattınızda nasıl önleyebileceğinizi anlatıyor.

Yazıyı oku
Tüm yazılara dön

Ölçüm ve reklam çerezlerine izin verir misiniz? Ayrıntı