Yapay zekâ yanıtları neden her sorduğumda değişiyor?
Kısa yanıt: Modeller olasılıksaldır ve getirme çalıştırmadan çalıştırmaya değişir; dolayısıyla tek bir istem farklı listeler verebilir. Tek bir yanıtla değil, tekrarlanan örneklemlerle ölçün.
Çünkü modeller olasılıksaldır ve getirme adımı sabit değildir. ChatGPT'ye "best wedding photographer in Cardiff" diye üç kez sorun; örtüşen ama farklı üç liste alabilirsiniz. Bu normaldir ve elle yapılan nokta kontrollerinin yanıltmasının en büyük tek nedenidir.
Değişkenliğe üç mekanizma yol açar:
- Örnekleme. Bir dil modeli her kelimeyi bir olasılık dağılımından seçer. Düşük "sıcaklık" ayarlarında bile yanıtın başındaki küçük farklar sonunda farklı bir isim kümesine dönüşür.
- Getirme. Yanıtlamadan önce web'de arama yapan motorlar (arama özellikli ChatGPT, Gemini, Perplexity, AI Overviews) her seferinde biraz farklı sorgular çalıştırır ve biraz farklı sayfalar alır. Sayfanız getirilenlerin sınırındaysa bazı çalıştırmalarda görünür, bazılarında görünmezsiniz.
- Konum ve oturum. Tüketici uygulamaları kişiselleştirme, bellek ve konum ekler. Farklı kasabalardaki iki kişi ya da farklı günlerdeki aynı kişi farklı yanıtlar görür.
Ölçüm açısından sonuç, "anıldık" ya da "anılmadık"ın yanlış birim olmasıdır. Doğru birim, anıldığınız çalıştırmaların oranıdır. Bu hafta üç örneklemin ikisinde, gelecek hafta üçünün üçünde anılmak ilerlemedir; tek bir elle kontrolde bir kez anılmak size hiçbir şey söylemez.
Seoptist her istemi her hafta motor başına üç kez (Enterprise'da beş) çalıştırır, sonuçların ortalamasını alır ve gerçek bir kaymayı gürültüden ayırt edebilmeniz için görünürlük çizgisinin etrafında bir güven bandı gösterir. Aynı istem, motor ve konum için 24 saat içinde tekrarlanan çalıştırmalar yeniden sorulmak yerine önbelleğe alınır; bu, önemli olan değişkenliği gizlemeden maliyeti düşük tutar.
Elle takip ediyorsanız en az üç kez, yeni bir oturumda sorun ve üçünü de kaydedin.