Warum ändern sich KI-Antworten bei jeder Anfrage?
Kurze Antwort: Modelle sind probabilistisch und der Abruf variiert von Lauf zu Lauf, sodass ein Prompt unterschiedliche Listen liefern kann. Messen Sie mit wiederholten Stichproben, nicht mit einer einzelnen Antwort.
Weil die Modelle probabilistisch sind und der Abrufschritt nicht festgelegt ist. Fragen Sie ChatGPT dreimal nach „best wedding photographer in Cardiff", und Sie bekommen womöglich drei sich überschneidende, aber unterschiedliche Listen. Das ist normal, und es ist der größte Einzelgrund, warum manuelle Stichproben in die Irre führen.
Drei Mechanismen verursachen die Schwankung:
- Sampling. Ein Sprachmodell wählt jedes Wort aus einer Wahrscheinlichkeitsverteilung. Selbst bei niedrigen „Temperature"-Einstellungen führen kleine Unterschiede früh in der Antwort am Ende zu einer anderen Menge an Namen.
- Abruf. Engines, die vor dem Antworten das Web durchsuchen (ChatGPT mit Suche, Gemini, Perplexity, AI Overviews), führen jedes Mal leicht unterschiedliche Suchanfragen aus und erhalten leicht unterschiedliche Seiten. Liegt Ihre Seite am Rand dessen, was abgerufen wird, erscheinen Sie in manchen Läufen und in anderen nicht.
- Standort und Sitzung. Verbraucher-Apps fügen Personalisierung, Gedächtnis und Standort hinzu. Zwei Personen in verschiedenen Städten, oder dieselbe Person an verschiedenen Tagen, sehen unterschiedliche Antworten.
Die Konsequenz für die Messung ist, dass „wir wurden erwähnt" oder „wir wurden nicht erwähnt" die falsche Einheit ist. Die richtige Einheit ist der Anteil der Läufe, in denen Sie erwähnt werden. In dieser Woche in zwei von drei Stichproben und in der nächsten in drei von drei genannt zu werden, ist Fortschritt; einmal in einer einzelnen manuellen Prüfung genannt zu werden, sagt Ihnen nichts.
Seoptist führt jeden Prompt jede Woche dreimal pro Engine aus (fünfmal auf Enterprise), mittelt die Ergebnisse und zeigt ein Konfidenzband um die Sichtbarkeitslinie, damit Sie eine echte Verschiebung von Rauschen unterscheiden können. Wiederholte Läufe innerhalb von 24 Stunden für denselben Prompt, dieselbe Engine und denselben Standort werden zwischengespeichert statt erneut gestellt, was die Kosten senkt, ohne die relevante Schwankung zu verbergen.
Wenn Sie manuell verfolgen, fragen Sie mindestens dreimal, in einer neuen Sitzung, und notieren Sie alle drei Antworten.