Methodik · Beta
AI-Narrative-Methodik
Wie Searchestra die AI-Narrative-Karte erstellt: Extraktion von Behauptungen mit wörtlichen Belegen, Cluster je Plattform, Konsens, Rollen, Veränderungsarten, Ziellücken, Schwellenwerte und Grenzen.
Genauigkeitsversprechen
AI Narrative zeigt, wie die KI-Antworten, die Searchestra für ein Prompt-Universum sammelt, eine Marke in einem Scan beschrieben haben: die Eigenschaften, die sie ihr zuschreiben, die Bedürfnisse, für die sie empfohlen wird, wozu sie als Alternative gilt und was sich seit dem letzten Scan geändert hat. Beschrieben werden diese Antworten. Es ist kein Maß dafür, was Menschen oder „die KI“ allgemein über die Marke denken.
- Jede Aussage auf der Karte beruht auf Behauptungen, die durch ein wörtliches Zitat aus einer gesammelten Antwort belegt sind. Die Belegansicht zeigt Zitat, Prompt, Plattform und Datum.
- Zahlen werden je Plattform geführt. Antworten einer Plattform werden nie mit denen einer anderen zusammengelegt, sodass eine Plattform mit längeren oder mehr Antworten das Ergebnis nicht dominiert.
- Erwähnungen und Empfehlungsstärke werden nicht neu gemessen: Die Karte liest dieselben Werte wie die Sichtbarkeits- und Persuasion-Ansichten; die Zahlen stimmen überein.
- Zusammenfassungssätze sind Vorlagen, die mit diesen Zahlen gefüllt werden. In dieser Version schreibt kein Sprachmodell Text, der auf der Karte erscheint.
Ablauf
- Erhebung. Jeder Scan sammelt eine Antwort je Prompt und Plattform.
- Extraktion (L1). Antworten, die eine beobachtete Marke nennen, werden einmal mit der Liste der beobachteten Marken an ein Extraktionsmodell gesendet. Das Modell schlägt Behauptungen vor: Art, betroffene Marke, kanonischer englischer Schlüssel (z. B.
durable), Polarität und ein wörtliches Zitat. Eine Antwort wird nur erneut verarbeitet, wenn sich ihr Text, die Extraktionsmethode oder die Markenliste ändert. - Prüfung. Jede vorgeschlagene Behauptung wird im Code geprüft (nächster Abschnitt). Nur bestandene Behauptungen werden zu Belegen.
- Cluster (L2). Gültige Behauptungen mit gleicher Art, gleichem Schlüssel und gleicher Bedingung bilden einen Cluster. Cluster werden je Plattform gezählt und dann plattformübergreifend verglichen.
- Karte. Die Karte verbindet die Cluster mit den vorhandenen Erwähnungs- und Persuasion-Werten, bestimmt Status und Rolle nach festen Regeln und speichert das Ergebnis als unveränderliche Momentaufnahme.
Behauptungen und Belege
Arten: attribute, recommended_for, not_recommended_for, audience, comparison, alternative_to und fact. Vergleichs- und Alternativbehauptungen werden gespeichert, fließen aber noch nicht in Karte, Rolle, Lücken oder Veränderung ein: In der ersten Qualitätsprüfung erreichten sie die Präzisionsschwelle nicht. Eine vorgeschlagene Behauptung wird verworfen, wenn:
- das Zitat nicht im Antworttext steht (
quote_not_found); - die Marke nicht beobachtet wird (
unknown_entity) oder der Beleg ihr nicht zugeordnet werden kann (entity_not_linked, geht in die Prüfung). Eine Aussage gehört zu einer Marke, wenn die Marke im Zitat, im Satz davor oder in der Überschrift des Abschnitts genannt wird, unter dem sie steht. Eine Überschrift zählt nur, wenn sie allein diese Marke nennt: Kategorieüberschriften und Aufzählungen ("Baumärkte (Marke A, Marke B)") zählen nicht, und eine andere beobachtete Marke dazwischen unterbricht die Zuordnung; - Art oder Schlüssel ungültig sind (
invalid_kind,invalid_key) oder ein Vergleich die Marke mit sich selbst vergleicht (self_comparison).
Zweite Lesung (L1). Behauptungen, die diese Prüfungen bestehen, liest ein Prüfmodell zusammen mit der ganzen Antwort ein zweites Mal. Eine Behauptung bleibt nur auf der Karte, wenn die Antwort sie über diese Marke sagt. Sie geht in die Prüfung, wenn die Marke nur als Gegensatz außerhalb der Gruppe genannt wird, um die es in der Aussage geht (verifier_group), wenn eine Empfehlung nur ein Vorgehenstipp ist, der die Marke als Ort oder Quelle nennt, wie „zuerst eine Ausstellung ansehen“, oder ein Angebot, später Marken vorzuschlagen (verifier_process), oder wenn die Antwort sie nicht sagt (verifier_unsupported). Letzteres umfasst auch einen Schlüssel oder eine Bedingung, die das Zitat nicht stützt, ein Zitat, das nur ein Link oder eine Quelle ist, und eine Aussage über einen Dritten. Eine Aussage über eine Gruppe genannter Marken („Marken wie A und B sind Premium“) oder über einen Produkttyp, für den die Marke als Beispiel genannt wird („fertige Modulküchen wie A oder B sind am günstigsten“), gilt für jede genannte Marke. Schlägt die zweite Lesung fehl, wird die Antwort erneut versucht; ungeprüfte Behauptungen gelangen nie auf die Karte.
Eingeschränkte Aussagen („kann sein“, „manche Nutzer sagen“) werden mit Einschränkung geführt; später in derselben Antwort widerlegte Aussagen werden markiert. Jede Antwort hat einen Verarbeitungsstatus: verarbeitet, keine Behauptungen, fehlgeschlagen oder ausstehend. Die Abdeckungszeile der Karte zeigt diese Zahlen.
Cluster und Plattformen
Ein Cluster wird von einer Plattform getragen, wenn er in mindestens 10 % der verarbeiteten Antworten mit Markennennung und in mindestens 2 Antworten vorkommt. Nur Plattformen mit genug Material im Scan sind geeignet; die übrigen werden mit zu wenigen Daten aufgeführt.
Die Konsensansicht zählt für jeden Cluster, wie viele geeignete Plattformen ihn tragen. Sind einige tragende Plattformen überwiegend positiv und andere überwiegend negativ, wird der Cluster als uneinig markiert und nie in eine Richtung zusammengefasst. Ein Cluster braucht mindestens 3 Antworten, um angezeigt zu werden.
Kartenstatus
- Bereit: genug verarbeitete Antworten mit Markennennung (mindestens 10).
- Begrenzt: weniger als 10; mit Hinweis angezeigt.
- Selten erwähnt: die Marke erscheint in weniger als 5 % der beantworteten Prompts. Es wird keine Darstellung erstellt; die Wettbewerbsansicht zeigt, wer die Kategorie trägt.
- In Verarbeitung / fehlgeschlagen: mehr als 1 % der Antworten mit Markennennung stehen aus oder sind fehlgeschlagen.
- Nicht gemessen / nicht verfügbar: nichts gesammelt oder für diesen Scan keine Extraktion.
Rollen
Die Rolle wird durch nacheinander angewandte Regeln bestimmt; die erste zutreffende Regel entscheidet, und die Karte zeigt Regel und Fakten. Empfehlungswerte sind die Persuasion-Werte desselben Scans.
- Selten erwähnt: Erwähnungsrate unter 5 %.
- Nicht eingeordnet: weniger als 10 auf Empfehlung bewertete Antworten.
- Standardwahl: in mindestens 50 % der bewerteten Antworten stark empfohlen und in mindestens 40 % primär.
- Preiswerte Option / Premium-Alternative: ein Preis-Leistungs- oder Premium-Cluster wird von mindestens 2 geeigneten Plattformen getragen (1, wenn nur eine geeignet ist).
- Spezialist: mindestens die Hälfte der Empfehlungsbehauptungen zielt auf ein Bedürfnis, getragen wie oben.
- Randständig: stark empfohlen in weniger als 20 % und primär in weniger als 15 %.
- Sonst nicht eingeordnet. Bei unzureichenden Belegen wird keine Rolle geraten.
Veränderung seit dem letzten Scan
Zwei Scans werden nur über Prompt-Plattform-Paare verglichen, die mit derselben Prompt-Revision gestellt wurden. Paare mit bearbeitetem Prompt werden ausgeschlossen und gezählt; Paare aus der Zeit vor der Revisionserfassung gelten als nicht überprüfbar. Ein Cluster gilt als verändert, wenn sich sein Anteil um mindestens 10 Punkte ändert und er mindestens 3 Antworten hat. Jede Veränderung hat eine Art:
- Beobachtete Veränderung: vergleichbare Paare, gleiche Methode.
- Modell oder Erhebung geändert: die Modellversion der Plattform hat sich zwischen den Scans geändert.
- Prompts bearbeitet, Methode geändert (andere Extraktionsmethode oder anderes Extraktionsmodell; keine Vergleiche), Vergleichbarkeit unbekannt (keine Revisionen erfasst) und kein vorheriger Scan.
Gewünschte Positionierung und Lücken
Eine Marke kann je Markt ein Zielset freigeben: Eigenschaften, die Antworten mit der Marke verbinden sollen, und solche, die vermieden werden sollen. Sets sind versioniert; ein freigegebenes Set ändert sich nie, Bearbeitungen erzeugen eine neue Version mit Gültigkeitsdatum, und jeder Scan wird mit der an seinem Tag gültigen Version gelesen.
Jedes Ziel ist übereinstimmend (mit gewünschter Polarität getragen), schwach (gesehen, nicht getragen), widersprochen (der Gegencluster wird getragen, z. B. expensive gegen affordable) oder nicht beobachtet. Widersprochene und nicht beobachtete Ziele erzeugen eine Maßnahme im Action Center mit Beleglink.
Schwellenwerte
| Wert | Schwelle |
|---|---|
| Auf einer Plattform getragen | ≥ 10 % der verarbeiteten Antworten mit Nennung und ≥ 2 Antworten |
| Cluster angezeigt | ≥ 3 Antworten |
| Uneinig | auf einer Plattform positiv, auf einer anderen negativ getragen |
| Gemischte Polarität im Cluster | Minderheitspolarität ≥ 30 % |
| Karte bereit | ≥ 10 verarbeitete Antworten mit Markennennung |
| Selten erwähnt | Erwähnungsrate < 5 % |
| In Verarbeitung oder fehlgeschlagen | > 1 % ausstehend oder fehlgeschlagen |
| Gemeldete Veränderung | Anteilsänderung ≥ 10 Punkte, ≥ 3 Antworten |
Modelle und Kosten
Extraktionsmodell und Konfiguration werden bei jeder verarbeiteten Antwort gespeichert; die Methodenzeile der Karte zeigt die verwendete Version. Eine Änderung von Modell oder Anweisung ist eine Methodenänderung und wird so gezeigt. Markt-, Marken- und Organisationsansichten geben jedem geeigneten Universum (oder Markt) eine Stimme; der antwortgewichtete Anteil steht nur zum Vergleich daneben.
Die Funktion ist in einer geschlossenen Beta. Die Extraktion läuft nur für Organisationen, die teilnehmen.
Grenzen
- Die Karte beschreibt eine Stichprobe: die Prompts im Universum, die erhobenen Plattformen und den Scantag.
- Ein Zitat belegt, dass eine Antwort etwas gesagt hat, nicht dass es stimmt. Sachliche Fehler werden separat in den Portrayal-Befunden verfolgt.
- Kanonische Schlüssel können eine Idee in nahe Synonyme aufteilen (z. B.
luxuryundpremium_brand); sie erscheinen als getrennte Cluster. - Neben der Darstellung gezeigte Zitationen sind Websites, die in denselben Antworten zitiert wurden. Sie hängen mit der Darstellung zusammen, ihre Ursächlichkeit ist nicht belegt.
- Antworten aus der Zeit vor der Revisionserfassung lassen sich nicht sicher vergleichen.
