Agenturen: Zehn Schritte, um Positionen von LLMs belastbar nachzuweisen
Agenturen: Zehn Schritte, um Positionen von LLMs belastbar nachzuweisen
LLM-Positionen lassen sich nicht wie klassische Google-Rankings messen, aber mit systematischem Prompt-Sampling und dokumentierten QA-Belegen durchaus belastbar annähern. Die relevanten Kennzahlen sind Citation Rate, AI Answer Rate und Share of Voice, gemessen über wiederholte Stichproben in mehreren Modellen. Der erste Schritt ist ein Baseline-Sampling mit 20 bis 30 Prompts. Wer schneller starten will, nutzt einen Gratis-Check als Einstieg.
Kurz gesagt:
- LLM-Tracking basiert auf wiederholtem Prompt-Sampling und dokumentierten Belegen, nicht auf festen Rankings wie bei Google.
- Kernkennzahlen sind die Zitierhäufigkeit, die primäre Empfehlungsposition, die Quellenherkunft, die Fehlerrate durch Halluzinationen sowie der Anteil an Nennungen im Vergleich zur Kategorie.
- Manuelle Tests, automatisierte Abfragen und Analytics-Daten ergänzen sich, um zuverlässige Trends und Muster über mehrere Wochen zu erfassen.
- Eine stabile Basis erfordert mindestens 20 bis 30 Prompts, regelmäßig dokumentierte Screenshots und eine klare Methodik.
- Agenturen sollten frühzeitig LLM-Tracking als Nachweis für Sichtbarkeit anbieten, um Wettbewerbsvorteile im neuen KI-Marketingumfeld zu sichern.
Inhaltsverzeichnis
- Was unterscheidet LLM-Tracking vom klassischen SEO-Ranking?
- Welche Kennzahlen sollten Sie beim LLM-Tracking erfassen?
- Wie tracken Sie LLM-Positionen in der Praxis?
- Wie bauen Sie einen Agentur-Workflow für LLM-Tracking auf?
- Wie schaffen Agenturen Glaubwürdigkeit beim LLM-Tracking?
- Die ersten zehn Schritte für Ihr LLM-Tracking
- Warum Agenturen LLM-Tracking jetzt anbieten sollten
- So starten Sie mit growResonance in Ihr LLM-Tracking
- Quellen
- FAQ
Was unterscheidet LLM-Tracking vom klassischen SEO-Ranking?
Ein SEO-Tool zeigt Ihnen Position 3 für ein Keyword, reproduzierbar, jeden Tag messbar. Bei ChatGPT, Claude oder Perplexity gibt es diese Eindeutigkeit nicht. Ein Modell generiert eine Antwort auf Basis von Wahrscheinlichkeiten, nicht auf Basis eines festen Index. Fragen Sie dieselbe Frage zweimal, bekommen Sie oft zwei unterschiedliche Antworten mit unterschiedlichen Markennennungen.
Der Begriff „Position“ bei LLMs ist eine Analogie, keine exakte Messung wie bei der Google-Suche. Trotzdem lohnt sich die Beobachtung, denn Muster entstehen über viele Wiederholungen.
Drei Faktoren bestimmen, wie gut sich eine Marke in LLM-Antworten wiederfindet:
- Grounding und Live-Retrieval: Modelle mit Websuche wie Perplexity oder die Suchfunktion in ChatGPT greifen auf aktuelle Webdaten zurück, was Ihre Sichtbarkeit direkt beeinflussbar macht. Ohne Grounding stützt sich ein Modell nur auf Trainingsdaten, die Monate alt sein können.
- Der Zero-Black-Effekt: Eine Empfehlung in einer KI-Antwort erzeugt oft keinen einzigen Klick auf Ihre Website, wirkt aber trotzdem auf die Markenwahrnehmung des Nutzers.
- Modellvarianz: ChatGPT, Claude und Google AI Overviews ziehen unterschiedliche Quellen heran und gewichten sie anders.
Wer das verstanden hat, misst nicht mehr nach dem alten Ranking-Denken, sondern nach Häufigkeiten und Mustern über Zeit.
Welche Kennzahlen sollten Sie beim LLM-Tracking erfassen?
Fünf Kennzahlen bilden das Rückgrat jedes seriösen Trackings von LLM-Positionen. Ohne sie bleibt jede Aussage zur KI-Sichtbarkeit reine Behauptung.
- Citation Rate: der Anteil der getesteten Prompts, in denen Ihre Domain oder Marke überhaupt genannt wird. Eine Citation Rate bedeutet den Anteil der getesteten Prompts, in denen Ihre Domain oder Marke genannt wird, zum Beispiel: In vielen Fällen taucht Ihre Marke auf, in anderen nicht.
- AI Answer Rate und Position: Wie oft stehen Sie als primäre Empfehlung da, verglichen mit einer Nennung als zweite oder dritte Option irgendwo im Antworttext.
- Source-Origin Breakdown: Woher zieht das Modell seine Information, von Ihrer eigenen Domain oder von Drittquellen wie Bewertungsportalen, Wikipedia oder Fachmedien? Das entscheidet, wo Sie ansetzen müssen.
- Halluzinations- und Fakten-Drift-Flags: Nennt das Modell falsche Preise, veraltete Adressen oder erfundene Produktmerkmale? Diese Flags sind für Agenturen oft der überzeugendste Beleg für Handlungsbedarf.
- Share of Voice: Ihr Anteil an Nennungen im Vergleich zur Kategorie insgesamt, ergänzt durch eine Sentimentbewertung der Nennung.
Profi-Tipp: Führen Sie Source-Origin und Halluzinations-Flags immer gemeinsam. Eine hohe Citation Rate mit falschen Fakten ist kein Erfolg, sondern ein Risiko für den Kunden.
Die wichtigsten Kern-KPIs für LLM Citation Monitoring folgen genau diesem Muster: Citation-Rate, Answer Rate, Source-Origin, Share of Voice und Drift-Erkennung als gemeinsames Set, nicht als Einzelkennzahl.
Wie tracken Sie LLM-Positionen in der Praxis?
Drei Messmethoden ergänzen sich, keine ersetzt die andere vollständig. Wer nur eine davon nutzt, misst blind auf einem Auge.
- Manuelle Stichprobe aufsetzen. Wählen Sie 10 bis 30 Kernprompts, die reale Suchintentionen abbilden, etwa „beste Anbieter für X in [Stadt]“ oder „X vs. Y Vergleich“. Führen Sie jeden Prompt in ChatGPT, Claude und Perplexity durch, dokumentieren Sie das Ergebnis per Screenshot und archivieren Sie es mit Datum.
- Automatisiertes Prompt-Sampling einrichten. Einzelabfragen sind statistisch unzuverlässig, weil wiederholte Tests hohe Varianz in den Antworten zeigen. Erst durch mehrfache Durchläufe pro Prompt, idealerweise mit Prompt-Variationen und über mehrere Tage verteilt, entsteht ein belastbarer Mittelwert. Eine Herangehensweise nach dem Organ-Prinzip, also die Bestimmung einer Mindeststichprobengröße für eine gewünschte Fehlertoleranz, hilft dabei, die nötige Anzahl an Durchläufen realistisch einzuschätzen statt sie zu schätzen.
- Analytics-Integration ergänzen. Google Analytics 4 kann Chatbot-Traffic über Referrer-Segmentierung und Event-Markierung sichtbar machen, etwa wenn Nutzer über einen Link aus einer ChatGPT-Antwort auf Ihre Seite kommen. Google Search Console zeigt zwar keine LLM-Zitationen direkt, liefert aber über Indexierungsstatus und Crawling-Daten wichtige Vorbedingungen dafür, dass ein Modell Ihre Seite überhaupt als Quelle nutzen kann. Auch Search Engine Land betont, dass sich LLM-Traffic in den Datenquellen fundamental von klassischem Suchtraffic unterscheidet und deshalb eigene Segmente braucht.
Die Grenze dieser Methoden ist wichtig zu benennen: Kein Modell ist deterministisch, jede Stichprobe ist eine Annäherung. Behandeln Sie jedes Ergebnis als Trendindikator über mehrere Wochen, nicht als Momentaufnahme mit Wahrheitsanspruch. Dokumentieren Sie deshalb Methodik, Prompt-Liste und Durchführungsdatum genauso sorgfältig wie das Ergebnis selbst, denn ohne diese QA-Basis wird jede spätere Abweichung unerklärbar.
Wer die Skalierung über viele Kunden hinweg sucht, stößt schnell an die Grenzen manueller Arbeit. Automatisierte Tracking-Tools liefern hier Trends, Alerts und Dashboards, ersetzen aber die manuelle QA-Stichprobe nicht vollständig, weil sie Halluzinationen und Fehlzitate selten zuverlässig erkennen.
Wie bauen Sie einen Agentur-Workflow für LLM-Tracking auf?
Ein Prompt-Set ohne Struktur wird schnell unübersichtlich. Bewährt hat sich die Clusterung nach fünf Kategorien: Brand-Prompts (direkte Markennennungen), Category-Prompts (generische Kategorieanfragen), Uwe-Case-Prompts (Problemlösungsfragen), Vergleichs-Prompts (X vs. Y) und Langteil-Prompts (spezifische Nischenfragen). Jedes Cluster braucht eigene Auswertungslogik, weil ein Brand-Prompt eine andere Erfolgsschwelle hat als ein Langteil-Prompt.
Die Sampling-Frequenz richtet sich nach dem Servicelevel des Kunden:
- Basis-Paket: monatliches Sampling, geeignet für Kunden mit stabiler Marktposition und geringem Wettbewerbsdruck.
- Professional-Paket: wöchentliches Sampling, sinnvoll bei aktiven Content-Kampagnen oder volatilen Branchen.
- Enterprise-Paket: tägliches Sampling, notwendig bei hohem Wettbewerb oder wenn ein Launch überwacht werden muss.
Das Reporting-Template sollte fünf feste Bausteine enthalten: die Baseline-Werte, die Trendentwicklung seit der letzten Messung, eine Root-Cause-Analyse bei Rückgängen, Screenshot-Belege der wichtigsten Prompts und konkrete Handlungsempfehlungen mit Priorität. Genau diese Struktur macht aus einer reinen Zahlenliste einen Bericht, den ein Kunde tatsächlich versteht und auf den er reagieren kann.
Bei der Priorisierung der Maßnahmen gilt eine klare Reihenfolge: Coverage-Lücken zuerst schließen, also Prompts, in denen die Marke gar nicht auftaucht. Danach folgt die Korrektur von Halluzinationen und Fakten-Drift, weil falsche Informationen den Kunden aktiv schaden können. Erst danach kommt die klassische Content-Optimierung zur Verbesserung bestehender Nennungen.
Wie schaffen Agenturen Glaubwürdigkeit beim LLM-Tracking?
Ein Report ohne nachvollziehbare Methodik wirkt wie eine Behauptung, kein Beweis. Genau hier trennen sich seriöse Agenturen von reinen Zahlenlieferanten.
Belastbares LLM-Tracking entsteht nicht aus einer einzelnen Abfrage, sondern aus der Kombination von kontrollierten manuellen Stichproben über mehrere Modelle hinweg, ergänzt durch ein lückenloses Screenshot-Archiv als Nachweis. Wenn Anbieter keine Quelllogs offenlegen, ist diese dokumentierte Stichprobenmethodik der einzig verlässliche Ersatz.
Diese Herangehensweise deckt sich mit der empfohlenen Methodik für LLM-Sichtbarkeit: Prompt-Listen, wiederholte Durchläufe, dokumentierte Screenshots und eine nachvollziehbare Auswertung sind Mindeststandard, kein Extra.
Für Kunden bedeutet das konkret: Ein Report ist erst glaubwürdig, wenn er zeigt, welche Prompts getestet wurden, wann, in welchem Modell und mit welchem Ergebnis, Screenshot inklusive. Statistische Validierung nach einem Stichprobenansatz gehört ebenso dazu wie die offene Benennung der Methodengrenzen. Dieser Artikel wurde redaktionell von Harald Pfanner betreut, SEO- und Content-Marketing-Experte bei growResonance, der genau diese Nachweisstandards in der Praxis mit Agenturen entwickelt.
Die ersten zehn Schritte für Ihr LLM-Tracking
Der Einstieg gelingt in überschaubaren Etappen, ohne dass Sie sofort ein komplettes System aufbauen müssen.
- Erstellen Sie ein Prompt-Set mit 20 Fragen aus Brand-, Category- und Vergleichs-Clustern.
- Testen Sie jeden Prompt in mindestens drei Modellen: ChatGPT, Claude, Perplexity.
- Erzeugen Sie 30 oder mehr Prompt-Variationen für statistische Breite.
- Archivieren Sie Screenshots als Baseline mit Datum.
- Erstellen Sie den ersten Report mit Citation Rate und Source-Origin.
- Prüfen Sie Ihre Schema-Auszeichnung (JSON-LD) auf Vollständigkeit.
- Kontrollieren Sie den Knowledge-Graph-Eintrag Ihrer Marke.
- Gleichen Sie Namens- und Faktenkonsistenz über alle Quellen ab.
- Legen Sie ein Reporting-Intervall passend zum Servicelevel fest.
- Skalieren Sie erst, wenn die Baseline stabil und dokumentiert ist.
| Bereich | Sofortmaßnahme |
|---|---|
| Metriken | Citation Rate, AI Answer Rate, Share of Voice |
| Frequenz | Monatlich starten, bei Bedarf wöchentlich |
| Skalierung | Erst nach stabiler Baseline mit Tools automatisieren |
Warum Agenturen LLM-Tracking jetzt anbieten sollten
Die Verschiebung der Markenentdeckung von der Suchergebnisseite hin zur direkten KI-Antwort ist real, und sie betrifft praktisch jeden Kunden mit digitaler Sichtbarkeit. Wer als Agentur wartet, bis Kunden selbst danach fragen, verpasst das Zeitfenster, in dem sich diese Leistung noch als Differenzierung verkaufen lässt.
Der eigentliche Wert liegt nicht im Tracking selbst, sondern im Nachweis: White-Label-Reports mit Screenshot-Belegen schaffen Vertrauen, das reine SEO-Kennzahlen aktuell nicht mehr allein liefern. Mein Rat an jede Agentur: Starten Sie mit einem kostenlosen Audit, liefern Sie eine ehrliche Baseline, und verkaufen Sie erst danach das laufende Monitoring als eigenständige Leistung.
— Harald Pfanner: SEO- und Content-Marketing-Experte, Redakteur bei growResonance
So starten Sie mit growResonance in Ihr LLM-Tracking
growResonance ist die praktikable Alternative zu improvisierten Excel-Trackern und Einzelabfragen, weil Sie damit Erwähnungen über ChatGPT, Claude, Perplexity, Gemini und Google AI Overviews in einem Dashboard bündeln, statt jede Woche manuell durch Screenshots zu blättern.
Die Plattform liefert tägliches Tracking, Wettbewerbsanalyse, Quellenauswertung, Sentimentanalyse und technische GEO-Audits, etwa die Prüfung der llms.txt-Datei, des Gedroht-Zugriffs und der JSON-LD-Validierung. Besonders wichtig ist das White-Label-Reporting: Reports können unter der Markenbezeichnung der Agentur an Kunden ausgegeben werden, ergänzt durch API-Zugang und Multi-Client-Verwaltung mit rollenbasierter Zugriffssteuerung. Wichtig bleibt die Ehrlichkeit gegenüber dem Kunden: Auch das beste Tool liefert eine Annäherung, keine absolute Wahrheit, und manuelle QA-Stichproben bleiben sinnvoll.
Für Agenturen, die das Angebot direkt in ihr Portfolio aufnehmen wollen, lohnt sich ein Blick auf die Preise für Agenturen. Wer zuerst unverbindlich prüfen will, wie die eigene Marke aktuell in ChatGPT abschneidet, startet mit dem kostenlosen Sichtbarkeits-Check.
Quellen
FAQ
Was bedeutet „LLM-Positionen tracken“ konkret?
Es bedeutet, systematisch zu messen, wie oft und wie eine Marke in Antworten von ChatGPT, Claude, Perplexity und Google AI Overviews genannt wird, meist über Citation Rate und AI Answer Rate.
Sind LLM-Positionen genauso messbar wie Google-Rankings?
Nein, LLM-Antworten sind nicht deterministisch. Belastbare Werte entstehen erst durch wiederholtes Prompt-Sampling über mehrere Durchläufe, nicht durch eine einzelne Abfrage.
Wie viele Prompts braucht ein aussagekräftiges Sampling?
Ein Einstieg gelingt mit einer überschaubaren Anzahl von Kernprompts, getestet in mehreren Modellen und mit Wiederholungen, um statistische Stabilität zu erreichen.
Kann Google Analytics 4 LLM-Traffic direkt anzeigen?
GA4 zeigt keine LLM-Zitationen direkt, kann aber über Segmentierung und Event-Markierung indirekte Signale für Chatbot-Traffic liefern.
Ersetzen automatisierte Tools die manuelle Stichprobe?
Nein. Tools skalieren Trends und Alerts, aber manuelle QA-Stichproben bleiben notwendig, um Halluzinationen und falsche Zitate zuverlässig zu erkennen.
Wie hilft growResonance beim LLM-Tracking?
Die Plattform bündelt tägliches Tracking, Quellenauswertung und White-Label-Reporting über ChatGPT, Claude, Perplexity, Gemini und Google AI Overviews in einer Lösung für Agenturen.
