AI-Bot-Log-Analyse: Welche AI-Bots crawlen deine Website?
Lade dein Server-Logfile hoch und sieh in unter einer Minute, welche AI-Bots deine Inhalte lesen, welche URLs sie abrufen und wie viele Besucher aus ChatGPT, Claude oder Perplexity zu dir klicken. Ohne Anmeldung, ohne Kosten.
Log-Datei hochladen
Unterstützt Apache Combined, Nginx, Common Log Format, IIS W3C. Auch .gz komprimierte Dateien.
Was mit deiner Datei passiert
- Die Datei wird nur im Arbeitsspeicher ausgewertet und nicht auf einem Datenträger gespeichert.
- Aus dem Protokoll werden keine einzelnen IP-Adressen übernommen. Sie gehen nur als Anzahl unterschiedlicher Adressen je Bot in das Ergebnis ein.
- Keine Weitergabe an Dritte, keine Übermittlung an KI-Anbieter. Die Auswertung läuft vollständig auf unserem Server in der EU.
- Gespeichert wird nur das aggregierte Ergebnis, gelöscht nach 90 Tagen. Ein Teilen-Link verfällt nach 30 Tagen.
Du kannst die IP-Spalte vor dem Upload kürzen oder entfernen, die Bot-Auswertung bleibt vollständig. Details in der Datenschutzerklärung, Abschnitt 3.6. Einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO stellen wir auf Anfrage bereit.
AI Bot Datenbank 49 Bots
Alle AI Bot User-Agents, die dieses Tool erkennt. Stand: April 2026.
| Bot | Operator | Kategorie | Zweck | User-Agent Pattern |
|---|---|---|---|---|
| Brave-Search | Brave | AI Search | Brave Search AI answers | brave-search |
| ChatGPT-User | OpenAI | AI Search | Real-time web browsing for ChatGPT users | chatgpt-user |
| Claude-SearchBot | Anthropic | AI Search | Claude search indexing | claude-searchbot |
| Claude-User | Anthropic | AI Search | Real-time web access for Claude users | claude-user, claude user |
| CopilotBot | Microsoft | AI Search | Microsoft Copilot grounding | copilotbot |
| DeepSeek-Bot | DeepSeek | AI Search | DeepSeek search | deepseek |
| Google-CloudVertexBot | AI Search | Vertex AI grounding | google-cloudvertexbot |
|
| GoogleOther | AI Search | Google AI / research crawling | googleother |
|
| Grok | xAI | AI Search | Grok web access | grok, xai-grok |
| KagiBot | Kagi | AI Search | Kagi search AI features | kagibot |
| OAI-SearchBot | OpenAI | AI Search | ChatGPT Search / SearchGPT indexing | oai-searchbot, openai searchbot |
| Perplexity-User | Perplexity | AI Search | User-triggered Perplexity search | perplexity-user, perplexity user |
| PerplexityBot | Perplexity | AI Search | Perplexity answer engine retrieval | perplexitybot |
| YouBot | You.com | AI Search | You.com AI search | youbot |
| Ai2Bot | Allen AI | AI Training | Research model training | ai2bot |
| Amazonbot | Amazon | AI Training | Alexa AI / model training | amazonbot |
| Bytespider | ByteDance | AI Training | TikTok / Douyin AI training | bytespider, bytedance |
| CCBot | Common Crawl | AI Training | Open dataset used by most LLMs | ccbot |
| Claude-Web | Anthropic | AI Training | Web content for Claude training | claude-web |
| ClaudeBot | Anthropic | AI Training | Model training data collection | claudebot, anthropic-ai |
| Diffbot | Diffbot | AI Training | Knowledge graph for AI applications | diffbot |
| FacebookBot | Meta | AI Training | Meta AI crawling | facebookbot, facebook crawler |
| GPTBot | OpenAI | AI Training | Model training data collection | gptbot |
| Meta-ExternalAgent | Meta | AI Training | LLaMA training + AI features | meta-externalagent, meta externalagent |
| Meta-Fetcher | Meta | AI Training | Meta AI content fetching | meta-fetcher, meta fetcher |
| Omgilibot | Webz.io | AI Training | AI training data | omgili, omgilibot |
| Timpibot | Timpi | AI Training | Decentralized AI search | timpibot |
| cohere-ai | Cohere | AI Training | Model training | cohere-ai |
| iaskspider | iAsk.ai | AI Training | AI search training | iaskspider |
| AdsBot-Google | Search Engine | Google Ads quality check | adsbot-google |
|
| BaiduSpider | Baidu | Search Engine | Baidu Search indexing | baiduspider |
| Bingbot | Microsoft | Search Engine | Bing Search indexing | bingbot |
| DuckDuckBot | DuckDuckGo | Search Engine | DuckDuckGo indexing | duckduckbot |
| Googlebot | Search Engine | Google Search indexing | googlebot |
|
| YandexBot | Yandex | Search Engine | Yandex Search indexing | yandexbot |
| AhrefsBot | Ahrefs | SEO Tool | Ahrefs backlink crawling | ahrefsbot |
| DataForSEOBot | DataForSEO | SEO Tool | DataForSEO crawling | dataforseobot |
| DotBot | Moz | SEO Tool | Moz crawling | dotbot |
| MJ12bot | Majestic | SEO Tool | Majestic backlink crawling | mj12bot |
| PetalBot | Huawei | SEO Tool | Petal Search crawling | petalbot |
| ScreamingFrog | Screaming Frog | SEO Tool | Screaming Frog crawler | screaming frog |
| SemrushBot | Semrush | SEO Tool | Semrush crawling | semrushbot |
| Discordbot | Discord | Discord link preview | discordbot |
|
| FacebookExternalHit | Meta | Facebook link preview | facebookexternalhit |
|
| LinkedInBot | LinkedIn link preview | linkedinbot |
||
| Slackbot | Slack | Slack link unfurling | slackbot |
|
| TelegramBot | Telegram | Telegram link preview | telegrambot |
|
| TwitterBot | X/Twitter | Twitter card rendering | twitterbot |
|
| Meta | WhatsApp link preview | whatsapp |
robots.txt-Direktiven, keine Crawler
Diese Token werden ausschließlich in der robots.txt adressiert. Sie stellen keine eigenen HTTP-Anfragen und tauchen deshalb nie als User-Agent in einem Logfile auf. Sie stehen bewusst nicht in der Bot-Datenbank oben, damit das Tool sie nicht als eigenständige Abrufe zählt.
| Token | Operator | Crawlt tatsächlich | Steuert |
|---|---|---|---|
| Applebot-Extended | Apple | Applebot |
Nutzung der Inhalte fuer Apple Intelligence und Siri |
| Google-Extended | Googlebot |
Nutzung der Inhalte in Gemini und AI Overviews |
So funktioniert die AI-Bot-Analyse
Jeder Zugriff auf deine Website hinterlässt eine Zeile im Server-Logfile: Zeitpunkt, aufgerufene URL, Statuscode und der User-Agent des Aufrufers. Genau in diesem User-Agent geben sich AI-Bots zu erkennen. Google Analytics zeigt sie dir nicht, weil Bots kein JavaScript ausführen. Das Logfile ist deshalb die einzige verlässliche Quelle dafür, ob AI-Systeme deine Inhalte tatsächlich lesen.
- Logfile exportieren Lade die Datei access.log von deinem Server oder aus dem Hosting-Panel herunter. Komprimierte und rotierte Dateien funktionieren ebenfalls.
- Hochladen Die Verarbeitung läuft im Arbeitsspeicher. Deine Datei wird nicht auf dem Server gespeichert, nur die aggregierten Kennzahlen bleiben erhalten.
- Auswerten Du bekommst den Anteil an AI-Traffic, die Verteilung nach Betreiber, die meistgelesenen URLs, den zeitlichen Verlauf und einen AI Visibility Score von 0 bis 100.
AI-Search, AI-Training und LLM-Referrals: der Unterschied zählt
Nicht jeder AI-Zugriff bedeutet dasselbe für dein Geschäft. Das Tool unterscheidet drei Arten, und die Reihenfolge ihrer Wichtigkeit überrascht viele.
AI-Search: jemand fragt gerade
Bots wie ChatGPT-User, Perplexity-User oder Claude-User rufen deine Seite genau dann ab, wenn ein Mensch eine Frage stellt. Jeder dieser Zugriffe belegt, dass deine Inhalte als Beleg für eine konkrete Antwort herangezogen wurden. Das ist das stärkste Signal für AI-Sichtbarkeit, das ein Logfile hergibt.
AI-Training: Material für morgen
GPTBot, ClaudeBot, CCBot oder Bytespider sammeln Inhalte für künftige Modellversionen. Der Effekt zeigt sich erst mit dem nächsten Modell, dafür wirkt er langfristig. Wer diese Bots per robots.txt aussperrt, verschwindet mittelfristig aus dem Wissen der Modelle.
LLM-Referrals: echte Besucher
Klickt jemand in ChatGPT oder Perplexity auf einen Link zu dir, steht die Chat-Domain im Referrer. Das sind keine Bots, sondern Menschen mit konkreter Kaufabsicht. Diese Zugriffe sind der direkteste Umsatzbeitrag von AI-Sichtbarkeit und tauchen in Standard-Analytics meist unter Direct auf.
Wo du dein Logfile findest
Je nach Setup liegt das Zugriffsprotokoll an einer anderen Stelle. Diese Übersicht deckt die verbreitetsten Umgebungen ab. Ein Zeitraum von zwei bis vier Wochen liefert bereits ein belastbares Bild.
| Umgebung | Pfad oder Menüpunkt |
|---|---|
| Apache | /var/log/apache2/access.log |
| Nginx | /var/log/nginx/access.log |
| Plesk | Websites & Domains, dann Logs |
| cPanel | Metriken, dann Raw Access |
| IIS | C:\inetpub\logs\LogFiles |
| Cloudflare | Logpush, ab Enterprise-Tarif |
| Managed Hosting | Dateimanager oder SFTP, Ordner logs |
Hinweis: Manche Hoster liefern rotierte Logs mit der Endung .gz aus, die dein Browser beim Download bereits entpackt. Dieses Tool erkennt das am Dateiinhalt und verarbeitet beide Varianten.
Häufige Fragen
Welche AI-Bots erkennt das Tool?
Das Tool gleicht jeden User-Agent gegen 49 hinterlegte Bot-Signaturen ab, darunter ChatGPT-User und GPTBot von OpenAI, ClaudeBot und Claude-User von Anthropic, PerplexityBot, OAI-SearchBot, Google-CloudVertexBot, Meta-ExternalAgent, Bytespider und CCBot. Zusätzlich erkennt es Klicks aus AI-Chats anhand der Referrer-Domain, etwa von chatgpt.com oder claude.ai.
Warum fehlen Google-Extended und Applebot-Extended in der Bot-Datenbank?
Weil beide keine Crawler sind. Google-Extended und Applebot-Extended sind reine Steuerungstoken für die robots.txt: Sie stellen keine eigenen HTTP-Anfragen und erscheinen deshalb nie als User-Agent in einem Logfile. Gecrawlt wird weiterhin durch Googlebot beziehungsweise Applebot. Die Token legen nur fest, ob die bereits erfassten Inhalte für Gemini, AI Overviews oder Apple Intelligence verwendet werden dürfen. Würde das Tool sie als eigenständige Abrufe zählen, wäre das Ergebnis falsch. Sie stehen deshalb getrennt unter den robots.txt-Direktiven.
Wo finde ich meine Server-Logfiles?
Bei Apache und Nginx liegen die Logs typischerweise unter /var/log/apache2/access.log oder /var/log/nginx/access.log. In Plesk findest du sie unter Websites & Domains, Logs; in cPanel unter Metriken, Raw Access. Cloudflare bietet Logpush ab dem Enterprise-Tarif. Bei Managed Hosting lädst du die Datei über den Dateimanager oder per SFTP herunter.
Was ist der Unterschied zwischen AI-Search-Bots und AI-Training-Crawlern?
AI-Search-Bots wie ChatGPT-User oder Perplexity-User rufen deine Seite in dem Moment ab, in dem jemand eine Frage stellt. Sie belegen, dass deine Inhalte als Quelle für eine konkrete Antwort dienen. AI-Training-Crawler wie GPTBot oder CCBot sammeln dagegen Material für künftige Modellversionen. Für deine Sichtbarkeit heute zählt die erste Gruppe deutlich mehr.
Sind LLM-Referrals dasselbe wie AI-Bot-Zugriffe?
Nein. Ein AI-Bot-Zugriff ist ein Crawler, der deine Seite liest. Ein LLM-Referral ist ein echter Mensch, der in ChatGPT, Claude oder Perplexity auf einen Link zu deiner Seite klickt. Das Tool weist beides getrennt aus, weil Referrals direkt Umsatz bringen können, Crawls dagegen erst die Voraussetzung dafür schaffen.
Werden meine Logdaten gespeichert?
Die hochgeladene Datei wird nur im Arbeitsspeicher verarbeitet und nicht auf dem Server abgelegt. Gespeichert werden ausschließlich die aggregierten Kennzahlen der Analyse, also Trefferzahlen pro Bot und die häufigsten URLs. Einzelne IP-Adressen aus deinem Log werden nicht dauerhaft gespeichert.
Welche Logformate werden unterstützt?
Apache Combined, das Nginx-Standardformat, Common Log Format und IIS W3C Extended. Gzip-komprimierte Dateien werden automatisch entpackt, erkannt am Dateiinhalt und nicht an der Endung. Damit funktionieren auch rotierte Logs, die dein Hoster beim Download bereits entpackt hat.
Brauche ich ein Konto?
Nein. Die Analyse ist kostenlos und ohne Anmeldung nutzbar. Eine E-Mail-Adresse brauchst du nur, wenn du den Report als PDF zugeschickt bekommen möchtest.
AI Sichtbarkeit verbessern?
Du weisst jetzt, welche AI Bots deine Seite nutzen. Lass uns gemeinsam deine AI Visibility optimieren.
SEO Beratung anfragen