Crawling im Zeitalter der LLMs (Juliane Bettinga)
Mit KI ändert sich nicht nur die Suche, sondern auch das Crawling. Neue Bot-Typen verändern die Anforderungen an das technische SEO, bieten uns aber auch die Möglichkeit zu ermitteln, welche unserer Inhalte in LLMs tatsächlich genutzt werden. In diesem Vortrag erfährst Du, welche Typen von KI-Bots es gibt, welche technischen Maßnahmen jetzt Priorität haben sollten, wie Du mithilfe von Logfiles die aktuelle KI-Performance Deiner Seite ermittelst und welche Rückschlüsse Du für Deine Content und Prompt-Recherche ziehen kannst. Aufgezeichnet am 17.03.2026 bei der Online-Konferenz »SEO für KI – Mehr Sichtbarkeit in ChatGPT, Perplexity & Co.«, ein Rheinwerk Spotlight. Inhalt Während die Diskussion um Sichtbarkeit in ChatGPT, Perplexity und Co. häufig bei Mentions und Citations stehenbleibt, richtet Juliane Bettinga den Blick auf das Fundament: die technische Infrastruktur. Sie zeigt, warum klassisches Crawl- und Indexmanagement durch die neuen KI-Bots an Bedeutung gewinnt, wie du strukturelle Barrieren erkennst und wie sich Serverlogs als »Analytics für Crawler« nutzen lassen. Mit Logfile-Analysen wird sichtbar, welche Inhalte tatsächlich in LLM-Antworten landen, wo Hidden Champions schlummern und wie sich daraus eine Reverse-Prompt-Recherche ableiten lässt. Themen Vier Typen von KI-Bots: AI-Trainer, AI-Assistants, AI-Search-Crawler und AI-Agents im Überblick Warum 15 % aller Domains KI-Bots unbewusst blockieren – und wie du das prüfst Neue Bedeutung des Meta-Tags noarchive bei Bing Copilot robots.txt, serverseitige Blockaden und der Umgang mit exklusiven Inhalten Serverlast durch KI-Crawler: Time-to-First-Byte und Crawl-Kapazitäten im Blick behalten Quelltext, semantisches HTML und strukturierte Daten als Basis für LLM-Lesbarkeit Logfile-Analyse zur Identifikation von Nutzerinteresse und Reverse-Prompt-Recherche AI-Score, Hidden Champions und Knowledge-Phase-Analysen aus Logfiles ableiten Vergleich Logfiles vs. Bing Webmaster Tools Über die Speakerin Juliane Bettinga ist Co-Founder und Technical SEO Consultant bei der Agentur SEOSOON, einer SEO-Agentur aus Jena. Mit Fokus auf technischem SEO, Datenanalyse, Strategie, Logfile-Analyse und KI-SEO berät sie seit 2018 vor allem Publisher und Medienhäuser. Gemeinsam mit ihrem Team, unterstützt Juliane nicht nur beratend, sondern setzt SEO- und KI-Strategien operativ um. Dabei schult sie Inhouse-Teams, entwickelt maßgeschneiderte Dashboards und sorgt für datengetriebene, nachhaltige SEO-Erfolge. Als Speakerin gibt sie regelmäßig praxisnahe Einblicke, wie tiefgehende Analysen in konkrete Maßnahmen überführt werden. Links Juliane auf LinkedIn Veranstaltungsseite Credits Sound im Intro/Outro: Artlist, Bjorn Lynne, Soothing Synth Pad Swirl (Hi Tech Logos) Stimme im Intro: erstellt mit ElevenLabs