Screaming Frog SEO Spider: der Leitfaden für technische Website-Audits

Was ist der Screaming Frog SEO Spider?

Der Screaming Frog SEO Spider ist ein Desktop-Programm, das deine Website crawlt, um technische SEO-Probleme sichtbar zu machen. Du installierst es lokal auf Windows, macOS oder Ubuntu. Es arbeitet wie ein Suchmaschinen-Crawler: Es folgt Links, sammelt dabei Daten zu jeder URL – von Statuscodes über Meta-Tags bis zu Überschriften und Verlinkungen – und macht daraus auswertbare Berichte.

Genau diese Fähigkeit, schnell große URL-Mengen zu analysieren, hat den SEO Spider zum Standardwerkzeug für technisches SEO gemacht. Ob du defekte Links jagst, Weiterleitungen prüfst oder Title-Tags optimierst: Screaming Frog liefert die Datenbasis für fundierte Entscheidungen.

Erste Schritte

Installation und Lizenz

Der Einstieg ist unkompliziert. Du lädst den SEO Spider von der offiziellen Screaming-Frog-Website herunter und folgst dem Installer. Die kostenlose Version crawlt bis zu 500 URLs pro Website – genug für kleine Projekte oder einen ersten Eindruck.

Wer mehr URLs crawlen, Crawls speichern und wieder öffnen oder erweiterte Konfigurationen nutzen möchte, braucht eine kostenpflichtige Jahres-Lizenz. Die aktuellen Preise und den vollständigen Funktionsvergleich findest du direkt beim Hersteller – prüfe sie dort, sie ändern sich von Jahr zu Jahr. Nach dem Kauf trägst du deinen Lizenzschlüssel unter Licence > Enter Licence Key ein und startest die Anwendung neu.

Speichermodus wählen

Für größere Crawls entscheidet der Speichermodus über die Performance:

• Datenbank-Speichermodus (Database Storage): empfohlen, wenn dein Rechner eine SSD hat. Er crawlt mehr URLs, speichert automatisch und lässt dich schnell auf frühere Crawls zugreifen. Zu finden unter File > Settings > Storage Mode.
• RAM-Speichermodus (Memory Storage): sinnvoll ohne SSD. Crawls lassen sich nur speichern, solange genug Arbeitsspeicher frei ist.

Einen Crawl starten und konfigurieren

Es gibt zwei Hauptwege, einen Crawl zu starten.

Im Standard-Spider-Modus gibst du die Start-URL ein und klickst auf „Start". Der Spider crawlt diese URL und alle internen Links auf derselben Subdomain. Der Fortschritt läuft in Echtzeit, und du kannst jederzeit pausieren und fortsetzen.

Im Listenmodus (Mode > List) lädst du eine feste URL-Liste hoch oder fügst sie ein – ideal, um eine XML-Sitemap, eine Migrationstabelle oder eine Backlink-Liste gezielt zu prüfen.

Wichtige Konfigurationen

Standardmäßig crawlt Screaming Frog ähnlich wie Google. Unter Configuration passt du das Verhalten an:

• JavaScript-Rendering: Viele moderne Websites laden Inhalte per JavaScript nach. Unter Configuration > Spider > Rendering aktivierst du das Rendering – der Spider nutzt dann ein integriertes Chromium, um Seiten wie ein Browser darzustellen. Für JS-lastige Seiten ist das Pflicht, sonst fehlen dir Inhalte und Links.
• Subdomains crawlen: Configuration > Spider > Crawl all Subdomains erfasst alle Subdomains der Hauptdomain.
• Ein- und Ausschluss: Mit „Include" und „Exclude" steuerst du über reguläre Ausdrücke, welche URL-Pfade gecrawlt werden.
• Große Websites: Erhöhe bei Bedarf den Speicher unter Configuration > System > Memory Allocation und deaktiviere das Crawlen von Bildern, CSS oder JavaScript, wenn du nur die HTML-Struktur brauchst.
• Geschwindigkeit: Unter Configuration > Speed begrenzt du Threads und Anfragen pro Sekunde, um schwächere Server nicht zu überlasten.
• User-Agent: Unter Configuration > User-Agent simulierst du z. B. den Googlebot oder Bingbot.

Crawl-Daten verstehen

Sobald der Crawl läuft, füllen sich die Tabs der Oberfläche in Echtzeit. Die Ansicht ist zweigeteilt: Das obere Fenster listet alle gecrawlten URLs mit Spalten wie Statuscode, Inhaltstyp, Seitentitel und Wortanzahl. Diese Daten sind thematisch gruppiert:

• Internal / External: alle internen bzw. externen URLs.
• Response Codes: URLs nach HTTP-Status (2xx, 3xx, 4xx, 5xx).
• Page Titles / Meta Description / H1 / H2: die jeweiligen On-Page-Elemente.
• Images, Directives, Canonicals, Hreflang: Bilder, Robots-Anweisungen, Canonicals und mehrsprachige Auszeichnung.

Klickst du oben auf eine URL, zeigt das untere Fenster Details: welche Seiten darauf verlinken (Inlinks), wohin sie verlinkt (Outlinks), eingebettete Bilder und geladene Ressourcen.

Rechts helfen dir zwei Bereiche beim schnellen Überblick. Der Overview fasst die wichtigsten Datenpunkte aller Tabs zusammen – ein Klick auf einen Wert springt direkt zum passenden Filter. Der Issues-Tab hebt proaktiv Probleme, Warnungen und Chancen hervor, klassifiziert nach Typ (Issue, Warning, Opportunity) und Priorität (High, Medium, Low) und jeweils mit Erklärung und Lösungshinweis. So findest du kritische Punkte, ohne jeden Tab einzeln durchzugehen.

Konkrete Analysen

Broken Links finden: Im Tab Response Codes filterst du nach Client-Fehlern (4xx) und Server-Fehlern (5xx). Über die Inlinks-Ansicht siehst du, welche Seiten auf die defekten URLs verlinken – so korrigierst du gezielt.

Redirects prüfen: Der Redirect-Chains-Report deckt Weiterleitungsketten und -schleifen auf. Achte darauf, dass interne Links direkt auf das finale Ziel zeigen, statt über unnötige Redirects zu laufen.

Titles und Meta-Beschreibungen: In den Tabs Page Titles und Meta Description filterst du nach Elementen, die fehlen, zu lang, zu kurz oder doppelt sind.

Duplicate Content: Screaming Frog erkennt exakte Duplikate über Hash-Werte und Nah-Duplikate über Ähnlichkeitsalgorithmen (zu aktivieren unter Configuration > Content > Duplicates).

Bilder und Alt-Texte: Im Images-Tab filterst du nach Bildern über einer bestimmten Größe oder ohne Alt-Text.

Direktiven und Canonicals: Der Directives-Tab zeigt URLs mit noindex oder nofollow, der Canonicals-Tab prüft die Canonical-Implementierung.

XML-Sitemaps erstellen und prüfen

Eine bestehende XML-Sitemap prüfst du im Listenmodus: Datei hochladen oder URLs einfügen, crawlen und dann Fehler, Weiterleitungen oder nicht-indexierbare URLs innerhalb der Sitemap aufdecken. Eine neue Sitemap erzeugst du nach einem vollständigen Crawl unter Sitemaps > XML Sitemap – inklusive Optionen für Last-Modified-Datum, Priorität und einer separaten Bild-Sitemap.

Fortgeschrittene Funktionen

Für spezielle Fälle bietet Screaming Frog mächtige Werkzeuge:

• Custom Extraction: Mit XPath, CSS-Path oder Regex ziehst du beliebige Daten aus dem HTML – etwa Produktpreise, Autorennamen oder Social-Meta-Tags. Konfiguration unter Configuration > Custom > Extraction. Ein XPath-Beispiel, das den Text der ersten H1 extrahiert:

• Custom Search: Unter Configuration > Custom > Search suchst du nach Text-Strings oder Code-Schnipseln im Quelltext – etwa um zu prüfen, ob ein Tracking-Code auf allen Seiten liegt.
• API-Integrationen: Verbinde den Spider mit Google Analytics 4, der Google Search Console und PageSpeed Insights. So ziehst du Nutzer-, Leistungs- und Core-Web-Vitals-Daten direkt für jede gecrawlte URL ins Tool.
• Crawls planen und vergleichen: Lizenzierte Nutzer planen automatische Crawls und vergleichen zwei Crawls miteinander – ideal, um Änderungen über die Zeit oder Staging gegen Live zu prüfen.
• KI-Prompts im Crawl: Neuere Versionen erlauben es, ChatGPT- bzw. LLM-Prompts während des Crawls auf Seitenelemente anzuwenden – zum Beispiel, um Alt-Text-Vorschläge zu generieren oder Textinhalte zu analysieren. Das automatisiert Aufgaben, die früher rein manuell waren.

Daten exportieren und Crawls speichern

Alle Daten aus dem oberen Fenster exportierst du über „Export" als CSV, Excel oder Google Sheet. Für große Datenmengen – etwa alle Inlinks zu 4xx-Seiten – nutzt du den Bulk Export im Hauptmenü. Im Datenbank-Speichermodus werden Crawls automatisch gespeichert und lassen sich unter File > Crawls erneut öffnen, umbenennen oder duplizieren.

Screaming Frog für Wettbewerbsanalysen

Auch wenn es primär ein technisches Tool ist: Du kannst die Website eines Wettbewerbers crawlen und im Internal-Tab nach der Spalte „Inlinks" sortieren. Seiten mit besonders vielen internen Links sind oft die zentralen Hub- oder Pillar-Seiten – ein Fingerzeig auf die Content-Strategie der Konkurrenz. Über Bulk Export > Links > All Anchor Text exportierst du zusätzlich alle Ankertexte und siehst, welche Keywords intern hervorgehoben werden.

Fazit

Der Screaming Frog SEO Spider ist ein vielseitiges Arbeitspferd für technisches SEO. Von der schnellen Fehlersuche über die Analyse einzelner Seitenelemente bis zu API-Integrationen und KI-gestützten Prompts deckt er die gesamte Bandbreite eines Audits ab. Ob regelmäßige Wartung, einmaliges Audit oder Wettbewerbsanalyse – er liefert die Daten, auf denen gute Optimierungsentscheidungen aufbauen.