Screaming Frog SEO Spider: der Leitfaden für technische Website-Audits

Was ist der Screaming Frog SEO Spider?

Der Screaming Frog SEO Spider ist ein Desktop-Programm, das deine Website wie ein Suchmaschinen-Bot durchläuft und technische Fehler in auswertbaren Tabellen sichtbar macht. Stell dir einen Prüfer vor, der durch ein großes Bürogebäude geht. Er öffnet jede Tür, drückt jeden Lichtschalter und notiert sich, was kaputt ist. Der SEO Spider macht genau das für deine Website. Er folgt den Links, sammelt zu jeder URL Daten von Statuscodes bis zu Überschriften und legt alles übersichtlich ab.

Das Programm läuft lokal auf Windows, macOS oder Linux. Der Crawl nutzt deine eigene Bandbreite und deinen Arbeitsspeicher. Das unterscheidet ihn von Cloud-Crawlern auf fremder Infrastruktur. Der große Nutzen liegt im Tempo. Ein Crawl über einige Tausend Seiten braucht nur Minuten. Danach beantwortest du Fragen nach kaputten Links mit zwei Klicks. Diese Daten sind die Basis für jedes belastbare SEO-Audit.

Wann du ihn brauchst und wann nicht

Du brauchst den SEO Spider, sobald deine Website mehr als ein paar Dutzend Seiten hat. Er zeigt dir, was ein Crawler dort tatsächlich vorfindet. Bei einer winzigen Visitenkarten-Website reicht der Blick in die Search Console. Für Backlink-Recherche, Suchvolumen oder Rankings ist er das falsche Werkzeug. Er sieht immer nur die Website selbst und keine externen Signale.

Was der SEO Spider kostet

Die Preisfrage hat zwei Antworten. Bis 500 URLs pro Crawl kostet das Tool nichts. Darüber fällt eine Jahreslizenz pro Nutzer an. Den aktuellen Betrag findest du auf der Produktseite des Herstellers. Wir nennen ihn hier nicht, weil Lizenzpreise sich ändern. Eine veraltete Zahl beim Budgetieren schadet mehr, als sie nützt.

Kostenlose Version: 500 URLs

Die kostenlose Version crawlt vollständig, stoppt aber bei 500 URLs und lässt einige Funktionen weg. Für eine kleine Website oder eine schnelle Gegenprobe genügt sie völlig. Sobald du Crawls speichern oder eigene Konfigurationen sichern willst, stößt du an die Grenze.

Lizenz: Laufzeit, was dazukommt

Die Lizenz gilt ein Jahr und hängt am Nutzer, nicht am Gerät. Dieselbe Person darf sie auf mehreren eigenen Rechnern installieren. Läuft sie aus, fällt das Programm auf die 500-URL-Grenze zurück. Gespeicherte Crawls kannst du danach nicht mehr öffnen. Wer im Team arbeitet, braucht pro Person eine Lizenz. Ab fünf Lizenzen staffelt der Hersteller den Stückpreis nach unten. Rechne die Lizenz immer gegen den Aufwand einer großen Cloud-Suite.

Log File Analyser: zweite Lizenz, andere Aufgabe

Screaming Frog verkauft ein zweites Programm namens Log File Analyser. Es liest Server-Logfiles und zeigt, welche URLs der Googlebot wirklich abgerufen hat. Der SEO Spider zeigt dagegen, was ein Crawler vorfinden könnte. Beide Programme haben getrennte Lizenzen. Eine Lizenz für den SEO Spider schaltet den Log File Analyser also nicht frei. Wie du die Auswertung aufsetzt, steht in unserem Artikel zur Logfile-Analyse.

Erste Schritte

Bevor du loslegst, brauchst du die passende Hardware und den richtigen Speichermodus.

Systemanforderungen: welche Hardware für welche Projektgröße

In den Systemanforderungen stehen ein 64-Bit-System und mindestens 4 GB Arbeitsspeicher. Das ist die Untergrenze für einen kleinen Crawl und keine Empfehlung für Projektarbeit. Entscheidend sind Arbeitsspeicher, SSD und Speichermodus. Als Faustregel aus unseren Audits gilt diese Staffelung.

Installation und Lizenzschlüssel

Du lädst den SEO Spider von der Hersteller-Website herunter und folgst dem Installer. Den Lizenzschlüssel trägst du unter Licence > Enter Licence Key ein und startest das Programm neu. Erst danach sind Rendering, Custom Extraction und Scheduling verfügbar.

Speichermodus wählen

Bei größeren Crawls entscheidet der Speichermodus über die Performance. Du findest ihn unter File > Settings > Storage Mode.

• Datenbank-Speichermodus. Empfohlen, sobald dein Rechner eine SSD hat. Er verkraftet deutlich mehr URLs und speichert laufend mit.
• RAM-Speichermodus. Sinnvoll ohne SSD. Crawls lassen sich nur speichern, solange genug Arbeitsspeicher frei ist. Ein Absturz kostet den gesamten Lauf.

Einen Crawl starten und konfigurieren

Du kannst eine komplette Website durchsuchen oder gezielt eine Liste von URLs prüfen.

Spider-Modus und Listenmodus

Im Standard-Spider-Modus gibst du die Start-URL ein und klickst auf Start. Der Spider crawlt diese URL und alle internen Links derselben Subdomain. Der Fortschritt läuft in Echtzeit, und du kannst jederzeit pausieren.

Im Listenmodus unter Mode > List lädst du eine feste URL-Liste hoch. Das ist der Modus für eine XML-Sitemap oder eine Backlink-Liste. In einem Relaunch-Projekt haben wir so die komplette Alt-URL-Liste geprüft. Dabei fanden wir Weiterleitungsketten über drei Stationen, die im normalen Crawl der neuen Website unsichtbar geblieben wären.

Wichtige Konfigurationen

Standardmäßig crawlt der SEO Spider ähnlich wie Google. Unter Configuration passt du das Verhalten an deine Bedürfnisse an.

• JavaScript-Rendering. Viele Websites laden Inhalte per JavaScript nach. Unter Configuration > Spider > Rendering aktivierst du das Rendering. Der Spider nutzt dann ein integriertes Chromium. Bei JS-lastigen Seiten ist das Pflicht, sonst fehlen dir Inhalte und Links.
• Subdomains. Configuration > Spider > Crawl > Crawl All Subdomains erfasst alle Subdomains der Hauptdomain.
• Ein- und Ausschluss. Über Include und Exclude steuerst du mit regulären Ausdrücken, welche Pfade gecrawlt werden. Bei Shops sparen ausgeschlossene Filter-Parameter oft die Hälfte der Zeit.
• Große Websites. Erhöhe den Speicher unter File > Settings > Memory Allocation. Deaktiviere Bilder, CSS und JavaScript, wenn du nur die HTML-Struktur brauchst.
• Geschwindigkeit. Unter Configuration > Speed begrenzt du Threads und Anfragen pro Sekunde, damit schwächere Server nicht einbrechen.
• User-Agent. Unter Configuration > User-Agent simulierst du Googlebot, Bingbot oder einen mobilen Browser.

Konfigurationen speichern und wiederverwenden

Konfigurationen speichert der Spider als Datei. Leg dir drei Profile an, dann konfigurierst du nie wieder von vorn. Wir arbeiten mit genau diesen drei Profilen.

1. Technik-Audit schnell. Lässt Bilder, CSS und JavaScript weg und liefert in Minuten den Überblick über Statuscodes.
2. Content-Inventar. Aktiviert Wortzahl, Überschriften und Custom Extraction für Autor und Datum.
3. Migration im Listenmodus. Prüft eine Alt-URL-Liste auf Weiterleitungsziele.

Crawl-Daten verstehen

Die Oberfläche ist zweigeteilt und bietet rechts eine schnelle Übersicht. Das obere Fenster listet alle gecrawlten URLs mit Spalten wie Statuscode, Inhaltstyp und Title. Diese Daten sind in Tabs gruppiert.

• Internal und External. Alle internen beziehungsweise externen URLs.
• Response Codes. URLs nach HTTP-Status, also 2xx, 3xx, 4xx und 5xx.
• Page Titles, Meta Description, H1, H2. Die jeweiligen Onpage-Elemente mit Länge und Duplikat-Filter.
• Images, Directives, Canonicals, Hreflang. Bilder, Robots-Anweisungen, Canonicals und mehrsprachige Auszeichnung.

Klickst du oben auf eine URL, zeigt das untere Fenster die Details. Inlinks nennt die Seiten, die darauf verlinken. Outlinks zeigt die Ziele. Rechts liegen zwei Bereiche für den schnellen Überblick. Der Overview fasst die Kennzahlen aller Tabs zusammen. Ein Klick auf einen Wert springt direkt in den passenden Filter. Der Issues-Tab hebt Probleme und Warnungen hervor, klassifiziert nach Priorität und mit Lösungshinweis.

Konkrete Analysen

Hier erfährst du, wie du die häufigsten SEO-Fehler mit dem Spider aufdeckst.

• Broken Links finden. Im Tab Response Codes filterst du auf Client-Fehler (4xx) und Server-Fehler (5xx). Die Inlinks-Ansicht zeigt, welche Seiten auf die defekte URL verlinken. Genau dort korrigierst du den Link. Externe Treffer mit 403 oder 429 prüfst du vorher im Browser: Viele Websites blocken Crawler, die Seite selbst ist dann erreichbar.
• Redirects prüfen. Der Redirect-Chains-Report deckt Ketten und Schleifen auf. Interne Links sollen direkt auf das finale Ziel zeigen. Wie du Ketten auflöst, steht in unserem Artikel zu Redirects und Weiterleitungsketten.
• Titles und Meta-Beschreibungen. In den Tabs Page Titles und Meta Description filterst du auf fehlend, zu lang, zu kurz oder doppelt.
• Duplicate Content. Exakte Duplikate erkennt der Spider über Hash-Werte. Nah-Duplikate findet er über einen Ähnlichkeitswert unter Configuration > Content > Duplicates.
• Bilder und Alt-Texte. Im Tab Images filterst du auf Bilder über einer Größenschwelle oder ohne Alt-Text.
• Direktiven und Canonicals. Der Tab Directives zeigt URLs mit noindex oder nofollow. Der Tab Canonicals zeigt widersprüchliche Canonical-Angaben.

XML-Sitemaps erstellen und prüfen

Eine bestehende Sitemap prüfst du im Listenmodus. Du lädst die Datei hoch, startest den Crawl und liest danach Fehler oder nicht indexierbare URLs aus. Eine neue Sitemap erzeugst du nach einem vollständigen Crawl unter Sitemaps > XML Sitemap. Du hast dort Optionen für das Datum der letzten Änderung, die Priorität und eine separate Bild-Sitemap. Welche URLs überhaupt hineingehören, klärt unser Artikel zu XML-Sitemaps.

Fortgeschrittene Funktionen

Für spezielle Fälle bietet Screaming Frog mächtige Werkzeuge, die dir viel Handarbeit abnehmen.

Custom Extraction

Mit XPath, CSS-Path oder Regex ziehst du beliebige Daten aus dem HTML. Das ist ideal für Produktpreise, Autorennamen oder Veröffentlichungsdaten. Du konfigurierst das unter Configuration > Custom > Extraction. Mit Configuration > Custom > Search suchst du nach Text im Quelltext. So prüfst du zum Beispiel, ob ein Tracking-Code auf allen Seiten liegt.

API-Integrationen: GA4, Search Console, PageSpeed

Du verbindest den Spider direkt mit Google Analytics 4, der Google Search Console und PageSpeed Insights. Danach stehen Nutzerdaten, Klicks und Core Web Vitals pro gecrawlter URL in derselben Tabelle wie die technischen Felder. Damit findest du in einem Schritt die Seiten, die Impressionen bekommen, aber technisch nicht indexierbar sind.

Crawls vergleichen und Segmentierung

Lizenzierte Nutzer vergleichen zwei Crawls derselben Domain und sehen sofort, was sich verändert hat. Das ist der schnellste Weg, ein neues Release gegen die letzte Woche zu prüfen. Mit der Segmentierung teilst du einen Crawl vorher in Bereiche auf, etwa Shop, Magazin und Hilfebereich. Du liest dann Fehlerquoten pro Segment statt als ungenaue Gesamtzahl.

KI-Prompts im Crawl

Neuere Versionen wenden während des Crawls Prompts gegen Modelle von OpenAI, Google Gemini oder ein lokales Ollama an. Das hilft enorm, um Alt-Text-Vorschläge automatisch zu generieren. Die Prompts liegen unter Configuration > Custom > Custom JavaScript. Den Zugangsschlüssel hinterlegst du unter Configuration > API Access > AI. Die Kosten der API-Aufrufe trägst du selbst. Setz die Prompts bei großen Websites besser auf ein Segment an, nicht auf die ganze Domain.

Accessibility-Prüfung im Crawl

Der Spider prüft inzwischen auch Regeln zur Barrierefreiheit und listet Verstöße pro URL. Dahinter steckt das offene Regelwerk Axe von Deque. Aktivieren kannst du das unter Configuration > Spider > Extraction. Maschinell prüfbar ist damit nur ein Teil der Kriterien. Den Rest deckt erst eine manuelle Prüfung mit Screenreader und Tastatur ab, also ein eigenes Accessibility-Audit.

Crawls automatisieren: Scheduling und Kommandozeile

Wer den Spider nur ab und zu startet, braucht diesen Abschnitt nicht. Sobald du aber jede Woche denselben Crawl fährst oder nach jedem Release wissen willst, ob etwas kaputtgegangen ist, lohnt sich die Automatisierung. Dafür gibt es zwei Wege.

Der erste Weg ist die eingebaute Zeitplanung. Unter File > Scheduling legst du einen wiederkehrenden Crawl an: Start-URL, Zeitpunkt, eine gespeicherte Konfiguration und einen Zielordner, in den die Ergebnisse als CSV exportiert werden. Zum Termin startet Screaming Frog dann von selbst. Voraussetzung ist, dass der Rechner zu dieser Zeit läuft. Ein geplanter Crawl gehört deshalb auf eine Maschine, die dauerhaft eingeschaltet bleibt, etwa einen kleinen Server oder einen Bürorechner, der nachts nicht heruntergefahren wird.

Der zweite Weg ist die Kommandozeile. Damit startet ein anderes Programm den Spider, ohne dass jemand klickt, zum Beispiel ein Deployment-Skript direkt nach einem Release. Ein typischer Aufruf sieht so aus:

1ScreamingFrogSEOSpiderCli.exe --crawl https://example.com
2  --headless
3  --config "technik-audit.seospiderconfig"
4  --output-folder "C:/crawls/2026-09"
5  --export-format csv
6  --export-tabs "Internal:All,Response Codes:Client Error (4xx)"
7  --save-crawl --overwrite
Copy

Die Zeile liest sich von oben nach unten so:

• --crawl https://example.com nennt die Start-URL, genau wie das Adressfeld in der Oberfläche.
• --headless startet den Spider ohne Fenster, damit er auch auf einem Server ohne Bildschirm läuft.
• --config "technik-audit.seospiderconfig" lädt eine gespeicherte Konfiguration, zum Beispiel die aus dem Abschnitt oben. Der Automat crawlt damit mit denselben Einstellungen wie du per Hand.
• --output-folder "C:/crawls/2026-09" legt fest, in welchen Ordner die Ergebnisse geschrieben werden.
• --export-format csv wählt das Dateiformat. Alternativ gehen xlsx oder gsheet für Google Sheets.
• --export-tabs "Internal:All,Response Codes:Client Error (4xx)" exportiert nur die Tabs und Filter, die dich interessieren. Hier sind das alle internen URLs und alle 4xx-Fehler.
• --save-crawl --overwrite speichert zusätzlich die komplette Crawl-Datei und ersetzt dabei die vom letzten Lauf.

Auf macOS und Linux heißt die Programmdatei anders, die Optionen bleiben gleich.

Der eigentliche Nutzen entsteht in der Kette dahinter. Der Crawl läuft automatisch, die CSV-Dateien landen in einem Ordner, und ein kleines Skript vergleicht sie mit dem Vorlauf und meldet nur die Abweichungen, etwa neue 404-Seiten oder verlorene Titles. Wie du diesen Teil baust, zeigt unser Artikel zu Python für SEO.

Daten exportieren und Crawls speichern

Alle Daten aus dem oberen Fenster gehen über den Export-Button als CSV, Excel oder Google Sheet nach draußen. Für große Mengen nutzt du den Bulk Export im Hauptmenü. Im Datenbank-Speichermodus speichert der Spider laufend mit. Unter File > Crawls öffnest oder duplizierst du frühere Läufe. Behalte alte Crawls immer als Vergleichsbasis.

Screaming Frog für Wettbewerbsanalysen

Du darfst den Spider auch auf fremde Domains richten. Das liefert dir wertvolle Einblicke in die Content-Strategie der Konkurrenz. Crawle die Website eines Wettbewerbers und sortiere im Tab Internal nach der Spalte Inlinks. Seiten mit auffällig vielen internen Links sind die Hub-Seiten, in die er investiert. Mit Bulk Export > Links > All Anchor Text holst du alle internen Ankertexte. Die Häufigkeitsverteilung zeigt die Keywords, auf die die Struktur ausgelegt ist.

Aus dem Ergebnis entstehen drei Entscheidungen. Erstens siehst du Themen, die der Wettbewerber besetzt und du gar nicht behandelst. Zweitens erkennst du an der Verzeichnistiefe, wie er Kategorien schneidet. Drittens vergleichst du seine interne Linkdichte mit deiner. Übersetz das in deine eigene Struktur, statt sie blind zu kopieren. Halte die Crawl-Geschwindigkeit dabei niedrig und respektiere die robots.txt.

Grenzen des SEO Spider

Kein Werkzeug deckt alles ab. Diese Punkte solltest du kennen, bevor du eine Lizenz kaufst.

• Desktop-Programm. Der Crawl läuft nur, wenn dein Rechner läuft. Dauerhaftes Monitoring bekommst du nur über eine eigene Maschine plus Scheduling.
• Keine Offpage-Daten. Backlinks, Domain-Autorität und Sichtbarkeitsindizes liefert der Spider nicht.
• Keine echten Mobildaten. Du kannst mobile Browser simulieren, misst aber keine echten Endgeräte.
• Vorkenntnisse nötig. Der Spider zeigt Daten, er bewertet nicht. Was davon zählt, klärt unser Artikel zu technischem SEO.
• Hardware-Abhängigkeit. Bei sehr großen Websites entscheidet der Arbeitsspeicher, ob der Crawl durchläuft. Cloud-Crawler haben dieses Problem nicht.
• Lizenz pro Nutzer. Gemeinsames Arbeiten am selben Crawl ist unpraktisch, weil die Datenbank lokal liegt.

Alternativen und wann sie besser passen

Die Auswahl entscheidet sich am Betriebsmodell. Es geht um Desktop gegen Cloud und Einzelaudit gegen dauerhaftes Monitoring. Für einmalige Audits mit voller Kontrolle bleibt der SEO Spider unsere erste Wahl. Für laufendes Monitoring greifen wir zu einer Cloud-Lösung, weil niemand einen Rechner dafür durchlaufen lassen will.

Fazit

Der SEO Spider zeigt am genauesten, was Crawler auf einer Website vorfinden. Seine Stärke liegt in der Konfigurierbarkeit und im Tempo bei großen URL-Mengen. Seine Schwäche ist das Betriebsmodell als Desktop-Programm. Wer Kosten, Hardware und Grenzen kennt, holt mit Scheduling und Kommandozeile deutlich mehr heraus als mit einfachen Klick-Crawls.