Robots.txt und Sitemap erstellen: Anleitung für technisches SEO

Robots.txt und Sitemap gehören zu den wichtigsten technischen SEO-Dateien einer Website. Sie steuern, wie Suchmaschinen eine Website crawlen und welche Seiten leichter entdeckt werden sollen. Die robots.txt gibt Bots wie dem Googlebot Hinweise, welche Bereiche sie aufrufen dürfen und welche nicht; die Sitemap, genauer gesagt die XML-Sitemap, meldet Suchmaschinen wichtige URLs, Aktualisierungsdaten und die Struktur Ihrer Inhalte. Kurz gesagt: Die robots.txt lenkt das Crawling, die Sitemap beschleunigt die URL-Entdeckung. Richtig eingerichtet können robots.txt und Sitemap vor allem bei neuen Websites, Onlineshops, Unternehmensseiten und großen Content-Archiven die Effizienz der Indexierung deutlich verbessern.

In diesem Leitfaden zeigen wir Schritt für Schritt, wie Sie eine robots.txt erstellen, wie Sie eine Sitemap erstellen, welche Regeln sinnvoll sind, worauf Sie bei WordPress und individuell entwickelten Websites achten sollten, wie Sie Fehler testen und wie Sie Ihre Dateien bei Google einreichen. Dieser Beitrag für den Hostragons Blog ist auf aktuelle SEO-Anforderungen ausgerichtet: Suchintention, technische Genauigkeit, Crawl-Budget, Indexierbarkeit und praktische Umsetzung stehen im Mittelpunkt.

Was ist eine robots.txt?

Die robots.txt ist eine einfache Textdatei, die im Stammverzeichnis Ihrer Website liegt. Sie ist in der Regel unter https://ihre-domain.de/robots.txt erreichbar. Diese Datei gibt Suchmaschinen-Crawlern Hinweise dazu, welche Ordner oder Seiten gecrawlt werden dürfen und welche Bereiche nicht besucht werden sollen. Wichtig ist dabei: Die robots.txt ist kein Sicherheitswerkzeug. Sie ist lediglich eine Crawling-Anweisung für Bots, die sich an Standards halten.

So können zum Beispiel Administrationsbereiche, Warenkorb-Schritte, Filterparameter, interne Suchergebnisse oder Testverzeichnisse für das Crawling gesperrt werden. Vertrauliche Informationen schützt man damit jedoch nicht. Denn die robots.txt ist öffentlich einsehbar. Für echte Sicherheit benötigen Sie Passwortschutz, serverseitige Zugriffsbeschränkungen, eine saubere Hosting-Konfiguration und SSL. Für die grundlegende Sicherheit Ihrer Website können Sie daher SSL-Zertifikat berücksichtigen; für eine stabile und schnelle Basis lohnt sich außerdem ein Blick auf Webhosting.

Wofür wird die robots.txt verwendet?

• Sie steuert das Crawling-Verhalten von Suchmaschinen-Bots.
• Sie reduziert das Crawling unwichtiger oder doppelter Seiten.
• Sie hilft dabei, das Crawl-Budget auf wichtige Seiten zu konzentrieren.
• Sie kann Suchmaschinen den Speicherort der Sitemap mitteilen.
• Sie kann Bereiche wie Testumgebungen, Panels, interne Suche und parameterbasierte URLs vom Crawling ausschließen.

Gerade bei Websites mit tausenden Produkten, Kategorien, Tags oder Filterseiten kann eine falsch konfigurierte robots.txt dazu führen, dass Google wichtige Seiten zu spät entdeckt. Umgekehrt kann eine zu strenge Datei CSS, JavaScript, Bilder oder Kategorieseiten blockieren und dadurch die SEO-Performance beeinträchtigen.

Was ist eine Sitemap?

Eine Sitemap, meist als XML-Sitemap bezeichnet, ist eine Datei, die Suchmaschinen die wichtigen URLs Ihrer Website in strukturierter Form auflistet. Häufig ist sie unter https://ihre-domain.de/sitemap.xml erreichbar. Eine Sitemap sendet sinngemäß folgende Botschaft an Suchmaschinen: Diese Seiten sind für meine Website wichtig, bitte entdecke sie und prüfe, ob sie in den Index aufgenommen werden können.

Eine Sitemap kann Informationen wie URL, letztes Änderungsdatum, Änderungsfrequenz und Priorität enthalten. In der modernen SEO-Praxis ist vor allem das Feld für das letzte Änderungsdatum relevant. Suchmaschinen möchten aktuelle und hochwertige Inhalte effizient erkennen. Eine Sitemap allein garantiert allerdings keine Indexierung. Nur weil eine URL in der Sitemap steht, bedeutet das nicht automatisch, dass sie in Google erscheint. Die Seite muss hochwertig, erreichbar, indexierbar, kanonisch korrekt und passend zur Suchintention sein.

Wann ist eine Sitemap sinnvoll?

• Wenn Ihre Website neu veröffentlicht wurde.
• Wenn Sie viele Seiten, Produkte oder Blogbeiträge haben.
• Wenn Ihre interne Verlinkung noch nicht stark ausgeprägt ist.
• Wenn Sie viele Bild-, Video- oder News-Inhalte veröffentlichen.
• Wenn Ihr Onlineshop regelmäßig Produktänderungen erhält.
• Wenn Sie ältere Inhalte laufend aktualisieren.

Selbst bei einer kleinen Website mit guter interner Verlinkung ist eine Sitemap Best Practice. Sie gibt Suchmaschinen eine klare URL-Liste an die Hand und reduziert mögliche Verzögerungen bei der Entdeckung neuer oder aktualisierter Inhalte.

Unterschiede zwischen robots.txt und Sitemap

Robots.txt und Sitemap arbeiten zwar gut zusammen, erfüllen aber unterschiedliche Aufgaben. Die robots.txt ist vor allem für Crawling-Erlaubnisse und Einschränkungen zuständig, während die Sitemap die URLs aufführt, die Suchmaschinen entdecken sollen. Die folgende Tabelle fasst die wichtigsten Unterschiede zusammen.

Wie erstellt man eine robots.txt?

Eine robots.txt zu erstellen ist technisch einfach, erfordert aber SEO-Sorgfalt. Der Dateiname muss kleingeschrieben robots.txt lauten und die Datei muss im Stammverzeichnis der Website liegen. Die korrekte Adresse lautet also https://ihre-domain.de/robots.txt. Eine robots.txt in einem Unterordner wird von Suchmaschinen nicht als zentrale robots-Datei der Website gewertet.

1. Grundstruktur der robots.txt anlegen

Die einfachste Struktur erlaubt allen Bots das Crawling der Website und gibt den Sitemap-Speicherort an:

• User-agent: *
• Allow: /
• Sitemap: https://ihre-domain.de/sitemap.xml

User-agent: * steht hier für alle Bots. Allow: / erlaubt das Crawling der gesamten Website. Die Sitemap-Zeile teilt den Speicherort der XML-Sitemap mit. Für eine neu gestartete Website, die vollständig indexiert werden soll, ist diese Struktur meist ein sicherer Ausgangspunkt.

2. Bereiche definieren, die nicht gecrawlt werden sollen

Nicht jede Seite muss von Suchmaschinen gecrawlt werden. Besonders nutzerspezifische, temporäre, doppelte oder SEO-schwache Seiten können über die robots.txt eingeschränkt werden. Beispiele:

• Disallow: /wp-admin/
• Disallow: /warenkorb/
• Disallow: /kasse/
• Disallow: /suche/
• Disallow: /test/

Bei WordPress-Websites wird der Ordner /wp-admin/ häufig für Crawler gesperrt. Allerdings muss die Datei /wp-admin/admin-ajax.php erreichbar bleiben, damit bestimmte AJAX-Funktionen von Themes und Plugins sauber funktionieren. Eine typische WordPress-Struktur kann daher so aussehen:

• User-agent: *
• Disallow: /wp-admin/
• Allow: /wp-admin/admin-ajax.php
• Sitemap: https://ihre-domain.de/sitemap.xml

In diesem Beispiel bleibt der Administrationsbereich vom Crawling ausgeschlossen, während notwendige AJAX-Anfragen erlaubt werden. Wenn Ihre WordPress-Seite schneller und stabiler laufen soll, können Sie zusätzlich WordPress-Hosting prüfen.

3. Parameter und Filter bei Onlineshops kontrollieren

Onlineshops erzeugen durch Filter, Sortierungen, Farben, Größen, Preisbereiche, Verfügbarkeiten und Suchparameter oft sehr viele URL-Varianten. Eine Kategorie kann sich zum Beispiel in Varianten wie /schuhe?farbe=schwarz, /schuhe?groesse=42 oder /schuhe?sort=price_asc vervielfachen. Wird diese Struktur nicht kontrolliert, können Googlebots tausende wenig wertvolle Parameterseiten crawlen.

Für solche Bereiche sollten robots.txt, Canonical-Tags und Daten aus der Google Search Console gemeinsam bewertet werden. Es ist nicht immer die beste Lösung, jeden Parameter pauschal per robots.txt zu sperren. Einige Filterseiten können nämlich eine klare kommerzielle Suchintention bedienen. Eine Seite wie schwarze Herren-Sneaker kann SEO-Wert haben und sollte dann besser als eigene, indexierbare Kategorieseite geplant werden.

4. CSS- und JavaScript-Dateien nicht blockieren

Modernes SEO bewertet Seiten nicht nur als HTML, sondern auch in gerenderter Form. Wenn CSS- und JavaScript-Dateien blockiert werden, kann Google Layout, mobile Darstellung, Navigation oder dynamisch geladene Inhalte schlechter verstehen. Früher genutzte pauschale Regeln wie Disallow: /assets/ oder Disallow: /js/ sind heute oft riskant.

Die sichere Vorgehensweise lautet: Alle Ressourcen, die das Nutzererlebnis prägen, sollten für Bots erreichbar sein. Dazu gehören CSS, JavaScript, Bilder und Fonts. Eingeschränkt werden sollten nur Bereiche, die wirklich nicht gecrawlt werden müssen, etwa Verwaltungs-, temporäre oder private Verzeichnisse.

5. robots.txt testen

Nach dem Hochladen sollten Sie die Datei unbedingt prüfen. Achten Sie insbesondere auf folgende Punkte:

• Ist https://ihre-domain.de/robots.txt erreichbar und liefert die URL den Statuscode 200?
• Ist die Datei leer, fehlerhaft oder versehentlich einer anderen Domain zugeordnet?
• Zeigt die Sitemap-Zeile auf die korrekte URL?
• Werden wichtige Kategorie-, Produkt-, Leistungs- oder Blogseiten blockiert?
• Wurden CSS-, JS- oder Bildressourcen versehentlich gesperrt?

Mit dem URL-Prüftool in der Google Search Console können Sie kontrollieren, ob wichtige Seiten crawlbar sind. Eine Analyse der Server-Logs zeigt darüber hinaus, welche URLs der Googlebot tatsächlich besucht. Das ist fortgeschritten, aber sehr wertvoll. Für starke Serverperformance und eine saubere technische Basis können VPS-Server oder Geschäftliches Hosting passende Optionen sein.

Wie erstellt man eine Sitemap?

Beim Erstellen einer Sitemap geht es darum, Suchmaschinen eine saubere Liste hochwertiger und indexierbarer URLs bereitzustellen. Nicht jede URL Ihrer Website gehört automatisch in die Sitemap. Im Gegenteil: noindex-Seiten, Weiterleitungen, Fehlerseiten oder doppelte Inhalte in die Sitemap aufzunehmen, kann ein schlechtes technisches Signal senden.

1. Nur indexierbare URLs aufnehmen

Seiten, die in die Sitemap aufgenommen werden, sollten folgende Kriterien erfüllen:

• Sie sollten den Statuscode 200 zurückgeben.
• Sie sollten kein noindex-Tag enthalten.
• Sie sollten nicht durch robots.txt blockiert sein.
• Das Canonical-Tag sollte auf sich selbst oder auf das korrekte Ziel verweisen.
• Sie sollten einzigartigen Inhalt mit echtem Nutzerwert bieten.
• Sie sollten mobilfreundlich sein und schnell laden.

Gelöschte Produktseiten, dauerhaft entfernte Produkte, interne Suchergebnisse, Warenkorb- und Checkout-Seiten gehören nicht in die Sitemap. Wichtige Hauptkategorien, relevante Unterkategorien, Leistungsseiten, Blogbeiträge und aktive Produkte sollten dagegen in der XML-Sitemap enthalten sein.

2. Das XML-Sitemap-Format richtig nutzen

Eine einfache XML-Sitemap folgt grundsätzlich dieser Logik:

• <urlset> ist der zentrale Container.
• <url> ist ein eigener Block für jede Seite.
• <loc> enthält die vollständige URL der Seite.
• <lastmod> gibt das Datum der letzten Aktualisierung an.

Ein einzelner URL-Eintrag kann zum Beispiel so gedacht werden: <loc>https://ihre-domain.de/leistungen/</loc> und <lastmod>2026-01-15</lastmod>. Für das Datum empfiehlt sich das Format Jahr-Monat-Tag. Wichtig ist, dass lastmod automatisch und korrekt aktualisiert wird. Alle URLs täglich künstlich mit einem neuen Datum zu versehen, nur um Google anzustupsen, ist keine vertrauenswürdige Praxis.

3. Große Websites in mehrere Sitemaps aufteilen

Eine einzelne XML-Sitemap darf maximal 50.000 URLs enthalten und unkomprimiert nicht größer als 50 MB sein. Bei großen Websites ist es sinnvoller, einen Sitemap-Index zu nutzen statt alles in eine Datei zu packen. Beispiele:

• /post-sitemap.xml
• /page-sitemap.xml
• /product-sitemap.xml
• /category-sitemap.xml
• /image-sitemap.xml

Diese Struktur hilft Suchmaschinen, Dateien effizienter zu verarbeiten, und erleichtert Ihnen die Analyse von Indexierungsproblemen nach Inhaltstyp. Wenn zum Beispiel in einer Produkt-Sitemap 20.000 URLs enthalten sind, aber nur 8.000 indexiert werden, sollten Produktbeschreibungen, Verfügbarkeit, Duplicate Content, Ladegeschwindigkeit und Filterlogik genauer untersucht werden.

4. Sitemap in WordPress erstellen

Seit WordPress 5.5 gibt es eine integrierte XML-Sitemap-Funktion. Standardmäßig ist sie oft unter /wp-sitemap.xml erreichbar. In vielen professionellen Projekten werden jedoch Plugins wie Rank Math, Yoast SEO oder ähnliche SEO-Erweiterungen bevorzugt, weil sie mehr Kontrolle bieten. Damit lässt sich festlegen, welche Inhaltstypen in die Sitemap aufgenommen werden, ob Tag-Archive sichtbar sein sollen und wie Autorenarchive behandelt werden.

Ein häufiger Fehler bei WordPress-Websites ist, schwache Tag-Seiten in die Sitemap aufzunehmen. Wenn Tag-Archive keine individuellen Beschreibungen, keine starke interne Verlinkung und keine echte Suchnachfrage haben, ist es meist besser, sie aus der Sitemap auszuschließen. Um Ihre Content-Strategie zu stärken, können Sie außerdem auf Wie man einen SEO-konformen Blogartikel schreibt verweisen.

5. Sitemap-Automatisierung für individuell entwickelte Websites einrichten

Bei individuell programmierten Websites kann eine Sitemap zwar manuell erstellt werden, doch bei dynamischen Projekten ist eine automatische Generierung unverzichtbar. Wenn ein Produkt hinzugefügt, ein Blogbeitrag veröffentlicht oder eine Leistungsseite aktualisiert wird, sollte sich auch die Sitemap automatisch anpassen. Für Entwicklerteams sind folgende Regeln empfehlenswert:

• Veröffentlichte Seiten werden automatisch in die Sitemap aufgenommen.
• Gelöschte URLs oder URLs mit 404-Status werden aus der Sitemap entfernt.
• Seiten mit noindex werden nicht in die Sitemap aufgenommen.
• Seiten mit abweichendem Canonical-Ziel werden sorgfältig behandelt.
• Lastmod wird nur bei echten Inhaltsänderungen aktualisiert.

Diese Automatisierung ist besonders bei häufig aktualisierten News-, Kleinanzeigen-, Buchungs-, Bildungs- und E-Commerce-Projekten entscheidend für eine gesunde technische SEO-Basis.

Wie gibt man die Sitemap in der robots.txt an?

Es ist empfehlenswert, die Sitemap-Adresse am Ende der robots.txt einzutragen. So können Bots Ihre Sitemap leicht finden. Ein Beispiel:

• User-agent: *
• Allow: /
• Sitemap: https://ihre-domain.de/sitemap.xml

Wenn Sie mehrere Sitemap-Dateien nutzen, können Sie jede Datei in einer eigenen Zeile angeben:

• Sitemap: https://ihre-domain.de/post-sitemap.xml
• Sitemap: https://ihre-domain.de/product-sitemap.xml
• Sitemap: https://ihre-domain.de/category-sitemap.xml

Wenn Ihre Website HTTPS nutzt, sollten auch die Sitemap-URLs mit HTTPS angegeben werden. HTTP, www und non-www sollten nicht durcheinandergeraten. Deshalb ist es wichtig, Domain, SSL und Weiterleitungen von Anfang an sauber zu planen. Wenn Sie ein neues Projekt starten, sollten Sie Domain-Abfrage und SSL-Zertifikat gemeinsam mit Ihrer technischen SEO-Planung betrachten.

Sitemap in der Google Search Console einreichen

Nachdem Sie die Sitemap erstellt haben, sollten Sie sie über die Google Search Console einreichen. Die Schritte sind:

• Melden Sie sich in der Google Search Console an.
• Wählen Sie die richtige Property aus. Idealerweise nutzen Sie eine Domain-Property.
• Öffnen Sie im linken Menü den Bereich Sitemaps.
• Geben Sie die Sitemap-URL ein, zum Beispiel sitemap.xml.
• Klicken Sie auf Senden.
• Prüfen Sie im Statusbereich, ob die Verarbeitung erfolgreich war und wie viele URLs entdeckt wurden.

Erwarten Sie nach dem Einreichen der Sitemap nicht, dass alle Seiten sofort indexiert werden. Google entdeckt die URLs zunächst, crawlt sie, verarbeitet sie und entscheidet anhand verschiedener Qualitätssignale über die Indexierung. Bei neuen Websites kann dieser Prozess einige Tage bis mehrere Wochen dauern. Starke interne Verlinkung, hochwertige Inhalte und schnelle Serverantwortzeiten unterstützen den Prozess positiv.

Häufige Fehler bei robots.txt und Sitemap

1. Die gesamte Website versehentlich blockieren

Der kritischste Fehler ist eine Disallow: / Regel auf der Live-Website. Diese Regel verhindert das Crawling der gesamten Website. Häufig wird sie in Entwicklungsumgebungen genutzt und beim Livegang vergessen. Wenn sie nicht entfernt wird, kann Google neue Seiten nicht crawlen. Deshalb gehört die robots.txt unbedingt auf jede Go-live-Checkliste.

2. noindex-Seiten in die Sitemap aufnehmen

Eine Seite mit noindex zu versehen und sie gleichzeitig in die Sitemap aufzunehmen, erzeugt widersprüchliche Signale. Die Sitemap sagt: Diese Seite ist wichtig. noindex sagt: Diese Seite nicht indexieren. Deshalb sollte die Sitemap nur URLs enthalten, die tatsächlich indexiert werden sollen.

3. URLs mit 301, 404 oder 500 in der Sitemap belassen

URLs in der Sitemap sollten idealerweise den Statuscode 200 liefern. Weitergeleitete, nicht gefundene oder von Serverfehlern betroffene URLs sollten regelmäßig bereinigt werden. Ein monatlicher technischer SEO-Crawl hilft dabei, solche Probleme frühzeitig zu erkennen.

4. Falsche Domain oder falsches Protokoll verwenden

Wenn Ihre Hauptversion https://www.ihre-domain.de ist, sollten auch die URLs in der Sitemap genau dieses Format nutzen. Abweichende Protokolle oder Domain-Varianten können es Google erschweren, Signale sauber zusammenzuführen. Canonical-Tags, Sitemap, robots.txt und Weiterleitungen sollten daher auf dieselbe bevorzugte URL-Version zeigen.

5. Zu viele URLs einreichen

Die Sitemap ist kein Sammelkorb für alles, was technisch erreichbar ist. Nehmen Sie nicht jede URL auf, sondern nur hochwertige Seiten, die wirklich indexiert werden sollen. Minderwertige, doppelte oder sehr dünne Seiten aus der Sitemap auszuschließen, sendet Suchmaschinen ein klareres Signal.

Technische SEO-Checkliste

Wenn Sie robots.txt und Sitemap erstellen, können Sie die folgende Checkliste nutzen:

• Liegt die robots.txt im Stammverzeichnis und ist sie erreichbar?
• Ist die Sitemap-Adresse korrekt in der robots.txt angegeben?
• Werden wichtige Seiten nicht durch robots.txt blockiert?
• Sind CSS-, JavaScript- und Bildressourcen crawlbar?
• Enthält die Sitemap nur indexierbare URLs mit Statuscode 200?
• Sind noindex-Seiten aus der Sitemap ausgeschlossen?
• Spiegeln die lastmod-Daten echte Aktualisierungen wider?
• Wird bei großen Websites ein Sitemap-Index verwendet?
• Wurde die Sitemap in der Google Search Console erfolgreich verarbeitet?
• Unterstützen die Serverantwortzeiten effizientes Crawling?

Technisches SEO endet nicht beim Erstellen zweier Dateien. Hosting-Performance, SSL-Konfiguration, korrekte DNS-Einstellungen, Weiterleitungen, mobile Nutzbarkeit und Inhaltsqualität wirken ebenfalls direkt auf die SEO-Basis. Wenn Sie die Infrastruktur Ihres Projekts planen, sollten Sie deshalb Hosting-Pakete, Domain-Übertragung und Website Sicherheit gemeinsam betrachten.

Beispielstrategie für robots.txt und Sitemap

Für eine einfache Unternehmenswebsite kann die Struktur so aussehen: Startseite, Leistungsseiten, Über-uns-Seite, Kontaktseite und Blogbeiträge werden in die Sitemap aufgenommen. Administrationsbereich, Danke-Seiten von Formularen, temporäre Kampagnentests und interne Suchergebnisse werden über robots.txt oder noindex gesteuert. Eine solche Website hat häufig eine Sitemap mit etwa 20 bis 200 URLs.

Bei einem mittelgroßen Onlineshop können Produkt-, Kategorie-, Marken- und Blog-Sitemaps getrennt geführt werden. Aktive Produkte werden aufgenommen, dauerhaft entfernte Produkte entfernt und auf passende Alternativen per 301 weitergeleitet. Filter-URLs werden einzeln bewertet. Filter mit Suchvolumen und Conversion-Potenzial können als eigene Kategorie aufgebaut werden; die übrigen werden über robots.txt, Canonical oder noindex kontrolliert.

Bei einem contentstarken Blog oder Newsportal sind Veröffentlichungsdaten, Aktualisierungsdaten, Kategorien und interne Verlinkung besonders wichtig. Wenn ältere Inhalte überarbeitet werden, sollte lastmod korrekt geändert werden. Künstliche Aktualisierungen ohne echte Verbesserung sind dagegen nicht sinnvoll. Das stärkste Signal für Google ist eine tatsächliche inhaltliche Verbesserung.

Häufig gestellte Fragen

Verhindert die robots.txt die Indexierung vollständig?

Nein. Die robots.txt verhindert in erster Linie das Crawling, nicht in jedem Fall die Indexierung. Wenn eine URL von anderen Websites verlinkt wird, kann Google sie unter Umständen auch ohne Crawling im Index anzeigen. Um Indexierung zu verhindern, sollten in der Regel noindex-Tags oder geeignete Zugriffsbeschränkungen genutzt werden.

Bringt eine Sitemap bessere Google-Rankings?

Eine Sitemap garantiert keine besseren Rankings. Sie hilft aber dabei, wichtige Seiten schneller entdecken zu lassen, Aktualisierungen an Suchmaschinen zu melden und die technische SEO-Gesundheit zu verbessern. Für Rankings zählen zusätzlich Inhaltsqualität, Links, Nutzererfahrung, Geschwindigkeit und Vertrauenssignale.

Muss die Sitemap in der robots.txt stehen?

Pflicht ist das nicht, aber es ist empfehlenswert. Wenn die Sitemap-Adresse in der robots.txt steht, können Suchmaschinen die XML-Sitemap leichter finden. Zusätzlich ist das Einreichen über die Google Search Console eine gute Praxis.

Wie lautet die WordPress-Sitemap-Adresse?

Die Standard-Sitemap von WordPress ist meist unter /wp-sitemap.xml erreichbar. Wenn Sie SEO-Plugins verwenden, kann die Adresse /sitemap_index.xml oder /sitemap.xml lauten. Prüfen Sie die genaue URL abhängig vom eingesetzten Plugin.

Wie viele URLs darf eine Sitemap enthalten?

Eine einzelne XML-Sitemap darf maximal 50.000 URLs enthalten und die Grenze von 50 MB nicht überschreiten. Bei größeren Websites ist ein Sitemap-Index die beste Lösung, um Inhalte nach Seiten, Beiträgen, Produkten, Kategorien oder Bildern in separate Dateien aufzuteilen.

Fazit

Robots.txt und Sitemap sind zwei Bausteine des technischen SEO, die klein wirken, aber großen Einfluss haben können. Die robots.txt steuert das Crawling-Verhalten von Bots, während die Sitemap die Entdeckung wichtiger URLs erleichtert. Für eine saubere Konfiguration sollten Sie wichtige Seiten zugänglich lassen, unnötige Bereiche kontrolliert einschränken, nur indexierbare URLs in die Sitemap aufnehmen und die Google Search Console regelmäßig prüfen.

Wenn Sie die technische Basis Ihrer Website solide aufstellen möchten, sind zuverlässiges Hosting, saubere Domain-Verwaltung und eine korrekte SSL-Konfiguration ein guter Startpunkt. Mit den Lösungen von Hostragons für Webhosting, Domäne und SSL-Zertifikat können Sie eine schnelle, sichere und SEO-freundliche Infrastruktur für Ihre Website schaffen.