Was ist die Datei „robots.txt“ in WordPress und wie wird sie verwendet?

Die Kunst und Wissenschaft, Ihre Website in den Ergebnissen verschiedener Suchmaschinen zu einem hohen Rang zu bringen, wird allgemein als SEO (Search Engine Optimization) bezeichnet. Und es gibt viele verschiedene Aspekte, wenn es um SEO geht, vielleicht zu viele, um sie in einem einzigen Artikel abzudecken. Aus diesem Grund konzentrieren wir uns jetzt auf nur eine – die WordPress robots.txt-Datei. In diesem Artikel werden wir näher darauf eingehen, was die robots.txt-Datei ist und wie sie verwendet wird. Unter anderem besprechen wir verschiedene Möglichkeiten zum Erstellen der Datei und behandeln die Best Practices in Bezug auf ihre Richtlinien.

Was ist die Datei „robots.txt“?

Robots.txt ist eine Textdatei, die sich in Ihrem WordPress-Wurzelverzeichnis befindet. Sie können darauf zugreifen, indem Sie die deine-website.com/robots.txt URL in Ihrem Browser. Es dient dazu, Suchmaschinen-Bots mitzuteilen, welche Seiten Ihrer Website gecrawlt werden sollen und welche nicht. Streng genommen braucht eine Website keine robots.txt-Datei. Wenn Sie gerade dabei sind, Ihre Website zu erstellen, ist es am besten, sich zuerst auf die Erstellung von qualitativ hochwertigen Inhalten zu konzentrieren. Die Suchmaschinen-Bots crawlen Ihre Website, unabhängig davon, ob Sie die robots.txt-Datei haben oder nicht.

Es gibt jedoch einige Vorteile, eine robots.txt-Datei mit den richtigen Anweisungen zu haben, sobald Ihre WordPress-Website fertig ist. Abgesehen davon, dass Crawler daran gehindert werden, unnötigen Inhalt zu crawlen, stellen optimierte robots.txt-Anweisungen sicher, dass Ihre Crawling-Quote (die maximale Anzahl von Malen, die ein Crawler Ihre Website während einer bestimmten Zeit durchsuchen kann) nicht verschwendet wird.

Darüber hinaus können gut geschriebene WordPress robots.txt-Anweisungen die negativen Auswirkungen von Bad Bots reduzieren, indem ihnen der Zugriff verweigert wird. Dies wiederum, könnte die Ladegeschwindigkeit Ihrer Website insgesamt verbessern. Beachten Sie jedoch, dass robots.txt-Anweisungen nicht Ihre einzige Sicherheit sein dürfen. Schlechte Bots ignorieren diese Anweisungen oft, daher wird die Verwendung eines guten Sicherheits-Plugins dringend empfohlen, insbesondere wenn auf Ihrer Website Probleme auftreten, die durch schlechte Bots verursacht werden.

Schließlich ist es ein weit verbreiteter Irrglaube, dass die Datei robots.txt verhindern kann, dass einige Seiten Ihrer Website indiziert werden. Die Datei robots.txt kann Anweisungen enthalten, die das Crawlen und nicht das Indexieren verhindern. Und selbst wenn eine Seite nicht gecrawlt wird, kann sie über externe Links, die darauf führen, indiziert werden. Wenn Sie die Indexierung einer bestimmten Seite vermeiden möchten, sollten Sie die keinindex meta-Tag anstelle der Anweisungen in der robots.txt-Datei.

So verwenden Sie die Datei „robots.txt“

Nachdem wir geklärt haben, was eine WordPress robots.txt-Datei ist und was sie tut, können wir uns überlegen, wie sie verwendet wird. In diesem Abschnitt erfahren Sie, wie Sie eine robots.txt-Datei erstellen und bearbeiten, einige der bewährten Verfahren bezüglich ihres Inhalts und wie Sie sie auf Fehler testen.

So erstellen Sie die Datei „robots.txt“

Standardmäßig erstellt WordPress für jede Website eine virtuelle robots.txt-Datei. Eine solche Datei könnte beispielsweise so aussehen:

Roboter

Wenn Sie es jedoch bearbeiten möchten, müssen Sie eine echte robots.txt-Datei erstellen. In diesem Abschnitt erklären wir Ihnen drei Möglichkeiten, wie Sie dies tun können. Zwei davon beinhalten die Verwendung von WordPress-Plugins, während die dritte auf die Verwendung von FTP beruht.

Verwandt :  So erstellen Sie eine Mitarbeiterliste in WordPress

Mit über 5 Millionen aktiven Installationen, Yoast SEO ist eines der beliebtesten verfügbaren SEO-Plugins. Es verfügt über viele Tools zur Website-Optimierung, einschließlich einer Funktion, mit der Benutzer robots.txt-Dateien erstellen und bearbeiten können.

Nach der Installation des Plugins, klicken Sie auf das neu erstellte SEO Sektion, gefolgt von der Klicken Sie auf Werkzeug Unterabschnitt. Auf der sich öffnenden Seite, Klicken Sie auf Dateieditor Verknüpfung In der Nähe der Spitze.

Yoast SEO-Dateieditor

Suchen Sie auf der folgenden Seite die robots.txt Sektion. Von dort aus, wenn Sie es noch nicht zuvor erstellt haben, sollten Sie drücke die robots.txt-Datei erstellen Taste.

Yoast SEO robots.txt-Datei erstellen

Dadurch wird die Datei erstellt und Sie können ihren Inhalt in einem Textbereich sehen. In demselben Textbereich können Sie den Inhalt Ihrer neuen robots.txt-Datei bearbeiten. Wenn Sie mit der Bearbeitung der Datei fertig sind, drücken Sie die Änderungen an robots.txt speichern Knopf unter.

Yoast SEO Schaltfläche

Alles in einem SEO ist ein weiteres sehr beliebtes SEO-Plugin, das verschiedene kostenlose Funktionen bietet, einschließlich solcher, die es Benutzern ermöglichen, WordPress robots.txt-Dateien zu erstellen und zu bearbeiten.

Nach der Installation des Plugins, klick auf neu All-in-One-SEO Sektion in Ihrem Dashboard-Menü, gefolgt von a Klicken Sie auf Funktionsmanager Möglichkeit. Innerhalb des Funktionsmanager Seite, lokalisieren Robots.txt Merkmal und dann drücke die aktivieren Sie Taste Daneben.

All-in-One-SEO-Funktionsmanager

Dadurch wird die Datei robots.txt erstellt. Nachher, Sie sehen auch eine Erfolgsmeldung, die besagt, dass die Optionen aktualisiert wurden. Und ein neuer Unterabschnitt namens Robots.txt wird auftauchen.

All in One SEO aktualisiert

Durch Anklicken des Robots.txt Option erhalten Sie eine Ansicht des neuen Abschnitts. Dort können Sie der robots.txt-Datei neue Regeln/Anweisungen hinzufügen und sehen, wie sie derzeit aussieht.

Alles in einem SEO Robots.txt

Abgesehen von der Verwendung eines WordPress-Plugins können Sie die robots.txt-Datei einfach manuell erstellen. Zuerst, Erstellen Sie eine leere Datei vom Typ .txt auf Ihrem Computer und speichere es unter robots.txt.

Roboter speichern

Dann müssen Sie es per FTP auf Ihren Server hochladen. Wenn Sie mit FTP nicht vertraut sind, sollten Sie mehr über die Verwendung von FTP erfahren, bevor Sie fortfahren.

Wenn du bereit bist, Verbinden Sie sich mit Ihren FTP-Zugangsdaten mit Ihrem Server. Dann im rechten Abschnitt Navigieren Sie zu Ihrem WordPress-Wurzelverzeichnis, oft als public_html bezeichnet. Im linken Bereich Ihres FTP-Clients (wir verwenden Filezilla), Suchen Sie die robots.txt-Datei Sie zuvor erstellt und auf Ihrem Computer gespeichert haben. Rechtsklick darauf und wähle aus Hochladen Möglichkeit.

Roboter öffentlich

Innerhalb weniger Augenblicke wird die Datei hochgeladen und Sie können sie unter den Dateien in Ihrem WordPress-Wurzelverzeichnis sehen.

Wenn Sie die hochgeladene robots.txt-Datei anschließend bearbeiten möchten, suchen Sie sie im WordPress-Wurzelverzeichnis, klicken Sie mit der rechten Maustaste darauf und wählen Sie das Anzeigen/Bearbeiten Möglichkeit.

FTP-Roboter

Hinzufügen von Regeln zur Datei „robots.txt“

Da Sie nun wissen, wie Sie die Datei robots.txt erstellen und bearbeiten, können wir uns näher mit den Anweisungen befassen, die diese Datei enthalten kann. Die beiden Anweisungen, die am häufigsten in der robots.txt enthalten sind, sind User-Agent und Nicht zulassen.

Die User-Agent-Direktive gibt an, welche der unter der User-Agent-Direktive aufgeführten Direktiven angewendet werden. Sie können einen einzelnen Bot angeben (zB User-Agent: Bingbot) oder Machen Sie die Anweisungen für alle Bots gültig, indem Sie ein Sternchen setzen (User-Agent: *).

Verwandt :  Ab sofort können Sie den neuen Kindle Paperwhite vorbestellen

Die Disallow-Direktive weist den Bot an, nicht auf einen bestimmten Teil Ihrer Website zuzugreifen. Und es gibt auch die Allow-Direktive, die einfach das Gegenteil bewirkt. Sie müssen es nicht so oft verwenden wie Disallow, da Bots standardmäßig Zugriff auf Ihre Website erhalten. Die Allow-Direktive wird normalerweise in Kombination mit der Disallow-Direktive verwendet. Genauer gesagt dient es dazu, den Zugriff auf eine Datei oder einen Unterordner zu ermöglichen, der zu einem unzulässigen Ordner gehört.

Darüber hinaus gibt es zwei weitere Richtlinien: Crawl-Verzögerung und Seitenverzeichnis. Die Crawl-Delay-Direktive wird verwendet, um eine Serverüberlastung aufgrund übermäßiger Crawling-Anforderungen zu verhindern. Jedoch, Diese Anweisung sollte mit Vorsicht verwendet werden da es von einigen Crawlern (zB Googlebot) nicht unterstützt wird und von den Crawlern, die es unterstützen (zB BingBot), unterschiedlich interpretiert wird. Die Sitemap-Direktive dient dazu, die Suchmaschinen auf Ihre XML-Sitemap-Datei zu verweisen. Es wird dringend empfohlen, diese Anweisung zu verwenden, da sie Ihnen bei der Übermittlung der von Ihnen erstellten XML-Sitemap an die Google Search Console oder die Bing-Webmaster-Tools helfen kann. Beachten Sie jedoch, dass Sie eine absolute URL verwenden sollten, um auf Ihre Sitemap zu verweisen (z. B. Sitemap: https://www.example.com/sitemap_index.xml) bei Verwendung dieser Direktive.

Im folgenden Abschnitt zeigen wir Ihnen zwei Beispiel-Schnipsel, um die Verwendung der oben erwähnten robots.txt-Anweisungen zu veranschaulichen. Dies sind jedoch nur Beispiele; Abhängig von Ihrer Website benötigen Sie möglicherweise eine andere Untergruppe von Anweisungen. Lassen Sie uns in diesem Sinne einen Blick auf die Schnipsel werfen.

User-Agent: *
Nicht zulassen: /wp-admin/
Zulassen: /wp-admin/admin-ajax.php

User-Agent: *
Erlauben: /wp-content/uploads/
Verbieten: /wp-content/plugins/
Nicht zulassen: /wp-admin/
Nicht zulassen: /readme.html
Verbieten: /refer/

Sitemap: https://www.example.com/sitemap_index.xml

Testen der Datei „robots.txt“

Nachdem Sie die Anweisungen hinzugefügt haben, die den Anforderungen Ihrer Website entsprechen, sollten Sie Ihre WordPress robots.txt-Datei testen. Auf diese Weise vergewissern Sie sich, dass die Datei keine Syntaxfehler enthält, und stellen Sie sicher, dass die entsprechenden Bereiche Ihrer Website ordnungsgemäß zugelassen oder nicht zugelassen wurden.

Um die robots.txt-Datei Ihrer Website zu testen, Navigieren Sie zu einem SEO-Test-Website. Dann Fügen Sie eine beliebige URL ein, die von Ihrer Website verwaltet wird (z. B. Ihre Homepage-URL), Wählen Sie einen Benutzeragenten (zum Beispiel Googlebot) und drücke die Prüfen Taste.

Roboter-Tool

Wenn die URL crawlbar ist, sehen Sie ein grünes Ergebnis mit der Aufschrift Dürfen. Sonst heißt es Unzulässig. Um die richtigen Crawling-Anweisungen auf Ihrer Website zu bestätigen, können Sie denselben Vorgang für beliebig viele verschiedene URLs auf Ihrer Website wiederholen.

Abschließende Gedanken

Die Datei robots.txt ist eine Textdatei, die sich im Stammverzeichnis jeder WordPress-Site befindet. Es enthält Anweisungen für Crawler, die ihnen mitteilen, welche Teile Ihrer Website sie crawlen sollen oder nicht. Obwohl diese Datei standardmäßig virtuell ist, kann es für Ihre SEO-Bemühungen sehr nützlich sein, zu wissen, wie Sie sie selbst erstellen.

Aus diesem Grund haben wir verschiedene Möglichkeiten zum Erstellen einer physischen Version der Datei behandelt und Anweisungen zum Bearbeiten gegeben. Darüber hinaus haben wir die wichtigsten Anweisungen angesprochen, die eine WordPress-robots.txt-Datei enthalten sollte, und wie Sie testen können, ob Sie sie richtig einstellen. Nachdem Sie all dies nun gemeistert haben, können Sie sich überlegen, wie Sie die anderen SEO-Aspekte Ihrer Website aussortieren können.