Crawlers/Bots, die gesperrte Beiträge/Seiten crawlen

Januar 2020  Twitter @ItDoorlu

Crawlers/Bots, die gesperrte Beiträge/Seiten crawlen

Es gibt Crawlers, die kümmern sich nicht darum, dass Sie Beiträge/Seiten auf Ihrer Website gegen das crawlen gesperrt haben. Die Liste dieser Crawlers, die ich hier vorstelle, wird wahrscheinlich nie vollständig sein. Aber die Liste ist mir mittlerweile lang genug, dass ich diese in diesem Fachartikel erwähne.

Was bedeutet in diesem Zusammenhang sperren? Für diejenigen, die nicht wissen, wie man Beiträge/Seiten gegen Crawler sperrt, hier einige kurze Erläuterungen. Am Beispiel des Plugins Yoast SEO für WordPress.

Buchtipp bei BoD: WordPress auf dem PC als Testsystem installieren

Schritt für Schritt mit über 100 hilfreichen Screenshots; ohne Programmierung

[Link zur Leseprobe]

Buchtipp bei BoD: Kostenlose WordPress-Themes

Schnell das passende Theme finden (für Anwender, Consultants und Theme-Developers). Mit über 130 Kapiteln und über 75 hilfreichen Tabellen; ohne Programmierung,

[Link zur Leseprobe]

Einen Beitrag für Crawlers sperren

Legen Sie in WordPress einen neuen Beitrag an, dann finden Sie unten unter „Erweitert“ diese Voreinstellungen von Yoast SEO.

Yoast SEO Voreinstellungen bei Erweitert für Beiträge
Yoast SEO Voreinstellungen bei Erweitert für Beiträge

Grundsätzlich sollen Suchmaschinen einen Beitrag in den Suchergebnissen anzeigen. Ferner sollen Suchmaschinen Links auf diesem Beitrag folgen.

Diese Voreinstellungen sind in Ordnung. Denn der Regelfall dürfte wohl sein, dass Crawlers Beiträge crawlen sollen.

Aber Sie können mit Hilfe von Yoast SEO natürlich auch anders entscheiden.

Yoast SEO - Beitrag soll nicht in den Suchergebnissen angezeigt werden
Yoast SEO – Beitrag soll nicht in den Suchergebnissen angezeigt werden

Indem Sie hier „Nein“ auswählen. Dieses Nein wird aber von einigen Crawlers ignoriert (siehe die Liste unten)

Und um ganz sicher zu gehen, wählen Sie auf der folgenden Maske ebenfalls „Nein“ aus.

Yoast SEO - Suchmaschinen sollen Links zu diesem Beitrag nicht folgen
Yoast SEO – Suchmaschinen sollen Links zu diesem Beitrag nicht folgen

Eine Kombination von „Nein“ und „Ja“ habe ich übrigens nie getestet.

Damit sollte der Beitrag für alle Crawlers gesperrt sein.

Eine Seite für Crawlers sperren

Legen Sie in WordPress eine neue Seite an, dann finden Sie unten unter „Erweitert“ diese Voreinstellungen von Yoast SEO.

Yoast SEO Voreinstellungen bei Erweitert für Seiten
Yoast SEO Voreinstellungen bei Erweitert für Seiten

Wie Sie sehen, sind das die gleichen Voreinstellungen wie bei den Beiträgen.

Nur das Wort „Beiträge“ ist gegen das Wort „Seiten“ ausgetauscht. Die Sperrmöglichkeiten sind bei den Seiten identisch mit denen der Beiträge. Auch hier scheren sich einige Crawlers nicht darum, dass hie zweimal „Nein“ eingestellt ist. Zu meiner Testseite gibt es übrigens keinen einzigen Link. Dass die Testseite im Menü verankert ist, darf kein Grund für crawlen sein.

Wenn die Bots von Google sich an diese Einstellungen halten, kann man das von jedem anderen Crawler auch erwarten.

Sie können das selber testen

Sie erstellen einen Testbeitrag und eine Testseite mit zweimal „Nein“ bei den o. g. Einstellungen und verlinken auf Ihrer Website NICHT zum Testbeitrag und NICHT zur Testseite.

Da sowohl beim Testbeitrag und bei der Testseite neben der Überschrift kein Text erforderlich ist, ist der Erstellungsaufwand gering.

Wie groß der Beobachtungsaufwand ist, hängt von Ihnen ab. Wenn Sie z. B. ein Plugin wie z. B. Slimstat Analytics benutzen, verlangt niemand von Ihnen, dass Sie da stundenlang hinschauen. Sie schauen da nicht öfter hin als vorher.

Liste Crawlers/Bots, die gesperrte Beiträge/Seiten crawlen

Bitte beachten Sie, dass die folgende Liste nur eine bedingte Aussagekraft Für Sie haben kann. Erstens ist diese Liste unvollständig. Sie wird aber mit der Zeit ergänzt werden. Zweitens kann ich nicht garantieren, dass ausgerechnet diese Crawlers Ihre Website belästigen.

  • libwww-perl/6.05 (weitere Informationen [LINK])
  • libwww-perl/6.08 (weitere Informationen [LINK])
  • DomainStatsBot/1.0 (https://domainstats.com/pages/our-bot)
  • Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/) (weitere Informationen [LINK])
  • serpstatbot/1.0
  • SeaMonkey/1.0
  • Mozilla/5.0 (compatible; vebidoobot/1.0; +https://blog.vebidoo.de/vebidoobot/)
  • Mozilla/5.0 (compatible; MegaIndex.ru/2.0; +http://megaindex.com/crawler)
  • ltx71 – (http://ltx71.com/)

Wie Sie wahrscheinlich schon gemerkt haben, tragen nicht alle die Bezeichnung Bot oder Crawler in Ihrem Namen. Aber alle wurden von dem von mir benutzten Plugin als Bot/Crawler identifiziert.

Wenn Sie möchten, können Sie diese unseriösen Crawlers, die Ihre Einstellungen ignorieren, z. B. mit dem Plugin „All In One WP Security“ über ihre User Agent Strings ausschließen. Siehe Fachartikel „Schädliche Bots / User Agents , gute Bots, unnütze Bots“.

Da fehlt eigentlich nur noch, dass zukünftig auch Entwürfe gecrawlt werden.

verwandte Fachartikel

Schädliche Bots / User Agents , gute Bots, unnütze Bots

Andere Themenblöcke bei ItDoor

Software für Aktien und andere Wertpapiere

zu den Fachartikeln zum Thema Word von ItDoor für eilige Leser

Die Liste der Fachartikel zu WordPress von ItDoor

Zum WordPress Plugin Verzeichnis von ItDoor

Liste Fachartikel zum Thema Joomla von ItDoor

Fachartikel zum Thema Jutoh von ItDoor

IT Wörterbücher von ItDoor

zur Startseite von ItDoor

 

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

− 4 = 4