September 2020 aktualisiert Twitter @ItDoorlu

Inhaltsverzeichnis

1 Crawlers/Bots, die gesperrte Beiträge/Seiten crawlen
2 Liste Crawlers/Bots, die gesperrte Beiträge/Seiten crawlen
3 verwandte Fachartikel
4 Andere Themenblöcke bei ItDoor

Crawlers/Bots, die gesperrte Beiträge/Seiten crawlen

Es gibt Crawlers, die kümmern sich nicht darum, dass Sie Beiträge/Seiten auf Ihrer Website gegen das crawlen gesperrt haben. Die Liste dieser Crawlers, die ich hier vorstelle, wird wahrscheinlich nie vollständig sein. Aber die Liste ist mir mittlerweile lang genug, dass ich diese in diesem Fachartikel erwähne.

Was bedeutet in diesem Zusammenhang sperren? Für diejenigen, die nicht wissen, wie man Beiträge/Seiten gegen Crawler sperrt, hier einige kurze Erläuterungen. Am Beispiel des Plugins Yoast SEO für WordPress.

Buchtipp bei BoD: WordPress auf dem PC als Testsystem installieren

Schritt für Schritt mit über 100 hilfreichen Screenshots; ohne Programmierung

[Link zur Leseprobe]

Buchtipp bei BoD: Kostenlose WordPress-Themes

Schnell das passende Theme finden (für Anwender, Consultants und Theme-Developers). Mit über 130 Kapiteln und über 75 hilfreichen Tabellen; ohne Programmierung,

[Link zur Leseprobe]

Einen Beitrag für Crawlers sperren

Legen Sie in WordPress einen neuen Beitrag an, dann finden Sie unten unter „Erweitert“ diese Voreinstellungen von Yoast SEO.

Yoast SEO Voreinstellungen bei Erweitert für Beiträge

Grundsätzlich sollen Suchmaschinen einen Beitrag in den Suchergebnissen anzeigen. Ferner sollen Suchmaschinen Links auf diesem Beitrag folgen.

Diese Voreinstellungen sind in Ordnung. Denn der Regelfall dürfte wohl sein, dass Crawlers Beiträge crawlen sollen.

Aber Sie können mit Hilfe von Yoast SEO natürlich auch anders entscheiden.

Yoast SEO - Beitrag soll nicht in den Suchergebnissen angezeigt werden — Yoast SEO – Beitrag soll nicht in den Suchergebnissen angezeigt werden

Indem Sie hier „Nein“ auswählen. Dieses Nein wird aber von einigen Crawlers ignoriert (siehe die Liste unten)

Und um ganz sicher zu gehen, wählen Sie auf der folgenden Maske ebenfalls „Nein“ aus.

Yoast SEO - Suchmaschinen sollen Links zu diesem Beitrag nicht folgen — Yoast SEO – Suchmaschinen sollen Links zu diesem Beitrag nicht folgen

Eine Kombination von „Nein“ und „Ja“ habe ich übrigens nie getestet.

Damit sollte der Beitrag für alle Crawlers gesperrt sein.

Eine Seite für Crawlers sperren

Legen Sie in WordPress eine neue Seite an, dann finden Sie unten unter „Erweitert“ diese Voreinstellungen von Yoast SEO.

Yoast SEO Voreinstellungen bei Erweitert für Seiten

Wie Sie sehen, sind das die gleichen Voreinstellungen wie bei den Beiträgen.

Nur das Wort „Beiträge“ ist gegen das Wort „Seiten“ ausgetauscht. Die Sperrmöglichkeiten sind bei den Seiten identisch mit denen der Beiträge. Auch hier scheren sich einige Crawlers nicht darum, dass hie zweimal „Nein“ eingestellt ist. Zu meiner Testseite gibt es übrigens keinen einzigen Link. Dass die Testseite im Menü verankert ist, darf kein Grund für crawlen sein.

Wenn die Bots von Google sich an diese Einstellungen halten, kann man das von jedem anderen Crawler auch erwarten.

Sie können das selber testen

Sie erstellen einen Testbeitrag und eine Testseite mit zweimal „Nein“ bei den o. g. Einstellungen und verlinken auf Ihrer Website NICHT zum Testbeitrag und NICHT zur Testseite.

Da sowohl beim Testbeitrag und bei der Testseite neben der Überschrift kein Text erforderlich ist, ist der Erstellungsaufwand gering.

Wie groß der Beobachtungsaufwand ist, hängt von Ihnen ab. Wenn Sie z. B. ein Plugin wie z. B. Slimstat Analytics benutzen, verlangt niemand von Ihnen, dass Sie da stundenlang hinschauen. Sie schauen da nicht öfter hin als vorher.

Liste Crawlers/Bots, die gesperrte Beiträge/Seiten crawlen

Bitte beachten Sie, dass die folgende Liste nur eine bedingte Aussagekraft Für Sie haben kann. Erstens ist diese Liste unvollständig. Sie wird aber mit der Zeit ergänzt werden. Zweitens kann ich nicht garantieren, dass ausgerechnet diese Crawlers Ihre Website belästigen.

libwww-perl/6.05 (weitere Informationen [LINK])
Adsbot/3.1
Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Linguee Bot (http://www.linguee.com/bot; bot@linguee.com)
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
libwww-perl/6.08 (weitere Informationen [LINK])
DomainStatsBot/1.0 (https://domainstats.com/pages/our-bot)
Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/) (weitere Informationen [LINK])
serpstatbot/1.0
SeaMonkey/1.0
Mozilla/5.0 (compatible; vebidoobot/1.0; +https://blog.vebidoo.de/vebidoobot/)
Mozilla/5.0 (compatible; MegaIndex.ru/2.0; +http://megaindex.com/crawler)
ltx71 – (http://ltx71.com/)
Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)
Mozilla/5.0 (compatible; Seekport Crawler; http://seekport.com/) – weitere Infomationen zu seekport [LINK]
- Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)
- ia_archiver von Alexa [LINK]
- Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)
Wie Sie wahrscheinlich schon gemerkt haben, tragen nicht alle die Bezeichnung Bot oder Crawler in Ihrem Namen. Aber alle wurden von dem von mir benutzten Plugin als Bot/Crawler identifiziert.

Wenn Sie möchten, können Sie diese unseriösen Crawlers, die Ihre Einstellungen ignorieren, z. B. mit dem Plugin „All In One WP Security“ über ihre User Agent Strings ausschließen. Siehe Fachartikel „Schädliche Bots / User Agents , gute Bots, unnütze Bots“.

Da fehlt eigentlich nur noch, dass zukünftig auch Entwürfe gecrawlt werden.