{"id":3322,"date":"2026-11-17T10:00:24","date_gmt":"2026-11-17T09:00:24","guid":{"rendered":"https:\/\/madebydries.be\/?p=3322"},"modified":"2026-11-19T14:38:42","modified_gmt":"2026-11-19T13:38:42","slug":"robots-txt-ki-crawler","status":"publish","type":"post","link":"https:\/\/madebydries.be\/de\/ratgeber\/robots-txt-ki-crawler\/","title":{"rendered":"robots.txt und KI-Crawler: GPTBot, OAI-SearchBot und mehr"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"3322\" class=\"elementor elementor-3322 elementor-754\" data-elementor-post-type=\"post\">\n\t\t\t\t<section class=\"elementor-element elementor-element-38459d5 e-con-boxed svc-hero mbd-section mbd-inset mbd-surface--dark mbd-bg-flow mbd-bg-flow--dark e-flex e-con e-parent\" data-id=\"38459d5\" data-element_type=\"container\" data-e-type=\"container\" id=\"top\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-8c498b0 e-con-full mbd-gap-l e-flex e-con e-child\" data-id=\"8c498b0\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-99ededf mbd-eyebrow elementor-widget elementor-widget-heading\" data-id=\"99ededf\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">SEO &amp; Technik<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-c540a3e svc-hero__title elementor-widget elementor-widget-heading\" data-id=\"c540a3e\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h1 class=\"elementor-heading-title elementor-size-default\">robots.txt und KI-Crawler: GPTBot, OAI-SearchBot und mehr<\/h1>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-84ee99c svc-hero__lead mbd-lead elementor-widget elementor-widget-text-editor\" data-id=\"84ee99c\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Website, in der Sie Crawler bitten, bestimmte Bereiche abzurufen oder nicht. KI-Anbieter verwenden eigene Crawler mit eigenen Namen, etwa GPTBot und OAI-SearchBot, die Sie in dieser Datei einzeln zulassen oder ablehnen k\u00f6nnen. Es bleibt eine Bitte, kein Schloss.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-a49d308 e-con-full kb-byline mbd-gap-m e-flex e-con e-child\" data-id=\"a49d308\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-a23822a elementor-widget elementor-widget-heading\" data-id=\"a23822a\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Von <a href=\"https:\/\/madebydries.be\/de\/ueber-dries-nijs\/\">Dries Nijs<\/a>, Organic Web Specialist<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-cd2ab65 elementor-widget elementor-widget-heading\" data-id=\"cd2ab65\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Zuletzt aktualisiert: 19 November 2026<\/p>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-37a18a3 e-con-boxed mbd-section mbd-inset mbd-surface mbd-gap-xl e-flex e-con e-parent\" data-id=\"37a18a3\" data-element_type=\"container\" data-e-type=\"container\" id=\"in-het-kort\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-cc9ff6b e-grid e-con-full mbd-gap-2xl mbd-topic-grid e-con e-child\" data-id=\"cc9ff6b\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-e16fe90 e-con-full home-head mbd-gap-m e-flex e-con e-child\" data-id=\"e16fe90\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-9561e2e mbd-eyebrow elementor-widget elementor-widget-heading\" data-id=\"9561e2e\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Auf einen Blick<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8e743e3 elementor-widget elementor-widget-heading\" data-id=\"8e743e3\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">robots.txt und KI-Crawler: die kurze Antwort<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-788d773 mbd-lead elementor-widget elementor-widget-text-editor\" data-id=\"788d773\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p><strong>Die meisten KI-Anbieter arbeiten mit mehr als einem Crawler.<\/strong> Einer sammelt Inhalte, die zum Training von Modellen verwendet werden k\u00f6nnen, ein anderer baut den Suchindex auf, aus dem das System Quellen f\u00fcr seine Antworten bezieht, und ein dritter ruft eine Seite ab, wenn ein Nutzer selbst darum bittet.<\/p><p>Diese Unterscheidung ist wichtig, weil Sie die Crawler einzeln steuern k\u00f6nnen. Wer alle KI-Crawler auf einmal blockiert, schlie\u00dft sich auch als Quelle in KI-Suchergebnissen aus. Wer nur das Training ablehnen m\u00f6chte, kann das tun, ohne seine Sichtbarkeit aufzugeben.<\/p><p>Unten steht pro Anbieter, welche Namen offiziell dokumentiert sind, was sie tun und was <em>robots.txt<\/em> kann und was nicht. Die Angaben wurden am 17. November 2026 gepr\u00fcft; Anbieter passen ihre Crawler regelm\u00e4\u00dfig an.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f72ae08 mbd-topic-cell elementor-widget elementor-widget-html\" data-id=\"f72ae08\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t\t<figure class=\"mbd-topic\"><img loading=\"lazy\" width=\"1440\" height=\"810\" src=\"https:\/\/madebydries.be\/wp-content\/uploads\/topic-visuals\/robots-txt-madebydries.webp\" class=\"mbd-topic__img\" alt=\"robots.txt \u2013 Beispiel, das einen Trainings-Crawler ablehnt und einen Such-Crawler zul\u00e4sst\" loading=\"lazy\" decoding=\"async\" sizes=\"auto, (min-width: 1025px) 440px, (min-width: 640px) 576px, calc(100vw - 2rem)\" srcset=\"https:\/\/madebydries.be\/wp-content\/uploads\/topic-visuals\/robots-txt-madebydries.webp 1440w, https:\/\/madebydries.be\/wp-content\/uploads\/topic-visuals\/robots-txt-madebydries-300x169.webp 300w, https:\/\/madebydries.be\/wp-content\/uploads\/topic-visuals\/robots-txt-madebydries-1024x576.webp 1024w, https:\/\/madebydries.be\/wp-content\/uploads\/topic-visuals\/robots-txt-madebydries-768x432.webp 768w\" \/><\/figure>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-da86d70 e-con-full svc-jump e-flex e-con e-child\" data-id=\"da86d70\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-805b636 elementor-widget elementor-widget-text-editor\" data-id=\"805b636\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<nav aria-label=\"Auf dieser Seite\"><p>Auf dieser Seite<\/p><ul><li><a href=\"#basis\">Wie robots.txt funktioniert<\/a><\/li><li><a href=\"#soorten\">Drei Arten<\/a><\/li><li><a href=\"#overzicht\">\u00dcbersicht pro Anbieter<\/a><\/li><li><a href=\"#voorbeeld\">Beispiel<\/a><\/li><li><a href=\"#kiezen\">Zulassen oder blockieren<\/a><\/li><li><a href=\"#grenzen\">Grenzen<\/a><\/li><li><a href=\"#controleren\">Kontrollieren<\/a><\/li><li><a href=\"#faq\">H\u00e4ufig gestellte Fragen<\/a><\/li><\/ul><\/nav>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-50239a6 e-con-boxed mbd-section mbd-gap-xl e-flex e-con e-parent\" data-id=\"50239a6\" data-element_type=\"container\" data-e-type=\"container\" id=\"basis\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-569c62f e-grid e-con-full mbd-gap-2xl e-con e-child\" data-id=\"569c62f\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-e666573 e-con-full home-head mbd-gap-m e-flex e-con e-child\" data-id=\"e666573\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-670f785 mbd-eyebrow elementor-widget elementor-widget-heading\" data-id=\"670f785\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Grundlagen<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1ffecb7 elementor-widget elementor-widget-heading\" data-id=\"1ffecb7\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">Wie funktioniert robots.txt?<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-52c54ef mbd-lead elementor-widget elementor-widget-text-editor\" data-id=\"52c54ef\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Die Datei liegt unter <code>jouwdomein.be\/robots.txt<\/code>. Ein Crawler, der sich an die Vereinbarung h\u00e4lt, liest sie, bevor er Seiten abruft.<\/p><p>Die Regeln sind in einem formellen Internetstandard festgelegt, dem Robots Exclusion Protocol.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5d4ed1e kb-prose elementor-widget elementor-widget-text-editor\" data-id=\"5d4ed1e\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<figure class=\"kb-code\"><figcaption>Eine einfache robots.txt-Datei<\/figcaption><pre><code>User-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php\n\nSitemap: https:\/\/example.com\/sitemap_index.xml<\/code><\/pre><\/figure><ul><li><strong>User-agent<\/strong> gibt an, f\u00fcr welchen Crawler die Regeln gelten. Ein Sternchen bedeutet: f\u00fcr alle.<\/li><li><strong>Disallow<\/strong> bittet darum, einen Pfad nicht abzurufen. <strong>Allow<\/strong> macht davon eine Ausnahme.<\/li><li><strong>Ein eigener Block hat Vorrang.<\/strong> Gibt es einen Block f\u00fcr einen bestimmten Crawler, folgt dieser Crawler diesem Block und nicht den allgemeinen Regeln.<\/li><li><strong>Sitemap<\/strong> verweist auf die \u00dcbersicht Ihrer indexierbaren Seiten.<\/li><\/ul>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-71b63fc e-con-boxed mbd-section mbd-inset mbd-surface mbd-gap-2xl e-flex e-con e-parent\" data-id=\"71b63fc\" data-element_type=\"container\" data-e-type=\"container\" id=\"soorten\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-70c3d2e e-grid e-con-full mbd-gap-2xl e-con e-child\" data-id=\"70c3d2e\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-21d45b3 e-con-full home-head mbd-gap-m e-flex e-con e-child\" data-id=\"21d45b3\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-2e3233b mbd-eyebrow elementor-widget elementor-widget-heading\" data-id=\"2e3233b\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Unterscheidung<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-9606efb elementor-widget elementor-widget-heading\" data-id=\"9606efb\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">Drei Arten von KI-Crawlern<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-dd6ac2f mbd-lead elementor-widget elementor-widget-text-editor\" data-id=\"dd6ac2f\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Der Name eines Crawlers sagt wenig aus. Entscheidend ist, wof\u00fcr die abgerufenen Inhalte verwendet werden.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-761012e e-grid e-con-full mbd-gap-xl e-con e-child\" data-id=\"761012e\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-58425d1 e-con-full svc-duo__col mbd-gap-s e-flex e-con e-child\" data-id=\"58425d1\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-276fd80 home-label elementor-widget elementor-widget-heading\" data-id=\"276fd80\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">F\u00fcr das Modell<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-31131bf elementor-widget elementor-widget-heading\" data-id=\"31131bf\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Trainings-Crawler<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-da2efa1 elementor-widget elementor-widget-text-editor\" data-id=\"da2efa1\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Sie sammeln \u00f6ffentliche Inhalte, die zum Training k\u00fcnftiger Modelle verwendet werden k\u00f6nnen. Sie abzulehnen hat keinen Einfluss auf Ihre Platzierung in Suchergebnissen.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-c40ba04 e-con-full svc-duo__col mbd-gap-s e-flex e-con e-child\" data-id=\"c40ba04\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-877e931 home-label elementor-widget elementor-widget-heading\" data-id=\"877e931\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">F\u00fcr die Antworten<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-441d97e elementor-widget elementor-widget-heading\" data-id=\"441d97e\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Such-Crawler<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-52de744 elementor-widget elementor-widget-text-editor\" data-id=\"52de744\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Sie bauen den Index auf, aus dem ein KI-System Quellen ausw\u00e4hlt und Links anzeigt. Wer sie ablehnt, erscheint dort nicht oder kaum als Quelle.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-da30afa e-con-full svc-duo__col mbd-gap-s e-flex e-con e-child\" data-id=\"da30afa\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-3b3b7fd home-label elementor-widget elementor-widget-heading\" data-id=\"3b3b7fd\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Auf Anfrage<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-9ce1329 elementor-widget elementor-widget-heading\" data-id=\"9ce1329\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Abrufe durch Nutzer<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-d070855 elementor-widget elementor-widget-text-editor\" data-id=\"d070855\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Jemand f\u00fcgt einen Link ein oder bittet das System, sich eine Seite anzusehen. Das ist kein automatisches Crawlen, und Anbieter behandeln es anders als ihre Crawler.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-160446f e-con-boxed mbd-section mbd-gap-xl e-flex e-con e-parent\" data-id=\"160446f\" data-element_type=\"container\" data-e-type=\"container\" id=\"overzicht\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-90aeb75 e-grid e-con-full mbd-gap-2xl e-con e-child\" data-id=\"90aeb75\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-fabf97b e-con-full home-head mbd-gap-m e-flex e-con e-child\" data-id=\"fabf97b\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-31003b9 mbd-eyebrow elementor-widget elementor-widget-heading\" data-id=\"31003b9\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Referenz<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8f13fbb elementor-widget elementor-widget-heading\" data-id=\"8f13fbb\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">Welche KI-Crawler sind offiziell dokumentiert?<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-c748913 mbd-lead elementor-widget elementor-widget-text-editor\" data-id=\"c748913\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Diese \u00dcbersicht enth\u00e4lt nur Namen, die der Anbieter selbst beschreibt. In Ihren Serverlogs tauchen auch andere Bots auf; ohne offizielle Dokumentation wissen Sie nicht sicher, von wem sie stammen oder was sie tun.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f794862 kb-table kb-table--compare elementor-widget elementor-widget-text-editor\" data-id=\"f794862\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<table><caption>Offiziell dokumentierte KI-Crawler und robots.txt-Tokens<\/caption><thead><tr><th scope=\"col\">Name in robots.txt<\/th><th scope=\"col\">Anbieter<\/th><th scope=\"col\">Art<\/th><th scope=\"col\">Was der Anbieter dazu sagt<\/th><\/tr><\/thead><tbody><tr><th scope=\"row\"><code>GPTBot<\/code><\/th><td data-label=\"Anbieter\">OpenAI<\/td><td data-label=\"Art\">Training<\/td><td data-label=\"Was der Anbieter dazu sagt\">Ruft Inhalte ab, die zum Training der Modelle von OpenAI verwendet werden k\u00f6nnen.<\/td><\/tr><tr><th scope=\"row\"><code>OAI-SearchBot<\/code><\/th><td data-label=\"Anbieter\">OpenAI<\/td><td data-label=\"Art\">Suchen<\/td><td data-label=\"Was der Anbieter dazu sagt\">Dient der Suchfunktion von ChatGPT. Unabh\u00e4ngig von GPTBot: Sie k\u00f6nnen das eine zulassen und das andere ablehnen.<\/td><\/tr><tr><th scope=\"row\"><code>ChatGPT-User<\/code><\/th><td data-label=\"Anbieter\">OpenAI<\/td><td data-label=\"Art\">Auf Anfrage eines Nutzers<\/td><td data-label=\"Was der Anbieter dazu sagt\">Besucht eine Seite, wenn ein Nutzer darum bittet. Kein automatischer Crawler; robots.txt-Regeln gelten hier m\u00f6glicherweise nicht.<\/td><\/tr><tr><th scope=\"row\"><code>OAI-AdsBot<\/code><\/th><td data-label=\"Anbieter\">OpenAI<\/td><td data-label=\"Art\">Werbung<\/td><td data-label=\"Was der Anbieter dazu sagt\">Pr\u00fcft Seiten, die als Anzeige in ChatGPT eingereicht wurden. Besucht laut OpenAI nur diese Seiten; die Daten dienen nicht dem Training von Modellen.<\/td><\/tr><tr><th scope=\"row\"><code>ClaudeBot<\/code><\/th><td data-label=\"Anbieter\">Anthropic<\/td><td data-label=\"Art\">Training<\/td><td data-label=\"Was der Anbieter dazu sagt\">Sammelt \u00f6ffentliche Webinhalte, die zum Training von Modellen beitragen k\u00f6nnen. Befolgt robots.txt.<\/td><\/tr><tr><th scope=\"row\"><code>Claude-SearchBot<\/code><\/th><td data-label=\"Anbieter\">Anthropic<\/td><td data-label=\"Art\">Suchen<\/td><td data-label=\"Was der Anbieter dazu sagt\">Indexiert Inhalte, um die Qualit\u00e4t der Suchergebnisse f\u00fcr Nutzer zu verbessern.<\/td><\/tr><tr><th scope=\"row\"><code>Claude-User<\/code><\/th><td data-label=\"Anbieter\">Anthropic<\/td><td data-label=\"Art\">Auf Anfrage eines Nutzers<\/td><td data-label=\"Was der Anbieter dazu sagt\">Ruft Seiten ab, wenn ein Nutzer von Claude eine Frage stellt, die das erfordert. Befolgt laut Anthropic robots.txt.<\/td><\/tr><tr><th scope=\"row\"><code>PerplexityBot<\/code><\/th><td data-label=\"Anbieter\">Perplexity<\/td><td data-label=\"Art\">Suchen<\/td><td data-label=\"Was der Anbieter dazu sagt\">Dient dazu, Websites in den Suchergebnissen von Perplexity anzuzeigen und zu verlinken; laut Perplexity nicht zum Training von Basismodellen.<\/td><\/tr><tr><th scope=\"row\"><code>Perplexity-User<\/code><\/th><td data-label=\"Anbieter\">Perplexity<\/td><td data-label=\"Art\">Auf Anfrage eines Nutzers<\/td><td data-label=\"Was der Anbieter dazu sagt\">Besucht eine Seite, wenn die Frage eines Nutzers das erfordert; ignoriert dabei in der Regel robots.txt.<\/td><\/tr><tr><th scope=\"row\"><code>Google-Extended<\/code><\/th><td data-label=\"Anbieter\">Google<\/td><td data-label=\"Art\">Token, kein Crawler<\/td><td data-label=\"Was der Anbieter dazu sagt\">Regelt, ob Inhalte, die Google bereits crawlt, zum Training von Gemini-Modellen und f\u00fcr Grounding verwendet werden d\u00fcrfen. Hat keinen Einfluss auf die Google Suche.<\/td><\/tr><tr><th scope=\"row\"><code>Applebot-Extended<\/code><\/th><td data-label=\"Anbieter\">Apple<\/td><td data-label=\"Art\">Token, kein Crawler<\/td><td data-label=\"Was der Anbieter dazu sagt\">Regelt, ob Inhalte, die Applebot abruft, zum Training der generativen Modelle von Apple verwendet werden d\u00fcrfen. Suchergebnisse bleiben m\u00f6glich.<\/td><\/tr><tr><th scope=\"row\"><code>CCBot<\/code><\/th><td data-label=\"Anbieter\">Common Crawl<\/td><td data-label=\"Art\">Offenes Webarchiv<\/td><td data-label=\"Was der Anbieter dazu sagt\">Baut ein offenes, \u00f6ffentlich zug\u00e4ngliches Archiv von Webdaten auf. Pr\u00fcft laut Common Crawl zuerst robots.txt.<\/td><\/tr><\/tbody><\/table>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-27f4a4d mbd-measure elementor-widget elementor-widget-text-editor\" data-id=\"27f4a4d\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p><strong>Zuletzt gepr\u00fcft: 17. November 2026.<\/strong> Jeder Name in der Tabelle wurde an diesem Datum in der Dokumentation des jeweiligen Anbieters selbst gefunden. Die Liste ist nicht vollst\u00e4ndig: Anbieter beschreiben auch andere, spezialisiertere Agents.<\/p><p>Quellen: die Dokumentation von <a href=\"https:\/\/developers.openai.com\/api\/docs\/bots\" target=\"_blank\" rel=\"noopener\">OpenAI<\/a>, <a href=\"https:\/\/support.claude.com\/en\/articles\/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler\" target=\"_blank\" rel=\"noopener\">Anthropic<\/a>, <a href=\"https:\/\/docs.perplexity.ai\/docs\/resources\/perplexity-crawlers\" target=\"_blank\" rel=\"noopener\">Perplexity<\/a>, <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" target=\"_blank\" rel=\"noopener\">Google<\/a>, <a href=\"https:\/\/support.apple.com\/en-us\/119829\" target=\"_blank\" rel=\"noopener\">Apple<\/a> und <a href=\"https:\/\/commoncrawl.org\/ccbot\" target=\"_blank\" rel=\"noopener\">Common Crawl<\/a>, abgerufen am 17. November 2026. Lesen Sie im Zweifel immer die Seite des Anbieters selbst: Sie ist ma\u00dfgeblich.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-684ec0c e-con-boxed mbd-section mbd-inset mbd-surface mbd-gap-xl e-flex e-con e-parent\" data-id=\"684ec0c\" data-element_type=\"container\" data-e-type=\"container\" id=\"google\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-c4dae76 e-grid e-con-full mbd-gap-2xl e-con e-child\" data-id=\"c4dae76\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-173e3a6 e-con-full home-head mbd-gap-m e-flex e-con e-child\" data-id=\"173e3a6\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-2a7a686 mbd-eyebrow elementor-widget elementor-widget-heading\" data-id=\"2a7a686\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Google<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8a10dc0 elementor-widget elementor-widget-heading\" data-id=\"8a10dc0\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">Und was ist mit Google AI Overviews und AI Mode?<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-d693148 kb-prose elementor-widget elementor-widget-text-editor\" data-id=\"d693148\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Sie geh\u00f6ren zur Google Suche und verwenden den normalen Googlebot. Es gibt keinen eigenen Crawler, den Sie f\u00fcr AI Overviews ablehnen k\u00f6nnen. Google-Extended \u00e4ndert daran nichts: Dieses Token betrifft das Training von Gemini-Modellen und Grounding, nicht die Suchergebnisse.<\/p><p>Wer nicht in den KI-Funktionen der Google Suche erscheinen m\u00f6chte, landet also bei den Einstellungen, die auch f\u00fcr normale Suchergebnisse gelten, etwa Einschr\u00e4nkungen f\u00fcr Snippets. Das wirkt sich sofort darauf aus, wie Sie in den klassischen Ergebnissen angezeigt werden. F\u00fcr die meisten Unternehmenswebsites ist das kein lohnender Tausch. Mehr dazu im Artikel <a href=\"https:\/\/madebydries.be\/de\/ratgeber\/google-ai-overviews\/\">Wie kommen Sie in die Google AI Overviews?<\/a>.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-6cc452b e-con-boxed mbd-section mbd-gap-xl e-flex e-con e-parent\" data-id=\"6cc452b\" data-element_type=\"container\" data-e-type=\"container\" id=\"voorbeeld\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-6cbbc85 e-grid e-con-full mbd-gap-2xl e-con e-child\" data-id=\"6cbbc85\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-c0954e1 e-con-full home-head mbd-gap-m e-flex e-con e-child\" data-id=\"c0954e1\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-3719ac8 mbd-eyebrow elementor-widget elementor-widget-heading\" data-id=\"3719ac8\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Beispiel<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0a16e2c elementor-widget elementor-widget-heading\" data-id=\"0a16e2c\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">Suche zulassen und Training ablehnen: Wie sieht das aus?<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f98f552 mbd-lead elementor-widget elementor-widget-text-editor\" data-id=\"f98f552\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Das ist eine m\u00f6gliche Entscheidung, keine Empfehlung f\u00fcr jede Website. Jeder Block gilt f\u00fcr einen Crawler.<\/p><p>Google-Extended und Applebot-Extended k\u00f6nnen Sie auf dieselbe Weise mit einem eigenen Block versehen. Achtung: Laut Google regelt Google-Extended auch Grounding, also die Nutzung Ihrer Inhalte als Quelle in Gemini.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1b2c686 kb-prose elementor-widget elementor-widget-text-editor\" data-id=\"1b2c686\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<figure class=\"kb-code\"><figcaption>Beispiel: Such-Crawler zugelassen, Trainings-Crawler abgelehnt<\/figcaption><pre><code># Zoekcrawlers van AI-systemen: toegelaten\nUser-agent: OAI-SearchBot\nAllow: \/\n\nUser-agent: Claude-SearchBot\nAllow: \/\n\nUser-agent: PerplexityBot\nAllow: \/\n\n# Trainingscrawlers: geweigerd\nUser-agent: GPTBot\nDisallow: \/\n\nUser-agent: ClaudeBot\nDisallow: \/\n\nUser-agent: CCBot\nDisallow: \/<\/code><\/pre><\/figure><p>Gibt es in Ihrer Datei keinen Block f\u00fcr einen bestimmten Crawler, folgt dieser den allgemeinen Regeln unter <code>User-agent: *<\/code>. Ein KI-Crawler, den Sie nirgends nennen, darf also alles, was andere Crawler d\u00fcrfen.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-4192ec3 e-con-boxed mbd-section mbd-inset mbd-surface mbd-gap-2xl e-flex e-con e-parent\" data-id=\"4192ec3\" data-element_type=\"container\" data-e-type=\"container\" id=\"kiezen\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-6f98cff e-grid e-con-full mbd-gap-2xl e-con e-child\" data-id=\"6f98cff\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-37ceae1 e-con-full home-head mbd-gap-m e-flex e-con e-child\" data-id=\"37ceae1\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-7858957 mbd-eyebrow elementor-widget elementor-widget-heading\" data-id=\"7858957\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Entscheiden<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3fd5049 elementor-widget elementor-widget-heading\" data-id=\"3fd5049\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">KI-Crawler zulassen oder blockieren?<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-952bdc8 mbd-lead elementor-widget elementor-widget-text-editor\" data-id=\"952bdc8\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Es gibt keine richtige Antwort f\u00fcr alle. Es h\u00e4ngt davon ab, was Ihre Website leisten soll.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-4ea2930 e-grid e-con-full mbd-gap-xl e-con e-child\" data-id=\"4ea2930\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-e0772b0 e-con-full svc-duo__col mbd-gap-s e-flex e-con e-child\" data-id=\"e0772b0\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-5377086 elementor-widget elementor-widget-heading\" data-id=\"5377086\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Such-Crawler zuzulassen liegt nahe, wenn<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8bee255 kb-list elementor-widget elementor-widget-text-editor\" data-id=\"8bee255\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<ul><li>Sie von Menschen gefunden werden m\u00f6chten, die ein KI-System um Rat fragen<\/li><li>Ihre Website Ihre Leistungen oder Produkte vorstellt<\/li><li>Sie m\u00f6chten, dass ein System Ihre eigenen Seiten als Quelle nutzt und nicht nur das, was andere \u00fcber Sie schreiben<\/li><\/ul>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-a847f17 e-con-full svc-duo__col mbd-gap-s e-flex e-con e-child\" data-id=\"a847f17\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-8adeb50 elementor-widget elementor-widget-heading\" data-id=\"8adeb50\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Training abzulehnen kann sinnvoll sein, wenn<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-56fcb91 kb-list elementor-widget elementor-widget-text-editor\" data-id=\"56fcb91\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<ul><li>Ihre Inhalte selbst das Produkt sind, etwa kostenpflichtige Artikel oder Kurse<\/li><li>Sie aus Prinzip nicht zum Training von Modellen beitragen m\u00f6chten<\/li><li>Sie rechtliche oder vertragliche Gr\u00fcnde haben, die Weiterverwendung einzuschr\u00e4nken<\/li><\/ul>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e49329a mbd-measure elementor-widget elementor-widget-text-editor\" data-id=\"e49329a\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>F\u00fcr eine Unternehmenswebsite ist das Blockieren von Such-Crawlern selten von Vorteil: Sie verschwinden als Quelle, w\u00e4hrend das System auf Basis anderer Websites weiterhin \u00fcber Sie sprechen kann. Was Sie mit Trainings-Crawlern machen, entscheiden Sie selbst.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-da2e407 e-con-boxed mbd-section mbd-inset mbd-surface--tint mbd-gap-xl e-flex e-con e-parent\" data-id=\"da2e407\" data-element_type=\"container\" data-e-type=\"container\" id=\"grenzen\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-17bbbcd e-grid e-con-full mbd-gap-2xl e-con e-child\" data-id=\"17bbbcd\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-495fc86 e-con-full home-head mbd-gap-m e-flex e-con e-child\" data-id=\"495fc86\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-b59b1ea mbd-eyebrow elementor-widget elementor-widget-heading\" data-id=\"b59b1ea\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Grenzen<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3cc3624 elementor-widget elementor-widget-heading\" data-id=\"3cc3624\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">Was robots.txt nicht kann<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-1fbf826 e-con-full mbd-gap-m e-flex e-con e-child\" data-id=\"1fbf826\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-f5a4e7d svc-list elementor-widget elementor-widget-text-editor\" data-id=\"f5a4e7d\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<ul><li><strong>Nichts erzwingen.<\/strong> Die Datei ist eine Bitte. Crawler bekannter Anbieter geben an, sie zu befolgen; ein Bot mit schlechten Absichten liest sie nicht.<\/li><li><strong>Nichts absichern.<\/strong> Was nicht \u00f6ffentlich sein darf, geh\u00f6rt hinter einen Login. Eine Disallow-Regel verr\u00e4t h\u00f6chstens, wo es liegt.<\/li><li><strong>Keine Abrufe durch Nutzer verhindern.<\/strong> Mehrere Anbieter behandeln einen Besuch auf Anfrage eines Nutzers anders als automatisches Crawlen.<\/li><li><strong>Nichts r\u00fcckg\u00e4ngig machen.<\/strong> Eine Regel von heute entfernt keine Inhalte, die bereits fr\u00fcher abgerufen wurden.<\/li><li><strong>Nicht aus dem Index heraushalten.<\/strong> Disallow verhindert das Abrufen, nicht das Indexieren einer URL. Daf\u00fcr dient noindex. Siehe <a href=\"https:\/\/madebydries.be\/de\/ratgeber\/website-nicht-indexiert\/\">Website oder Seite nicht indexiert?<\/a>.<\/li><\/ul>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-c2fbba9 elementor-widget elementor-widget-text-editor\" data-id=\"c2fbba9\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Wer echte Kontrolle m\u00f6chte, braucht mehr als robots.txt: Zugriffskontrolle auf dem Server oder Firewall-Regeln auf Basis der IP-Bereiche, die Anbieter ver\u00f6ffentlichen.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-9fe43dd e-con-boxed mbd-section mbd-gap-xl e-flex e-con e-parent\" data-id=\"9fe43dd\" data-element_type=\"container\" data-e-type=\"container\" id=\"controleren\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-1e7678d e-grid e-con-full mbd-gap-2xl e-con e-child\" data-id=\"1e7678d\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-c01bdec e-con-full home-head mbd-gap-m e-flex e-con e-child\" data-id=\"c01bdec\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-9a5a16d mbd-eyebrow elementor-widget elementor-widget-heading\" data-id=\"9a5a16d\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Kontrolle<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-256cd42 elementor-widget elementor-widget-heading\" data-id=\"256cd42\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">Wie pr\u00fcfen Sie, was Ihre Website zul\u00e4sst?<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-97ff85e mbd-lead elementor-widget elementor-widget-text-editor\" data-id=\"97ff85e\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Viele Websites blockieren KI-Crawler, ohne dass der Betreiber es wei\u00df, oder lassen alles zu, ohne dass das je entschieden wurde. So pr\u00fcfen Sie es.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-8869952 e-con-full mbd-gap-0 e-flex e-con e-child\" data-id=\"8869952\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-ea4f63b e-grid e-con-full svc-row mbd-gap-m svc-row--compact e-con e-child\" data-id=\"ea4f63b\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-ada8224 home-label home-label--accent elementor-widget elementor-widget-heading\" data-id=\"ada8224\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">01<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3053f3c svc-row__title elementor-widget elementor-widget-heading\" data-id=\"3053f3c\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">\u00d6ffnen Sie Ihre robots.txt<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-906e660 svc-row__desc elementor-widget elementor-widget-text-editor\" data-id=\"906e660\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Geben Sie Ihre Domain gefolgt von \/robots.txt ein. Lesen Sie zuerst die allgemeinen Regeln, dann die Bl\u00f6cke pro Crawler.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-3650738 e-grid e-con-full svc-row mbd-gap-m svc-row--compact e-con e-child\" data-id=\"3650738\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-6a68c33 home-label home-label--accent elementor-widget elementor-widget-heading\" data-id=\"6a68c33\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">02<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7eeaa93 svc-row__title elementor-widget elementor-widget-heading\" data-id=\"7eeaa93\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Suchen Sie nach einer zu weit gefassten Regel<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-37cb5ce svc-row__desc elementor-widget elementor-widget-text-editor\" data-id=\"37cb5ce\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Ein <code>Disallow: \/<\/code> unter <code>User-agent: *<\/code> schlie\u00dft alle aus, auch Suchmaschinen. Das passiert nach einem Go-live h\u00e4ufiger, als man denkt.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-2b2972c e-grid e-con-full svc-row mbd-gap-m svc-row--compact e-con e-child\" data-id=\"2b2972c\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-42039e8 home-label home-label--accent elementor-widget elementor-widget-heading\" data-id=\"42039e8\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">03<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5809a6c svc-row__title elementor-widget elementor-widget-heading\" data-id=\"5809a6c\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Schauen Sie \u00fcber die Datei hinaus<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8e9f8a7 svc-row__desc elementor-widget elementor-widget-text-editor\" data-id=\"8e9f8a7\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Hosting, ein CDN oder ein Sicherheits-Plugin kann Bots blockieren, bevor sie Ihre robots.txt lesen. Pr\u00fcfen Sie auch diese Einstellungen.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-095fd13 e-grid e-con-full svc-row mbd-gap-m svc-row--compact e-con e-child\" data-id=\"095fd13\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-d1bcea4 home-label home-label--accent elementor-widget elementor-widget-heading\" data-id=\"d1bcea4\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">04<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f3939b9 svc-row__title elementor-widget elementor-widget-heading\" data-id=\"f3939b9\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Sehen Sie sich Ihre Serverlogs an<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-fa384f2 svc-row__desc elementor-widget elementor-widget-text-editor\" data-id=\"fa384f2\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Dort sehen Sie, welche Crawler tats\u00e4chlich vorbeikommen und welche Antwort sie erhalten.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-cf4f78d e-grid e-con-full svc-row mbd-gap-m svc-row--compact e-con e-child\" data-id=\"cf4f78d\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-4298c4b home-label home-label--accent elementor-widget elementor-widget-heading\" data-id=\"4298c4b\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">05<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-bb09199 svc-row__title elementor-widget elementor-widget-heading\" data-id=\"bb09199\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Halten Sie Ihre Entscheidung fest<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-87c4f8c svc-row__desc elementor-widget elementor-widget-text-editor\" data-id=\"87c4f8c\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Entscheiden Sie pro Crawler-Art, was Sie m\u00f6chten, und notieren Sie, warum. So bleibt die Datei kein zuf\u00e4lliges \u00dcberbleibsel.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-d08680d e-grid e-con-full svc-row mbd-gap-m svc-row--compact e-con e-child\" data-id=\"d08680d\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-6d717f2 home-label home-label--accent elementor-widget elementor-widget-heading\" data-id=\"6d717f2\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">06<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-cf082a1 svc-row__title elementor-widget elementor-widget-heading\" data-id=\"cf082a1\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Pr\u00fcfen Sie sie regelm\u00e4\u00dfig<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e2fc187 svc-row__desc elementor-widget elementor-widget-text-editor\" data-id=\"e2fc187\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Anbieter f\u00fcgen Crawler hinzu und \u00e4ndern ihr Verhalten. Es kann auch eine Weile dauern, bis eine Anpassung \u00fcberall umgesetzt ist.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-a3e6af1 e-con-boxed mbd-section mbd-inset mbd-surface mbd-gap-xl e-flex e-con e-parent\" data-id=\"a3e6af1\" data-element_type=\"container\" data-e-type=\"container\" id=\"evolutie\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-a2fbfa5 e-grid e-con-full mbd-gap-2xl e-con e-child\" data-id=\"a2fbfa5\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-0f431f8 e-con-full home-head mbd-gap-m e-flex e-con e-child\" data-id=\"0f431f8\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-a2628a6 mbd-eyebrow elementor-widget elementor-widget-heading\" data-id=\"a2628a6\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Entwicklung<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-481b83c elementor-widget elementor-widget-heading\" data-id=\"481b83c\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">Was \u00e4ndert sich noch?<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-23a46b6 kb-prose elementor-widget elementor-widget-text-editor\" data-id=\"23a46b6\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Das Feld ist noch in Bewegung. 2026 haben mehrere Anbieter angek\u00fcndigt, ein gemeinsames Signal f\u00fcr KI-Training in robots.txt unterst\u00fctzen zu wollen, damit Sie Ihre Pr\u00e4ferenz nicht mehr f\u00fcr jeden Crawler einzeln wiederholen m\u00fcssen. Die Einf\u00fchrung unterscheidet sich je nach Anbieter, und die bestehenden Namen funktionieren weiterhin.<\/p><p>Daneben gibt es Vorschl\u00e4ge wie llms.txt, das keinen Zugriff regelt, sondern eine \u00dcbersicht Ihrer Inhalte bereitstellt. Was das leistet und was nicht, lesen Sie im Artikel <a href=\"https:\/\/madebydries.be\/de\/ratgeber\/llms-txt\/\">llms.txt: was die Datei leistet \u2013 und was nicht<\/a>.<\/p><p>Robots.txt ist dabei nur ein Teil der Crawlbarkeit. Rendering, Statuscodes, Canonicals und interne Links bestimmen mit, ob ein Crawler Ihre Inhalte auch wirklich lesen kann. Das alles f\u00e4llt unter <a href=\"https:\/\/madebydries.be\/de\/seo-berater\/technische-seo\/\">technische SEO<\/a>.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-e809c69 e-con-boxed mbd-section mbd-inset mbd-surface mbd-gap-xl e-flex e-con e-parent\" data-id=\"e809c69\" data-element_type=\"container\" data-e-type=\"container\" id=\"faq\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-470f8cd e-grid e-con-full mbd-gap-2xl e-con e-child\" data-id=\"470f8cd\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-4bd2f0f e-con-full home-head mbd-gap-m e-flex e-con e-child\" data-id=\"4bd2f0f\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-7ae676f mbd-eyebrow elementor-widget elementor-widget-heading\" data-id=\"7ae676f\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">FAQ<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4fa0b76 elementor-widget elementor-widget-heading\" data-id=\"4fa0b76\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">H\u00e4ufige Fragen zu robots.txt und KI-Crawlern<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2c93839 home-faq elementor-widget elementor-widget-n-accordion\" data-id=\"2c93839\" data-element_type=\"widget\" data-e-type=\"widget\" data-settings=\"{&quot;default_state&quot;:&quot;all_collapsed&quot;,&quot;max_items_expended&quot;:&quot;one&quot;,&quot;n_accordion_animation_duration&quot;:{&quot;unit&quot;:&quot;ms&quot;,&quot;size&quot;:400,&quot;sizes&quot;:[]}}\" data-widget_type=\"nested-accordion.default\">\n\t\t\t\t\t\t\t<div class=\"e-n-accordion\" aria-label=\"Accordion. Open links with Enter or Space, close with Escape, and navigate with Arrow Keys\">\n\t\t\t\t\t\t<details id=\"e-n-accordion-item-4670\" class=\"e-n-accordion-item\" >\n\t\t\t\t<summary class=\"e-n-accordion-item-title\" data-accordion-index=\"1\" tabindex=\"0\" aria-expanded=\"false\" aria-controls=\"e-n-accordion-item-4670\" >\n\t\t\t\t\t<span class='e-n-accordion-item-title-header'><h3 class=\"e-n-accordion-item-title-text\"> Ist eine robots.txt-Datei n\u00f6tig? <\/h3><\/span>\n\t\t\t\t\t\t\t<span class='e-n-accordion-item-title-icon'>\n\t\t\t<span class='e-opened' ><svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-minus\" viewBox=\"0 0 448 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M416 208H32c-17.67 0-32 14.33-32 32v32c0 17.67 14.33 32 32 32h384c17.67 0 32-14.33 32-32v-32c0-17.67-14.33-32-32-32z\"><\/path><\/svg><\/span>\n\t\t\t<span class='e-closed'><svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-plus\" viewBox=\"0 0 448 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M416 208H272V64c0-17.67-14.33-32-32-32h-32c-17.67 0-32 14.33-32 32v144H32c-17.67 0-32 14.33-32 32v32c0 17.67 14.33 32 32 32h144v144c0 17.67 14.33 32 32 32h32c17.67 0 32-14.33 32-32V304h144c17.67 0 32-14.33 32-32v-32c0-17.67-14.33-32-32-32z\"><\/path><\/svg><\/span>\n\t\t<\/span>\n\n\t\t\t\t\t\t<\/summary>\n\t\t\t\t<div role=\"region\" aria-labelledby=\"e-n-accordion-item-4670\" class=\"elementor-element elementor-element-b067be9 e-con-full mbd-gap-s e-flex e-con e-child\" data-id=\"b067be9\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-2db4986 elementor-widget elementor-widget-text-editor\" data-id=\"2db4986\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Sie ist keine Pflicht. Ohne Datei gehen Crawler davon aus, dass alles abgerufen werden darf. Eine robots.txt ist aber n\u00fctzlich, um Bereiche wie den Verwaltungsbereich oder interne Suchergebnisse auszuschlie\u00dfen und auf Ihre Sitemap zu verweisen.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/details>\n\t\t\t\t\t\t<details id=\"e-n-accordion-item-4671\" class=\"e-n-accordion-item\" >\n\t\t\t\t<summary class=\"e-n-accordion-item-title\" data-accordion-index=\"2\" tabindex=\"-1\" aria-expanded=\"false\" aria-controls=\"e-n-accordion-item-4671\" >\n\t\t\t\t\t<span class='e-n-accordion-item-title-header'><h3 class=\"e-n-accordion-item-title-text\"> Wo finde ich die robots.txt-Datei meiner Website? <\/h3><\/span>\n\t\t\t\t\t\t\t<span class='e-n-accordion-item-title-icon'>\n\t\t\t<span class='e-opened' ><svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-minus\" viewBox=\"0 0 448 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M416 208H32c-17.67 0-32 14.33-32 32v32c0 17.67 14.33 32 32 32h384c17.67 0 32-14.33 32-32v-32c0-17.67-14.33-32-32-32z\"><\/path><\/svg><\/span>\n\t\t\t<span class='e-closed'><svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-plus\" viewBox=\"0 0 448 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M416 208H272V64c0-17.67-14.33-32-32-32h-32c-17.67 0-32 14.33-32 32v144H32c-17.67 0-32 14.33-32 32v32c0 17.67 14.33 32 32 32h144v144c0 17.67 14.33 32 32 32h32c17.67 0 32-14.33 32-32V304h144c17.67 0 32-14.33 32-32v-32c0-17.67-14.33-32-32-32z\"><\/path><\/svg><\/span>\n\t\t<\/span>\n\n\t\t\t\t\t\t<\/summary>\n\t\t\t\t<div role=\"region\" aria-labelledby=\"e-n-accordion-item-4671\" class=\"elementor-element elementor-element-e1e25d9 e-con-full mbd-gap-s e-flex e-con e-child\" data-id=\"e1e25d9\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-8b644e4 elementor-widget elementor-widget-text-editor\" data-id=\"8b644e4\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Immer im Stammverzeichnis: Ihr Domainname gefolgt von \/robots.txt. Liegt sie woanders, lesen Crawler sie nicht.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/details>\n\t\t\t\t\t\t<details id=\"e-n-accordion-item-4672\" class=\"e-n-accordion-item\" >\n\t\t\t\t<summary class=\"e-n-accordion-item-title\" data-accordion-index=\"3\" tabindex=\"-1\" aria-expanded=\"false\" aria-controls=\"e-n-accordion-item-4672\" >\n\t\t\t\t\t<span class='e-n-accordion-item-title-header'><h3 class=\"e-n-accordion-item-title-text\"> Wie passe ich die robots.txt in WordPress an? <\/h3><\/span>\n\t\t\t\t\t\t\t<span class='e-n-accordion-item-title-icon'>\n\t\t\t<span class='e-opened' ><svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-minus\" viewBox=\"0 0 448 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M416 208H32c-17.67 0-32 14.33-32 32v32c0 17.67 14.33 32 32 32h384c17.67 0 32-14.33 32-32v-32c0-17.67-14.33-32-32-32z\"><\/path><\/svg><\/span>\n\t\t\t<span class='e-closed'><svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-plus\" viewBox=\"0 0 448 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M416 208H272V64c0-17.67-14.33-32-32-32h-32c-17.67 0-32 14.33-32 32v144H32c-17.67 0-32 14.33-32 32v32c0 17.67 14.33 32 32 32h144v144c0 17.67 14.33 32 32 32h32c17.67 0 32-14.33 32-32V304h144c17.67 0 32-14.33 32-32v-32c0-17.67-14.33-32-32-32z\"><\/path><\/svg><\/span>\n\t\t<\/span>\n\n\t\t\t\t\t\t<\/summary>\n\t\t\t\t<div role=\"region\" aria-labelledby=\"e-n-accordion-item-4672\" class=\"elementor-element elementor-element-46d163d e-con-full mbd-gap-s e-flex e-con e-child\" data-id=\"46d163d\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-186d92c elementor-widget elementor-widget-text-editor\" data-id=\"186d92c\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>WordPress erstellt selbst eine virtuelle robots.txt-Datei, wenn keine echte Datei vorhanden ist. Anpassen k\u00f6nnen Sie sie mit einem SEO-Plugin, das einen Editor f\u00fcr die Datei bietet, oder indem Sie eine eigene Datei im Stammverzeichnis ablegen. Pr\u00fcfen Sie danach im Browser, was tats\u00e4chlich ausgeliefert wird.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/details>\n\t\t\t\t\t\t<details id=\"e-n-accordion-item-4673\" class=\"e-n-accordion-item\" >\n\t\t\t\t<summary class=\"e-n-accordion-item-title\" data-accordion-index=\"4\" tabindex=\"-1\" aria-expanded=\"false\" aria-controls=\"e-n-accordion-item-4673\" >\n\t\t\t\t\t<span class='e-n-accordion-item-title-header'><h3 class=\"e-n-accordion-item-title-text\"> Wenn ich GPTBot blockiere, verschwinde ich dann aus ChatGPT? <\/h3><\/span>\n\t\t\t\t\t\t\t<span class='e-n-accordion-item-title-icon'>\n\t\t\t<span class='e-opened' ><svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-minus\" viewBox=\"0 0 448 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M416 208H32c-17.67 0-32 14.33-32 32v32c0 17.67 14.33 32 32 32h384c17.67 0 32-14.33 32-32v-32c0-17.67-14.33-32-32-32z\"><\/path><\/svg><\/span>\n\t\t\t<span class='e-closed'><svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-plus\" viewBox=\"0 0 448 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M416 208H272V64c0-17.67-14.33-32-32-32h-32c-17.67 0-32 14.33-32 32v144H32c-17.67 0-32 14.33-32 32v32c0 17.67 14.33 32 32 32h144v144c0 17.67 14.33 32 32 32h32c17.67 0 32-14.33 32-32V304h144c17.67 0 32-14.33 32-32v-32c0-17.67-14.33-32-32-32z\"><\/path><\/svg><\/span>\n\t\t<\/span>\n\n\t\t\t\t\t\t<\/summary>\n\t\t\t\t<div role=\"region\" aria-labelledby=\"e-n-accordion-item-4673\" class=\"elementor-element elementor-element-2634e4a e-con-full mbd-gap-s e-flex e-con e-child\" data-id=\"2634e4a\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-376db02 elementor-widget elementor-widget-text-editor\" data-id=\"376db02\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Nicht allein durch diese Regel. Laut OpenAI steht GPTBot f\u00fcr das Training und OAI-SearchBot f\u00fcr die Suchfunktion von ChatGPT, und die Einstellungen sind voneinander unabh\u00e4ngig. Sie k\u00f6nnen GPTBot also ablehnen und OAI-SearchBot zulassen.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/details>\n\t\t\t\t\t\t<details id=\"e-n-accordion-item-4674\" class=\"e-n-accordion-item\" >\n\t\t\t\t<summary class=\"e-n-accordion-item-title\" data-accordion-index=\"5\" tabindex=\"-1\" aria-expanded=\"false\" aria-controls=\"e-n-accordion-item-4674\" >\n\t\t\t\t\t<span class='e-n-accordion-item-title-header'><h3 class=\"e-n-accordion-item-title-text\"> Funktioniert robots.txt noch? <\/h3><\/span>\n\t\t\t\t\t\t\t<span class='e-n-accordion-item-title-icon'>\n\t\t\t<span class='e-opened' ><svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-minus\" viewBox=\"0 0 448 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M416 208H32c-17.67 0-32 14.33-32 32v32c0 17.67 14.33 32 32 32h384c17.67 0 32-14.33 32-32v-32c0-17.67-14.33-32-32-32z\"><\/path><\/svg><\/span>\n\t\t\t<span class='e-closed'><svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-plus\" viewBox=\"0 0 448 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M416 208H272V64c0-17.67-14.33-32-32-32h-32c-17.67 0-32 14.33-32 32v144H32c-17.67 0-32 14.33-32 32v32c0 17.67 14.33 32 32 32h144v144c0 17.67 14.33 32 32 32h32c17.67 0 32-14.33 32-32V304h144c17.67 0 32-14.33 32-32v-32c0-17.67-14.33-32-32-32z\"><\/path><\/svg><\/span>\n\t\t<\/span>\n\n\t\t\t\t\t\t<\/summary>\n\t\t\t\t<div role=\"region\" aria-labelledby=\"e-n-accordion-item-4674\" class=\"elementor-element elementor-element-6078624 e-con-full mbd-gap-s e-flex e-con e-child\" data-id=\"6078624\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-d3cac6c elementor-widget elementor-widget-text-editor\" data-id=\"d3cac6c\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Ja, f\u00fcr Crawler, die sich daran halten, und dazu geh\u00f6ren unter anderem die dokumentierten Crawler der gro\u00dfen Suchmaschinen und KI-Anbieter. Es ist keine technische Sperre: Wer die Vereinbarung ignorieren will, kann das.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/details>\n\t\t\t\t\t\t<details id=\"e-n-accordion-item-4675\" class=\"e-n-accordion-item\" >\n\t\t\t\t<summary class=\"e-n-accordion-item-title\" data-accordion-index=\"6\" tabindex=\"-1\" aria-expanded=\"false\" aria-controls=\"e-n-accordion-item-4675\" >\n\t\t\t\t\t<span class='e-n-accordion-item-title-header'><h3 class=\"e-n-accordion-item-title-text\"> Ist es illegal, robots.txt zu ignorieren? <\/h3><\/span>\n\t\t\t\t\t\t\t<span class='e-n-accordion-item-title-icon'>\n\t\t\t<span class='e-opened' ><svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-minus\" viewBox=\"0 0 448 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M416 208H32c-17.67 0-32 14.33-32 32v32c0 17.67 14.33 32 32 32h384c17.67 0 32-14.33 32-32v-32c0-17.67-14.33-32-32-32z\"><\/path><\/svg><\/span>\n\t\t\t<span class='e-closed'><svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-plus\" viewBox=\"0 0 448 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M416 208H272V64c0-17.67-14.33-32-32-32h-32c-17.67 0-32 14.33-32 32v144H32c-17.67 0-32 14.33-32 32v32c0 17.67 14.33 32 32 32h144v144c0 17.67 14.33 32 32 32h32c17.67 0 32-14.33 32-32V304h144c17.67 0 32-14.33 32-32v-32c0-17.67-14.33-32-32-32z\"><\/path><\/svg><\/span>\n\t\t<\/span>\n\n\t\t\t\t\t\t<\/summary>\n\t\t\t\t<div role=\"region\" aria-labelledby=\"e-n-accordion-item-4675\" class=\"elementor-element elementor-element-2a9a691 e-con-full mbd-gap-s e-flex e-con e-child\" data-id=\"2a9a691\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-9a87176 elementor-widget elementor-widget-text-editor\" data-id=\"9a87176\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Robots.txt ist eine technische Vereinbarung, kein Gesetz. Ob ihre Missachtung rechtliche Folgen hat, h\u00e4ngt vom Land, den Nutzungsbedingungen und dem Urheberrecht ab. Das ist eine Frage f\u00fcr einen Juristen, nicht f\u00fcr einen Entwickler.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/details>\n\t\t\t\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-e2f25f8 e-con-boxed mbd-section mbd-inset mbd-surface--tint mbd-gap-xl e-flex e-con e-parent\" data-id=\"e2f25f8\" data-element_type=\"container\" data-e-type=\"container\" id=\"verder-lezen\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-8c816f5 e-con-full home-head mbd-gap-m e-flex e-con e-child\" data-id=\"8c816f5\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-f698709 mbd-eyebrow elementor-widget elementor-widget-heading\" data-id=\"f698709\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Mehr zu diesem Thema<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2dfdb37 elementor-widget elementor-widget-heading\" data-id=\"2dfdb37\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">Weiterlesen<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-2e5307a e-grid e-con-full mbd-gap-xl e-con e-child\" data-id=\"2e5307a\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t<div class=\"elementor-element elementor-element-41225f4 e-con-full svc-duo__col mbd-gap-s e-flex e-con e-child\" data-id=\"41225f4\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-ecb984a home-label elementor-widget elementor-widget-heading\" data-id=\"ecb984a\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Die passende Dienstleistung<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3abee03 elementor-widget elementor-widget-heading\" data-id=\"3abee03\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Technische SEO als Dienstleistung<\/h3>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-df272ff elementor-widget elementor-widget-text-editor\" data-id=\"df272ff\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Sind Sie unsicher, ob Suchmaschinen und KI-Crawler Ihre Website abrufen und lesen k\u00f6nnen? Auf der Leistungsseite steht, wie ich Crawlbarkeit, Rendering und Indexierung untersuche und Probleme behebe.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5385c57 mbd-btn--secondary elementor-widget elementor-widget-button\" data-id=\"5385c57\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t\t\t\t\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm\" href=\"https:\/\/madebydries.be\/de\/seo-berater\/technische-seo\/\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t\t\t\t<span class=\"elementor-button-text\">Zur technischen SEO<\/span>\n\t\t\t\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-77b2a35 e-con-full svc-duo__col mbd-gap-s e-flex e-con e-child\" data-id=\"77b2a35\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-0890825 home-label elementor-widget elementor-widget-heading\" data-id=\"0890825\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">Verwandte Artikel<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-a949355 kb-list kb-related elementor-widget elementor-widget-text-editor\" data-id=\"a949355\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<ul><li><a href=\"https:\/\/madebydries.be\/de\/ratgeber\/llms-txt\/\">llms.txt: was die Datei leistet \u2013 und was nicht<\/a><\/li><li><a href=\"https:\/\/madebydries.be\/de\/ratgeber\/website-nicht-indexiert\/\">Website oder Seite nicht indexiert? Alle Ursachen erkl\u00e4rt<\/a><\/li><li><a href=\"https:\/\/madebydries.be\/de\/ratgeber\/in-chatgpt-sichtbar-werden\/\">Sichtbar werden in ChatGPT: Was k\u00f6nnen Sie beeinflussen?<\/a><\/li><li><a href=\"https:\/\/madebydries.be\/de\/ratgeber\/was-ist-geo\/\">Was ist GEO (Generative Engine Optimization)?<\/a><\/li><\/ul>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-c89d02e e-con-boxed mbd-section mbd-gap-xl e-flex e-con e-parent\" data-id=\"c89d02e\" data-element_type=\"container\" data-e-type=\"container\" id=\"auteur\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t<div class=\"elementor-element elementor-element-46dbec3 e-grid e-con-full svc-author mbd-card mbd-card--tint mbd-gap-xl e-con e-child\" data-id=\"46dbec3\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-e88ce44 svc-portrait elementor-widget elementor-widget-html\" data-id=\"e88ce44\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t\t<img loading=\"lazy\" width=\"800\" height=\"1000\" src=\"https:\/\/madebydries.be\/wp-content\/uploads\/2026\/11\/Dries-Nijs-beste-seo-geo-webdesigner-van-Limburg-819x1024.webp\" class=\"attachment-large size-large\" alt=\"Dries Nijs, Organic Web Specialist und Autor dieses Artikels\" loading=\"lazy\" sizes=\"auto, (min-width: 1025px) 300px, (min-width: 768px) 30vw, 224px\" decoding=\"async\" srcset=\"https:\/\/madebydries.be\/wp-content\/uploads\/2026\/11\/Dries-Nijs-beste-seo-geo-webdesigner-van-Limburg-819x1024.webp 819w, https:\/\/madebydries.be\/wp-content\/uploads\/2026\/11\/Dries-Nijs-beste-seo-geo-webdesigner-van-Limburg-240x300.webp 240w, https:\/\/madebydries.be\/wp-content\/uploads\/2026\/11\/Dries-Nijs-beste-seo-geo-webdesigner-van-Limburg-768x960.webp 768w, https:\/\/madebydries.be\/wp-content\/uploads\/2026\/11\/Dries-Nijs-beste-seo-geo-webdesigner-van-Limburg.webp 1122w\" \/>\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-639716a e-con-full mbd-gap-m e-flex e-con e-child\" data-id=\"639716a\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-fab2356 home-label elementor-widget elementor-widget-heading\" data-id=\"fab2356\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<p class=\"elementor-heading-title elementor-size-default\">\u00dcber den Autor<\/p>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e105f5d svc-author__name elementor-widget elementor-widget-heading\" data-id=\"e105f5d\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">Dries Nijs, Organic Web Specialist<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-49b2b71 mbd-lead elementor-widget elementor-widget-text-editor\" data-id=\"49b2b71\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Ich bin Dries Nijs, Entwickler und SEO-Berater aus Maasmechelen. Crawlbarkeit pr\u00fcfe ich im Code, in den Servereinstellungen und in den Logs, nicht nur in einem Tool. MadeByDries ist die pers\u00f6nliche Marke, unter der ich arbeite.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e4e4d80 mbd-btn--secondary elementor-widget elementor-widget-button\" data-id=\"e4e4d80\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t\t\t\t\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm\" href=\"https:\/\/madebydries.be\/de\/ueber-dries-nijs\/\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t\t\t\t<span class=\"elementor-button-text\">Mehr \u00fcber Dries<\/span>\n\t\t\t\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t<section class=\"elementor-element elementor-element-c0abf72 e-con-boxed home-cta mbd-section mbd-section--lg mbd-inset mbd-surface mbd-gap-l mbd-bg-flow mbd-bg-flow--light mbd-bg-flow--both mbd-bg-flow--strong e-flex e-con e-parent\" data-id=\"c0abf72\" data-element_type=\"container\" data-e-type=\"container\" id=\"contact\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-8a96aff home-cta__title elementor-widget elementor-widget-heading\" data-id=\"8a96aff\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t\t<h2 class=\"elementor-heading-title elementor-size-default\">Wissen Sie, welche Crawler Ihre Website zul\u00e4sst?<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-5980ffc mbd-lead elementor-widget elementor-widget-text-editor\" data-id=\"5980ffc\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t\t\t\t\t\t<p>Erz\u00e4hlen Sie mir von Ihrer Website. Dann pr\u00fcfen wir, was Suchmaschinen und KI-Crawler heute davon lesen k\u00f6nnen.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-4cf31b7 e-con-full mbd-gap-s e-flex e-con e-child\" data-id=\"4cf31b7\" data-element_type=\"container\" data-e-type=\"container\">\n\t\t\t\t<div class=\"elementor-element elementor-element-0f5152b mbd-btn--icon mbd-btn--lg elementor-widget elementor-widget-button\" data-id=\"0f5152b\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t\t\t\t\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm\" href=\"https:\/\/madebydries.be\/de\/kontakt\/\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-icon\">\n\t\t\t\t<svg aria-hidden=\"true\" class=\"e-font-icon-svg e-fas-arrow-right\" viewBox=\"0 0 448 512\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\"><path d=\"M190.5 66.9l22.2-22.2c9.4-9.4 24.6-9.4 33.9 0L441 239c9.4 9.4 9.4 24.6 0 33.9L246.6 467.3c-9.4 9.4-24.6 9.4-33.9 0l-22.2-22.2c-9.5-9.5-9.3-25 .4-34.3L311.4 296H24c-13.3 0-24-10.7-24-24v-32c0-13.3 10.7-24 24-24h287.4L190.9 101.2c-9.8-9.3-10-24.8-.4-34.3z\"><\/path><\/svg>\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t<span class=\"elementor-button-text\">Ihr Projekt besprechen<\/span>\n\t\t\t\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-94bc5a7 mbd-btn--secondary mbd-btn--lg elementor-widget elementor-widget-button\" data-id=\"94bc5a7\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t\t\t\t\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm\" href=\"https:\/\/madebydries.be\/de\/seo-berater\/technische-seo\/\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t\t\t\t<span class=\"elementor-button-text\">Technische SEO<\/span>\n\t\t\t\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/section>\n\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>robots.txt und KI-Crawler erkl\u00e4rt: welche Crawler offiziell dokumentiert sind, was sie tun und was Sie zulassen oder ablehnen k\u00f6nnen.<\/p>\n","protected":false},"author":1,"featured_media":1366,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[174],"tags":[],"class_list":["post-3322","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo-technik"],"ase":null,"_links":{"self":[{"href":"https:\/\/madebydries.be\/de\/wp-json\/wp\/v2\/posts\/3322","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/madebydries.be\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/madebydries.be\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/madebydries.be\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/madebydries.be\/de\/wp-json\/wp\/v2\/comments?post=3322"}],"version-history":[{"count":10,"href":"https:\/\/madebydries.be\/de\/wp-json\/wp\/v2\/posts\/3322\/revisions"}],"predecessor-version":[{"id":9426,"href":"https:\/\/madebydries.be\/de\/wp-json\/wp\/v2\/posts\/3322\/revisions\/9426"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/madebydries.be\/de\/wp-json\/wp\/v2\/media\/1366"}],"wp:attachment":[{"href":"https:\/\/madebydries.be\/de\/wp-json\/wp\/v2\/media?parent=3322"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/madebydries.be\/de\/wp-json\/wp\/v2\/categories?post=3322"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/madebydries.be\/de\/wp-json\/wp\/v2\/tags?post=3322"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}