Die Google Search Console meldet: Wegen nicht autorisierter Anforderung (401) blockiert. So löst du das Problem.
Die Suchkonsole ist eine der wichtigsten Google Tools für deine Website. Wenn du die Google Search Console eingerichtet hast, führt sie im Bericht Seitenindexierung technische Probleme auf. Zu sehen ist, wann Google das Problem zum ersten Mal festgestellt hat und wie viele Seiten davon betroffen sind. Die entsprechenden Seiten werden weiter unten aufgelistet.
Was bedeutet “Wegen nicht autorisierter Anforderung (401) blockiert”?
Mit Wegen nicht autorisierter Anforderung (401) blockiert ist gemeint, dass der Googlebot diese Seiten nicht ansteuern darf. Der Zugriff darauf wurde ihm verwehrt. Die Seite hat einen htaccess-Schutz.
So löst du das Problem
Prüfe zunächst, ob die Seite auch wirklich in den Suchergebnissen auffindbar sein soll. Wenn ja, muss die htaccess von dieser Seite genommen werden.
Um zu verhindern, dass Google auf diese Seite nicht zugreift, kannst du dies auch über die robots.txt tun. Vergebe dazu
Disallow: /crawling-nicht-erlaubt/
Soll die Seite nicht im Such-Index auftauchen, vergebe ein Noindex. In RankMath z.B. kannst du das im jeweiligen Beitrag einstellen. Setze dazu im Reiter Erweitert den Haken bei Kein Index.
Wenn nicht zwingend nötig, entferne den Link zu dieser Seite. Damit der Crawler die Seite nicht erneut wiederfindet. Auch ein Crawl der Seite, z.B. mit dem Screaming Frog, kann helfen, Links zu der gesperrten Seite zu finden. Entferne die URL auch aus der XML-Sitemap.
Wechsle anschließend zurück in die Search Console, in den Bericht Seitenindexierung. Klicke dann auf Fehlerbehebung überprüfen.
