Was ist das Crawling-Budget?

Ein Begriff, der heute in der SEO-Community häufig erwähnt wird, ist das Crawling-Budget. Wenn wir es übersetzen, würde es als "Tracking-Budget" lauten. Es ist ein seltener Mittelweg, aber dies ist ein sehr altes Konzept im SEO-Bereich.

Diejenigen, die mit Großprojekten wie großem E-Commerce, Inhaltsportalen und SEO-Spezialisten arbeiten, verstehen das Crawling-Budget als die Zeit, die Google an einem bestimmten Tag mit dem Lesen der Seiten Ihrer Website verbringt.

Inhaltsverzeichnis

Es ist die Zeit, die der Google-Crawler benötigt, um die Seiten einer Website zu lesen. Diesmal hängt der Crawler jedoch von mehreren Faktoren ab. wie Website-Autorität, Prozentsatz an doppeltem Inhalt, Seitenfehler und vieles mehr.

Laut dem offiziellen Webmaster-Blog von Google sollte jedoch nicht jeder über dieses Problem des Crawling-Budgets besorgt sein. Das heißt, wenn sie eine Website mit ein paar Dutzend Seiten haben, müssen Sie sich keine Gedanken über dieses Problem des Seiten- Crawls machen, da Google dies problemlos tun wird.

Wenn Sie jedoch einen Online-Shop oder ein anderes Webprojekt mit einigen tausend Seiten haben, müssen Sie genau darauf achten und das Crawling-Budget für Ihre Website optimieren.

Crawling-Budget und Web-Positionierung

Von Google bestätigen sie, dass das Crawling-Budget die Positionierung nicht beeinflusst, aber dennoch andere der mehr als 200 Faktoren, die in der Suchmaschine zu platzieren sind, negativ beeinflussen und manchmal steuern kann.

Aber warum soll Google die Seiten unserer Website öfter crawlen? Auf der anderen Seite finden wir mehrere SEO-Experten, die sicherstellen, dass ein gutes Crawling-Budget die allgemeine Positionierung der Seiten der Website im Ranking verbessert und somit den organischen Verkehr erhöht.

Grundsätzlich hat Google eine bestimmte Zeit für Ihre Website, da es entscheiden muss, wie viel Zeit es für jede der Websites auf der ganzen Welt aufwenden wird, für die es berechnen muss, wie viele gleichzeitige Verbindungen es herstellen kann, um in der Lage zu sein Lesen Sie die Seiten Ihrer Website.

Die Qualität der Website

Google verbringt viel Zeit damit, eine Verbindung zur Website herzustellen, diese Seiten zu lesen und das Lesen zu beenden. Wiederholen Sie dies den ganzen Tag, aber es gibt immer einen Bruchteil der Zeit. Dieser Zeitanteil ist normalerweise proportional zur Autorität Ihrer Website, der Anzahl neuer Seiten und der Relevanz, die sie für Google hat.

Dies wird durch die Qualität Ihrer Inhalte und die Links angegeben, die auf die Website verweisen. Wenn Sie also viele hochwertige Links haben, die darauf verweisen, kann es sein, dass Google Sie mit mehr Qualität versteht und mehr Zeit auf Ihrer Website verbringt, solange es eine gibt höheres Seitenvolumen.

Im Allgemeinen ändert sich das Crawling-Budget für eine Website mit 10, 50 oder 100 Seiten nicht wesentlich, sodass auf einigen Seiten kein großer Unterschied besteht. Wenn Google jedoch bei großen Websites eine Sekunde Zeit hat, um Ihre Website zu durchsuchen und ihr mitzuteilen, was zu lesen ist, ist dies für den Crawler sehr nützlich, da er seine Crawling-Aufgabe schneller erledigt.

Legen Sie fest, welche Seiten wichtig sind

Zunächst müssen Sie eine besser organisierte Architektur mit Site-Informationen erstellen, feststellen, welche Seiten nicht erforderlich sind, und bestimmte Seiten nicht durch Überprüfen der Datei robots.txt indizieren lassen.

Google sollte keine Zeit im Suchbereich der Website oder sogar in dem Bereich verbringen, in dem eine Filternavigation stattfindet, z. B. in einem Online-Shop, in dem Sie die Schuhgröße, die Größe der Wohnung oder auswählen können die Hemdfarbe. Diese Filter werden normalerweise als "konfrontierte Navigation" oder "Navigationsfilter" bezeichnet.

Einige Webmaster neigen dazu, diese Filter und Suchanfragen in der robots.txt-Datei zu blockieren, damit Google keine Zeit mit dem Lesen dieser Seiten verbringt, da sie sich in der Tat auf den Benutzer konzentrieren, der nach dieser Erfahrung sucht, und es sich um bereits vorhandene Inhalte handelt auf anderen internen Seiten der Website verfügbar.

Wir empfehlen zu lesen: Fehler, die beim Erstellen einer Website vermieden werden sollten

Eine andere Zeile ist, dass Sie durch das Festlegen der wichtigen Seiten Ihrer Website Zeit für Google auf Seiten sparen, die doppelten Inhalt haben, z. B. bei der Navigation, auf der Seite mit den Datenschutzrichtlinien, in den Allgemeinen Geschäftsbedingungen und nicht Sie möchten, dass sie gelesen werden. Diese Seiten stehen nur Benutzern zur Verfügung, die diese Seiten sehen möchten.

Auf diesen Seiten mit geringem Wert sollte keine Zeit verschwendet werden, da Sie nicht für sie ranken möchten und sie nicht den geringsten Unterschied in Ihrem Leben bewirken. Sie müssen jedoch vorhanden sein, da einige Benutzer diese Informationen trotzdem konsultieren möchten.

Wie das Crawling-Budget intern funktioniert

Im Allgemeinen basiert das Crawling-Budget auf der Architektur. Sie definieren die Links zu den Seiten, die Google lesen kann, und priorisieren sie nach ihrer Wichtigkeit.

Schließlich sind die Links, die von diesen Seiten ausgehen, diejenigen, die wahrscheinlich von Google priorisiert werden. Es lohnt sich also, sehr gut über interne Links und die Struktur Ihrer Seite nachzudenken.

Das Crawling-Budget ist die Zeit, die Google benötigt, um die Informationen auf der Website lesen, verstehen und Elemente wie die Organisation der Architektur und das Blockieren in robots.txt bewerten zu können. Die Verwendung des Nofollow- Tags für einen Link verhindert, dass Google diesen Link weiterverfolgt. Wenn ein Link beispielsweise ein Nofollow-Attribut hat, ein anderer interner Link jedoch kein Attribut, um zur Seite zu gelangen, geht Google den zweiten Weg, sodass Sie weniger Zeit verbringen.

Vorteile einer optimierten Site

Es gibt Dinge, die Ihnen helfen, täglich mehr Seiten zu lesen, was für jede Website nützlich sein kann. Wenn Ihr Server beispielsweise schneller ist, fordert Google in dieser Zeit mehr Seiten an.

Wenn Ihre Seite komprimiert ist, fordert Google bei diesen Anfragen weitere Seiten an. Und wenn Sie einen sauberen und angemessenen Code haben, erhält Google am Ende des Tages auch eine komprimiertere Seite mit besseren Bits. Das heißt, die Optimierung der Website, die Geschwindigkeit der Website und des Servers haben großen Einfluss auf das Problem des Crawling-Budgets.

So berechnen Sie das Crawling-Budget Ihrer Website

Die Häufigkeit, mit der die Google-Suchmaschinenspinne Ihre Website in einer bestimmten Zeitspanne crawlt, wird als "Crawling-Budget" bezeichnet. Wenn Googlebot Ihre Website 32 Mal am Tag besucht, können wir daher sagen, dass das Tracking-Budget von Google ungefähr 960 pro Monat beträgt.

Sie können Tools wie die Google Search Console und die Bing Webmaster-Tools verwenden, um das ungefähre Crawling-Budget Ihrer Website zu berechnen. Melden Sie sich einfach an und gehen Sie zu Tracking> Tracking Statistics, um die durchschnittliche Anzahl der verfolgten Seiten pro Tag anzuzeigen.

Crawl-Budget und SEO: Sind sie gleich?

Ja und nein Während beide Arten der Optimierung darauf abzielen, Ihre Seite sichtbarer zu machen und Ihre SERPs zu beeinflussen, legt SEO einen größeren Schwerpunkt auf die Benutzererfahrung, während es bei der Spinnenoptimierung ausschließlich darum geht, Bots anzuziehen.

Die Suchmaschinenoptimierung (SEO) konzentriert sich mehr auf den Optimierungsprozess für Benutzeranfragen. Stattdessen konzentriert sich die Googlebot- Optimierung darauf, wie der Google-Crawler auf Ihre Website zugreift.

So optimieren Sie das Crawling-Budget

Es gibt verschiedene Möglichkeiten, das Crawling-Budget einer Website zu optimieren, abhängig von jedem Webprojekt, der Anzahl der Seiten und anderen Problemen. Hier sind einige Punkte zu beachten:

Stellen Sie sicher, dass Ihre Seiten verfolgt werden können

Ihre Seite ist nachvollziehbar, wenn Suchmaschinenspinnen Links auf Ihrer Website finden und ihnen folgen können. Daher müssen Sie die Dateien .htaccess und robots.txt so konfigurieren, dass sie kritische Seiten auf Ihrer Website nicht blockieren. Möglicherweise möchten Sie auch Textversionen von Seiten bereitstellen, die stark von Rich Media-Dateien wie Flash und Silverlight abhängen.

Das Gegenteil ist natürlich der Fall, wenn Sie verhindern möchten, dass eine Seite in den Suchergebnissen angezeigt wird. Es reicht jedoch nicht aus, die Datei robots.txt auf "Nicht zulassen" zu setzen, wenn Sie verhindern möchten, dass eine Seite indiziert wird. Laut Google garantiert die Regel "Nicht zulassen" nicht, dass eine Seite nicht in den Ergebnissen angezeigt wird.

Wenn externe Informationen (z. B. eingehende Links) weiterhin den Verkehr auf die von Ihnen abgelehnte Seite lenken, entscheidet Google möglicherweise, dass die Seite weiterhin relevant ist. In diesem Fall müssen Sie die Indizierung der Seite mithilfe des noindex- Meta-Tags oder des HTTP X-Robots-Tag-Headers manuell blockieren.

- Noindex-Meta-Tag: Fügen Sie dieses Meta-Tag in den Abschnitt ein Ihrer Seite, um zu verhindern, dass die meisten Webcrawler Ihre Seite indizieren:

noindex "/>

- X-Robots-Tag - Platziert Folgendes in der HTTP-Header-Antwort, um Crawler anzuweisen, keine Seite zu indizieren:

X-Robots-Tag: noindex

Bitte beachten Sie, dass Sie die Seite in robots.txt nicht verbieten sollten, wenn Sie das Meta-Tag noindex oder das X-Robots-Tag verwenden. Die Seite muss gecrawlt werden, bevor das Tag gesehen und befolgt wird.

Vorsichtiger Umgang mit Rich Media-Dateien

Es gab eine Zeit, in der Googlebot keine Inhalte wie JavaScript, Flash und HTML crawlen konnte. Diese Zeiten sind lange vorbei (obwohl Googlebot immer noch Probleme mit Silverlight und einigen anderen Dateien hat).

Selbst wenn Google die meisten Rich Media-Dateien lesen kann, können andere Suchmaschinen dies möglicherweise nicht. Dies bedeutet, dass Sie diese Dateien mit Bedacht verwenden sollten und sie wahrscheinlich vollständig auf den gewünschten Seiten vermeiden möchten. Position.

Vermeiden Sie das Umleiten von Zeichenfolgen

Jede URL, die Sie umleiten, führt dazu, dass Sie einen Teil Ihres Crawling-Budgets verschwenden. Wenn Ihre Website lange Weiterleitungszeichenfolgen enthält, d. H. Eine große Anzahl von 301 und 302 Weiterleitungen hintereinander, können Spinnen wie Googlebot vor Erreichen der Zielseite abstürzen, sodass diese Seite nicht indiziert wird. Die beste Vorgehensweise bei Weiterleitungen besteht darin, so wenige Weiterleitungen wie möglich auf der Website zu haben und nicht mehr als zwei hintereinander.

Beheben Sie defekte Links

Als John Mueller gefragt wurde, ob defekte Links die Positionierung beeinflussen oder nicht, antwortete er, dass sie sich etwas mehr auf die Benutzererfahrung als auf Positionierungszwecke konzentrieren.

Dies ist einer der grundlegenden Unterschiede zwischen SEO- und Googlebot-Optimierung, da defekte Links in Rankings keine wesentliche Rolle spielen, obwohl sie die Fähigkeit von Googlebot, eine Website zu indizieren und zu bewerten, erheblich beeinträchtigen.

Vor diesem Hintergrund sollten Sie Muellers Rat befolgen, da sich der Google-Algorithmus im Laufe der Jahre erheblich verbessert hat und alles, was die Nutzererfahrung beeinflusst, wahrscheinlich die SERPs beeinflusst.

Legen Sie Parameter in dynamischen URLs fest

Spinnen behandeln dynamische URLs, die zu derselben Seite führen, als separate Seiten, was bedeutet, dass Sie möglicherweise unnötig Ihr Crawling-Budget verschwenden. Sie können URL-Parameter verwalten, indem Sie auf die Suchkonsole zugreifen und auf Tracking> URL-Parameter klicken. Von hier aus können Sie Googlebot informieren, wenn Ihr CMS Ihren URLs Parameter hinzufügt, die den Inhalt einer Seite nicht ändern.

Reinigen Sie die Sitemap

XML-Sitemaps helfen sowohl Besuchern als auch Spinnenrobotern und machen Inhalte besser organisiert und leichter zu finden. Versuchen Sie daher, die Sitemap auf dem neuesten Stand zu halten und Unordnung zu beseitigen, die die Benutzerfreundlichkeit Ihrer Website beeinträchtigen könnte, einschließlich Seiten mit 400 Ebenen, unnötigen Weiterleitungen, nicht kanonischen Seiten und blockierten Seiten.

Der einfachste Weg, die Sitemap zu bereinigen, ist die Verwendung eines Tools wie Website Auditor. Mit dem XML-Sitemap-Generator von Website Auditor können Sie eine saubere Sitemap erstellen, die alle blockierten Seiten von der Indizierung ausschließt. Wenn Sie zur Option "Site Audit" gehen, können Sie außerdem alle 4xx-Fehler, 301- und 302-Weiterleitungen und nicht-kanonischen Seiten suchen und reparieren.

Verwenden Sie Feeds

Beide Feeds, RSS, XML und Atom, ermöglichen die Bereitstellung von Inhalten für Follower, wenn diese nicht auf der Website surfen. Auf diese Weise können Benutzer ihre bevorzugten Websites abonnieren und bei jeder Veröffentlichung neuer Inhalte regelmäßig Updates erhalten.

Neben der Tatsache, dass RSS-Feeds seit langem eine gute Möglichkeit sind, die Leserschaft und das Engagement zu steigern, gehören sie auch zu den am häufigsten besuchten Websites von Googlebot. Wenn Ihre Website ein Update erhält (z. B. neue Produkte, Blogposts, Seitenaktualisierungen usw.), senden Sie es an den Google Feed Burner, um sicherzustellen, dass es korrekt indiziert ist.

Erstellen Sie externe Links

Linkaufbau bleibt ein heißes Thema, und es gibt keinen Hinweis darauf, dass es bald verschwinden wird.

Online Beziehungen pflegen, neue Communities entdecken, Markenwert aufbauen; Diese kleinen Gewinne sollten bereits in Ihrem Linkplanungsprozess gedruckt werden. Während es jetzt so charakteristische Elemente des Linkaufbaus gibt wie 1990, wird sich das menschliche Bedürfnis, sich mit anderen zu verbinden, niemals ändern.

Derzeit gibt es bereits Hinweise darauf, dass externe Links eng mit der Anzahl der Spinnenbesuche auf Ihrer Website korrelieren.

Bewahren Sie die Integrität der internen Verknüpfung

Das Erstellen interner Links spielt zwar keine wesentliche Rolle für die Crawling-Geschwindigkeit, bedeutet jedoch nicht, dass es vollständig ignoriert werden kann. Eine gut gepflegte Site-Struktur macht Ihre Inhalte für Suchroboter leicht erkennbar, ohne Ihr Crawling-Budget zu verschwenden.

Eine gut organisierte interne Linkstruktur kann auch die Benutzererfahrung verbessern, insbesondere wenn Benutzer mit drei Klicks einen beliebigen Bereich Ihrer Website erreichen können. Wenn Sie alles allgemeiner zugänglich machen, bleiben die Besucher länger, was die SERPs verbessern kann.

Welche Schlussfolgerung ziehen wir?

Um das bereits Erwähnte zu bekräftigen, ist dieses Problem des Crawling-Budgets für große Websites mit Hunderten und Tausenden von Webseiten wichtig. Andernfalls sollten Sie sich keine Sorgen machen, da Google Ihre Daten nachverfolgt Website reibungslos.

Wir dürfen das Crawlen der Seiten unserer Website zu Google nicht erschweren. Es gibt viele Websites mit genügend Fehlern und sogar mit Barrieren, die durch die Dateien robots.txt und sitemap.xml erstellt wurden und Google daran hindern, auf den Inhalt zuzugreifen. Wenn wir die Positionierung im Google-Ranking verbessern möchten, müssen wir die Seiten der Website autorisieren und vereinfachen, damit Google schnell darauf zugreifen, sie indizieren und positionieren kann. Sehr einfach.

Inzwischen haben Sie wahrscheinlich einen Trend in diesem Artikel bemerkt: Best Practices für die Rückverfolgbarkeit verbessern tendenziell auch die Suchbarkeit. Wenn Sie sich also fragen, ob die Optimierung des Crawling-Budgets für Ihre Website wichtig ist, lautet die Antwort "Ja".

Kurz gesagt, wenn Sie es Google leichter machen, Ihre Website zu entdecken und zu indizieren, werden Sie mehr Crawlen genießen, was schnellere Updates bedeutet, wenn Sie neue Inhalte veröffentlichen. Sie verbessern auch die allgemeine Benutzererfahrung, verbessern die Sichtbarkeit und letztendlich das Ranking der SERPs.

Dies sind unter anderem nur einige der Punkte, um das Crawling-Budget einer Website zu verbessern und zu optimieren.