Aug 24
facebook SEO Crawler: Wenn man es genau wissen möchtetwitter SEO Crawler: Wenn man es genau wissen möchtegoogleplus SEO Crawler: Wenn man es genau wissen möchtexing SEO Crawler: Wenn man es genau wissen möchtelinkedin SEO Crawler: Wenn man es genau wissen möchte

website flower graph SEO Crawler: Wenn man es genau wissen möchteWissen Sie, wie viele Seiten Ihr Webshop hat und welche von diesen intern am besten verlinkt sind? Welche sind nur unzureichend verlinkt? Wo sind die URLs verlinkt, die immer zu Weiterleitungen führen oder Fehler auslösen? Sind Sie sich sicher, dass sich nicht irgendwo Probleme verstecken, die Sie bisher nicht bemerkt haben, die aber Googles Crawler behindern? Das wissen Sie nicht? – Dann wird es höchste Zeit, Ihren Shop mit einem Crawler zu untersuchen.

Wenn Sie Klarheit zu den oben genannten Fragen suchen, dann führt kein Weg daran vorbei, mit einem Crawler sämtliche URLs in Ihrem Shop aufzurufen, alle Links zu überprüfen und so einen kompletten Überblick über die Seite zu erlangen. Das kann in manchen Fällen aufwändig werden, ist aber die einzige Möglichkeit, nichts zu übersehen.

Vielen Fehlern kommt man zwar auch durch Stichproben auf die Schliche, aber nur nach einem kompletten Crawling kann man sich sicher sein, alle Fehler gefunden zu haben. Aus den so gewonnen Daten erhält man als SEO zudem viele weitere nützliche Informationen, die bei der Optimierung helfen.

Verschiedene SEO-Crawler

Es gibt im Netz eine Vielzahl von Crawlern mit unterschiedlichem Funktionsumfang und Preismodellen. Drei möchten wir hier vorstellen:

Sitemap Generator von AuditMyPc.com

Dieses kostenfreie Tool dient eigentlich dazu, eine XML-Sitemap zu erstellen, eignet sich aber auch hervorragend als SEO-Crawler. Es steht als Java-Applet zur Verfügung und kann dadurch direkt im Browser genutzt werden: http://www.auditmypc.com/free-sitemap-generator.asp

sitemap generator 300x183 SEO Crawler: Wenn man es genau wissen möchte

Der Sitemap Generator besitzt verschiedene Konfigurationsmöglichkeiten. So lassen sich URL-Filter angeben oder der Umgang mit der robots.txt, mit Bildern, mit nofollow-Attributen und der Crawl-Geschwindigkeit etc. genau anpassen. Zu den Daten, die der Sitemap Generator sammelt, gehören neben den URLs, der Title, der Mimetype, der http-Status und die Zahl der ein- und ausgehenden Links. Alle Daten lassen sich einfach exportieren und können dadurch beispielsweise in Excel komfortabel weiterbearbeitet werden.

Screaming Frog SEO Spider

Screaming Frog gehört sicherlich zu den bekanntesten Crawlern für die Suchmaschinenoptimierung. Er kann als Desktopprogramm in einer kostenlosen Demo-Version genutzt werden. Um spezifischere Einstellungen vorzunehmen oder mehr als 500 URLs zu crawlen, muss aber eine kostenpflichtige Lizenz erworben werden: http://www.screamingfrog.co.uk/seo-spider/

screaming frog 300x188 SEO Crawler: Wenn man es genau wissen möchte

Die Konfigurationsmöglichkeiten sind auch nach dem Erwerb einer Lizenz nicht so ausführlich wie die des Sitemap Generators, dafür wertet Screaming Frog aber einen sehr viel größeren Teil der Inhalte aus. So findet man nicht nur die reine Anzahl der Links, sondern auch eine Auswertung der Linktexte. Außerdem erhält man für jede Seite eine Auflistung wichtiger SEO-Inhalte wie dem Seitentitel, der Meta-Description, der H1- & H2-Überschriften, sowie des Canonical-Links. So lässt sich leicht erkennen, wo noch Inhalte angepasst werden müssen.

Für große Seiten: strucr.com

Bei größeren Shops mit mehreren tausend Unterseiten gelangen Crawler wie Screaming Frog oder der Sitemap Generator schnell an ihre Grenzen. Gerade für eine strukturierte Auswertung der Daten ist nämlich eine stärkere Rechenleistung gefragt. Für solche Fälle bietet sich der Onlineservice von strucr.com an: http://strucr.com

strucr 300x245 SEO Crawler: Wenn man es genau wissen möchte

 

Strucr.com listet nicht alleine die vom Crawler gefundenen Daten auf, sondern bereitet sie weiter auf und gibt Hinweise, wie die Seitenstruktur optimiert werden kann. So lassen sich beispielsweise Seiten auflisten, in denen die Meta-Description fehlt oder zu lang ist, per canonical-Link auf eine andere URL verwiesen wird oder zu große JavaScripts verwendet werden. Außerdem werden Werte zur Verteilung der Seiten auf verschiedenen Ebenen, zum CheiRank und Page-Rank ermittelt und damit nützliche Hinweise gegeben, wie sich die Seitenarchitektur verbessern ließe.

(Artikelbild-Quelle: flickr/miss_rogue, Lizenz: CC BY-SA 2.0)

5.thumbnail SEO Crawler: Wenn man es genau wissen möchte

Über Nikolas Schmidt-Voigt

Nikolas Schmidt-Voigt setzt den technischen Kawumba-Effekt in der Suchmaschinen-Optimierung um und geht dabei immer einer Frage nach: "Wie holen wir aus unseren Online-Shops noch mehr SEO raus?"

  • http://www.seo4shops.org jan

    Du hast Xenu vergessen, wohl einer der besten Freeware Crawler am Markt!

    • https://www.xing.com/profile/Nikolas_SchmidtVoigt Nikolas Schmidt-Voigt

      Danke für den Hinwei! Xenu ist natürlich auch ein sehr praktisches Tools, das man für die Analyse nutzen kann.