Frei zugänglicher Webindex mit mehr als 5 Milliarden Seiten

Die Common Crawl Foundation sollte für Suchmaschinenoptimierer nicht länger ein unbekanntes Vorhaben sein. Es geht darum einen freien Informationszugang zu einem Suchindex zu erhalten, welcher umfassende Daten über 5 Milliarden Seiten im Internet bereitstellt. Die Stiftung hat die gesamten Webseiten inklusive der Meta Daten und sonstigen Informationen zu den einzelnen Webseiten zusammengefasst und bildet unter anderem die Verlinkungen der einzelnen Webseiten untereinander ab. Die Daten stehen frei zum Download zur Verfügung und können somit für eigene Zwecke verwendet werden.

Ziel ist es, dass diese Daten an Nutzer gelangen und deswegen hat die Stiftung sich jetzt an die Öffentlichkeit gewandt. In der Zukunft sollen einfachere Möglichkeiten angeboten werden, um die Handhabe mit den Daten zu vereinfachen. Für SEOs natürlich ein gefundenes fressen. Jeder, der ein 1. Versuch gemacht hat Webseiten zu crawlen, sollte festgestellt haben, dass viel Rechenleistung und Speicherkapazität benötigt wird (je nach Umfang). Umso leichter ist es jetzt mit dem freien Webindex seine Datenbank zu füttern, um gezieltere abfragen zu tätigen.

Es gibt ja mittlerweile immer mehr frei zugängliche Index Datenbanken, doch stecken meistens hinter diesen Angeboten Unternehmen, welche mit diesen auch Geld verdienen und somit nicht alle Daten frei zur Verfügung stellen. Es könnte sich also durch die Common Crawl Fundation einiges tun. Wer weiß, vielleicht erwarten wir demnächst noch einige SEO-Tools mehr, welche günstiger, aufgrund der Daten von der Common Crawl Foundation, an den Markt gehen und die bereits vorhandenen Informationen mit wesentlich günstigeren Mitteln um ein paar weitere Kennzahlen erweitern.

Darüber hinaus sollte man natürlich nicht vergessen, dass diese Daten natürlich für alternative Suchmaschinen als Grundlage dienen können. Ich bin gespannt!