Web-Indexierung: Wie unabhängig agiert Qwant?

Wenn es um das Thema Suchmaschinen geht, gibt es immer noch eine Menge Verwirrung zwischen Meta-Suchmaschinen, die einfach die Ergebnisse anderer in einer anderen Oberfläche anzeigen, und unabhängigen Suchmaschinen, die Webinhalte selbst indexieren und über eigene Algorithmen für ihre Suchergebnisse verfügen. Bei Qwant streben wir seit dem ersten Tag danach, eine echte unabhängige Suchmaschine zu schaffen, indem wir das Web selbst indexieren und unsere eigenen Algorithmen entwickeln, die es uns ermöglichen, Ihnen die relevantesten Informationen zur Verfügung zu stellen, ohne Ihre persönlichen Daten erfassen zu müssen.

Dies ist äußerst wichtig, um die europäische und technologische Souveränität zu gewährleisten. Es ist abnormal, dass unser Wissen über das Web von ein oder zwei amerikanischen Akteuren abhängt, die für 95% der Europäer entscheiden, was für ihre Forschung relevant ist, und die ihre Visionen und Interessen durchsetzen.

Bei Qwant haben wir viel in die Erstellung unseres Indexes investiert und optimieren ihn fortlaufend. Zum Zeitpunkt der Veröffentlichung dieser Zeilen hat Qwant 20 Milliarden indexierte Webseiten auf seinen Servern, und jeden Tag durchlaufen unsere Crawler mehr als eine Milliarde Seiten, um Informationen über nicht mehr existierende Seiten zu aktualisieren. Nach unserem Kenntnisstand verfügt Qwant über die größte Indexierungskapazität Europas.

Dennoch liest man leider immer noch häufig, dass Qwant auf Bing zurückgreife, so als sei Qwant nur eine einfache Meta-Suchmaschine, die keinen eigenen Index nutze. Das Blog Precisement.org hat diesen Zusammenhang unlängst hergestellt und einen entsprechenden Schluss gezogen.

Glücklicherweise ist dies nicht der Fall! Hier ist ein Beispiel, wie kleiner Teil (2000 Links) von dem aussieht, was Qwant auf Precisement.org indiziert. Es handelt sich um eine visuelle Darstellung, die mit Graphee erzeugt wurde. Graphee ist ein internes Werkzeug, das in Open Source entwickelt und verbreitet wurde, mit dem Sie Links zwischen Unterseiten einer Webseite oder zwischen verschiedenen Webseiten visualisieren können:

Qwant Webgraph von precisement.org

Jeder Punkt, den Sie im Bild sehen, entspricht einer Unterseite der Website, der ein Gewicht zugeordnet ist, welches von unseren Algorithmen berechnet wird, um die Bedeutung der Unterseite zu bestimmen.

Qwant Webgraph von precisement.org

Diese Punkte werden aus den Indexiergsdaten generiert. Hier ist zum Beispiel ein CSV-Auszug, der die derzeit mehr als 6100 referenzierte Seiten auflistet, mit denen es Links zu Precisement.org gibt:

Wir speichern wir eine Kopie des Webseiten-Inhalts, um ihn zu indexieren und seine Relevanz für die von unseren Nutzern gesuchten Keywords zu bewerten:

Zehn Millionen Webseiten sind somit in unserem Index enthalten und wir crawlen sie fortlaufend (je größer und beliebter die Webseite, desto häufiger wird sie gecrawlt). Tatsächlich verwendet Qwant auch Bing, um solche Suchergebnisse zu ergänzen, für die wir nur sehr wenig Suchvolumen haben — und für Bilder, bei denen die Speicherkapazität sehr groß ist. Darüber hinaus sind die meisten Suchlogiken oft gleich, was erklärt, warum Sie häufig die gleichen Suchergebnisse finden. Die jeweiligen Suchlogiken beeinflussen die Ergebnisse. Je nach Eingabe der Suchkriterien, werden die Ergebnisse ausgespielt. Aber wir ändern unsere Algorithmen jeden Tag. Der Übergang zur völligen Unabhängigkeit erfolgt daher allmählich, und das ist in der Tat eine Richtung, die Qwant eingeschlagen hat, die von außen schwer zu erkennen ist!