Große Teile des Webs liegen in für Suchmaschinen bisher unzugänglichen Bereichen, etwa in Datenbanken. Und das mit Recht. Suchmaschinen-Spidern versperrten dort bislang Eingabeformulare den Zugang – die Crawler konnten diese bislang nicht bedienen. Man spricht daher auch vom unsichtbaren oder dunklen Web (Invisible Web, dark Web), weil sich seine Inhalte nicht in Suchmaschinen widerspiegeln. Laut einem Posting in Googles Webmaster-Blog versucht sich Googles Crawler Googlebot jetzt auch an Formularen. Findet er auf den Sites Seiten mit Eingabefeldern, so füllt er sie mit Begriffen, die er auf der Seite findet. Menüs, Checkboxen und Radio-Buttons bedient der Crawler auf ähnliche Weise. Auch eine Art von Brute-Force Einbruch.
Dabei lässt Google die Finger von allem, was Passwort-Felder enthält, solange man Google nicht ausdrücklich in diesen Bereich einlädt und füllt noch nur GET-Formulare aus. Die Web-Datenbanken stöhnen aber jetzt schon bei dem, was da an sinnlosen Abfragen auf sie zukommt. Es wird sich also lohnen, einen Abfrage Filter zu entwickeln: „Wir müssen leider draussen bleiben“. Den die robots.txt hilft im Detail hier auch nicht weiter. Nur total.
Füllt der Crawler dann auch irgendwann Shop-Bestellformulare aus? Bei mir darf auch der Google Bot bestellen. Den dafür notwendigen Shop mit geeigneten Produkten zu entwickeln macht bestimmt Spass. Mit einem Button auf der Animated-Gif-Ära: „Optimized for Bots“
