Um die Logs entsprechend auswerten zu können, benötigt man den Useragent des Crawlers und dessen restlichen Daten:

IP: 65.55.106.242

Hostname: msnbot-65-55-106-242.search.msn.com

Useragent: msnbot/2.0b (+http://search.msn.com/msnbot.htm)

Desweiteren ist auch die “Link-Share” Funktionalität von Facebook, dem größten sozialen Netzwerk weltweit mit über 200 Millionen Mitgliedern ein echter Traffic_Bringer, eine Auswertung der Zugriffe über Facebook daher auch nützlich. Hierzu die Facebook Daten:

IP: 69.63.178.249

Hostname: out.249.01.snc1.facebook.com

Useragent: facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)

Und zum Abschluss noch die anfangs gehypte Suchmaschine CUIL, die aber bis dato nicht an Bedeutung gewonnen hat.

IP Adresse: 38.99.13.116

Hostname: crawl-15c.cuil.com

Useragent: mozilla/5.0 (twiceler-0.9 http://www.cuil.com/twiceler/robot.html)

Umgesetzt wurde dieses Wissen in der log-Auswertung von aktuellekalenderwoche.de und oneclickbutton.de bereits.