BotSeer

BotSeer var ett webbaserat informationssystem och sökverktyg som användes för forskning om webbrobotar och trender inom implementering och efterlevnad av Robot Exclusion Protocol . Den skapades och designades av Yang Sun, Isaac G. Councill, Ziming Zhuang och C. Lee Giles . BotSeer var i drift från 2007 till 2010, ungefär.

Historia

BotSeer fungerade som en resurs för att studera regleringen och beteendet hos webbrobotar samt information om skapandet av effektiva robots.txt-filer och sökrobotimplementeringar. Det var allmänt tillgängligt på World Wide Web vid College of Information Sciences and Technology vid Pennsylvania State University .

BotSeer tillhandahöll tjänster inklusive robots.txt-sökning, robotbiasanalys och robotgenererad logganalys. Prototypen av BotSeer gjorde det också möjligt för användare att söka i 6 000 dokumentationsfiler och källkoder från 18 sökrobotprojekt med öppen källkod.

BotSeer hade indexerat och analyserat 2,2 miljoner robots.txt-filer som erhållits från 13,2 miljoner webbplatser, samt en stor webbserverlogg över verkliga robotbeteende och relaterad analys. BotSeers mål var att hjälpa forskare, webbansvariga, utvecklare av sökrobotar och andra med webbrobotrelaterad forskning och informationsbehov. Vissa personer tog dock emot BotSeer negativt och hävdade att det stred mot syftet med robots.txt-konventionen.

BotSeer hade också satt upp en honeypot för att testa etik, prestanda och beteende hos webbsökare .

• "Webbansvariga kan forma sökresultat" . Newsvine. Opartisk Press. 28 november 2007 . Hämtad 2011-12-11 .

• "Google favoriseras av webbadministratörer" . Nätverksvärlden. 15 november 2007. Arkiverad från originalet 18 december 2007 . Hämtad 2007-12-19 .

externa länkar

• "BotSeer: Robots.txt and Web Crawler Search Engine" . Arkiverad från originalet 2010-02-08 . Hämtad 2011-12-11 .