80 ben
 | |
Typ av webbplats |
Webbsökningstjänst |
|---|---|
| Tillgänglig i | engelsk |
| Ägare | Datafiniti, LLC |
| Skapad av | Shion Deysarkar |
| URL | |
| Lanserades | september 2009 |
80legs är en webbsökningstjänst som låter sina användare skapa och köra webbsökningar genom sin mjukvara som en tjänsteplattform .
Historia
80legs skapades av Computational Crawling, ett företag i Houston, Texas . Företaget lanserade den privata betaversionen av 80legs i april 2009 och lanserade tjänsten offentligt på DEMOfall 09-konferensen. Vid tidpunkten för sin offentliga lansering erbjöd 80legs skräddarsydda webbsöknings- och skrapningstjänster. Det har sedan lagt till prenumerationsplaner och andra produkterbjudanden.
Teknologi
80legs är byggt ovanpå ett distribuerat nätverk för nät . Detta rutnät består av cirka 50 000 individuella datorer, distribuerade över hela världen, och använder bandbreddsövervakningsteknik för att förhindra att bandbreddstaket överskrids.
80legs har kritiserats av många sajtägare för att dess teknik effektivt fungerar som en Distribuerad Denial of Service- attack och inte följer robots.txt . Eftersom den genomsnittliga webmastern inte är medveten om existensen av 80legs, kan blockering av åtkomst till dess sökrobot endast göras när det redan är för sent, servern DDoSed och den skyldige parten upptäckt efter en tidskrävande djupgående analys av loggfilerna .
Vissa regeluppsättningar för modsäkerhet (som den från Atomicorp) blockerar all åtkomst till webbservern från 80legs för att förhindra en DDOS. WebKnight blockerar också 80legs som standard. Eftersom det är en distribuerad sökrobot är det omöjligt att blockera denna sökrobot via IP. Det bästa sättet att blockera 80legs är genom dess UserAgent , "008". Wrecksite blockerar 80 legs som standard.