Distribuerad sökmotor
En distribuerad sökmotor är en sökmotor där det inte finns någon central server. Till skillnad från traditionella centraliserade sökmotorer fördelas arbete som genomsökning , datautvinning , indexering och frågebehandling på ett decentraliserat sätt mellan flera kamrater där det inte finns någon enskild kontrollpunkt .
Historia
Rorur
Det kortsiktiga målet med Rorur-projektet är att skapa en distribuerad sökmotor som körs på ett nätverk av vanliga människors datorer på ett decentraliserat sätt. En konkurrenskraftig latens och leverans av den begärda rankningen kan uppnås om antalet deltagande noder är tillräckligt stort och andelen skadliga noder inte överstiger en beräkningsbar tröskel https://rorur.com/Whitepaper . Arkitekturen bygger på öppen källkodsalgoritmer som är beroende av offentliga bidrag för utveckling och underhåll. För att stimulera de som går med och bidrar fördelas intäkterna från annonsering mellan nodunderhållare. Det långsiktiga målet är att ha inbyggda personliga sökagenter som konstruerar och underhåller personliga kunskapsdiagram för att underlätta interaktionen mellan människa och webb.
Försök
Presearch, som startade 2017, är en ERC20 -driven (PRE) sökmotor som drivs av ett distribuerat nätverk av gemenskapsstyrda noder som samlar resultat från en mängd olika källor. Detta driver sökningarna på presearch.com/ Detta är planerat att vara en föregångare där varje nod samarbetar på ett globalt decentraliserat index. Presearch har i genomsnitt 5 miljoner sökningar per dag och har 2,2 miljoner registrerade användare. Den 1 september 2021 lades Presearch till som ett standardalternativ i sökmotorlistan på Android för EU. Den 27 maj 2022 övergick Presearch officiellt från sitt testnät till ett huvudnät. Detta innebär att all söktrafik genom tjänsten nu körs över Presearchs decentraliserade nätverk av volontärdrivna noder.
YaCy
Den 15 december 2003 tillkännagav Michael Christen utvecklingen av en P2P -baserad sökmotor, som så småningom heter YaCy , på heise onlineforum .
Daggar
En teoretisk design för en distribuerad sökmotor som diskuteras i akademisk litteratur.
Söker
Seeks var en proxy för webbsökning med öppen källkod och distribuerat samarbetsverktyg för webbsökning. Den upphörde att ha en användbar version 2016.
InfraSearch
byggde flera programmerare (inklusive Gene Kan , Steve Waterhouse) en prototyp av P2P- webbsökmotor baserad på Gnutella kallad InfraSearch . Tekniken förvärvades senare av Sun Microsystems och införlivades i JXTA -projektet. Det var tänkt att köras i de deltagande webbplatsernas databaser och skapa ett P2P- nätverk som kunde nås via InfraSearch-webbplatsen.
Opencola
Den 31 maj 2000 tillkännagav Steelbridge Inc. utvecklingen av OpenCOLA, en gemensam distribuerande sökmotor med öppen källkod. Den körs på användarens dator och genomsöker webbsidorna och länkarna som användaren lägger i sin opencola-mapp och delar resulterande index över sitt P2P -nätverk.
Mario
I februari 2001 publicerade Wolf Garbe en idé om en peer-to-peer- sökmotor, startade Faroo-prototypen 2004 och släppte den 2005.
Mål
Målen med att bygga en distribuerad sökmotor inkluderar:
1. att skapa en oberoende sökmotor som drivs av communityn;
2. att göra sökoperationen öppen och transparent genom att förlita sig på programvara med öppen källkod;
3. att fördela reklamintäkterna till nodunderhållare, vilket kan bidra till att skapa en mer robust webbinfrastruktur;
4. att tillåta forskare att bidra till utvecklingen av öppen källkod och offentligt underhållbara rankningsalgoritmer och att övervaka träningen av algoritmparametrarna.
Utmaningar
1. Mängden data som ska behandlas är enorm. Storleken på den synliga webben uppskattas till 5 PB spridda runt 10 miljarder sidor.
2. Latensen för den distribuerade operationen måste vara konkurrenskraftig med latensen för de kommersiella sökmotorerna.
3. En mekanism som förhindrar illvilliga användare från att korrumpera de distribuerade datastrukturerna eller rangordningen måste utvecklas.