Samarbetande informationssökning

Kollaborativ informationssökning ( CIS ) är ett forskningsfält som involverar att studera situationer, motivationer och metoder för personer som arbetar i samarbetsgrupper för informationssökande projekt, samt bygga system för att stödja sådana aktiviteter. Sådana projekt involverar ofta informationssökning eller informationssökning (IR), informationsinsamling och informationsutbyte . Utöver det kan CIS utvidgas till kollaborativ informationssyntes och kollaborativ meningsskapande .

Bakgrund

Att söka information anses ofta vara en soloaktivitet, men det finns många situationer som kräver att människor arbetar tillsammans för att söka information . Sådana situationer är typiskt komplexa till sin natur och involverar att arbeta genom flera sessioner med att utforska, utvärdera och samla in relevant information. Ta till exempel ett par som ska på resa. De har samma mål, och för att uppnå sitt mål måste de söka efter flera typer av information, inklusive flyg, hotell och sightseeing. Detta kan innebära att de arbetar tillsammans under flera sessioner, utforskar och samlar in användbar information och att de tillsammans tar beslut som hjälper dem att gå mot sitt gemensamma mål.

Det är allmänt känt att samarbete antingen är nödvändigt eller mycket önskvärt i många aktiviteter som är komplexa eller svåra att hantera för en individ. Trots dess naturliga dragningskraft och situationsmässiga nödvändighet är samarbete i informationssökning en understuderad domän. Den tillgängliga informationens karaktär och dess roll i våra liv har förändrats avsevärt, men metoderna och verktygen som används för att komma åt och dela denna information i samarbete har i stort sett förblivit oförändrade. Människor använder fortfarande generella system som e-post och snabbmeddelanden för att utföra CIS-projekt, och det finns en brist på specialiserade verktyg och tekniker för att stödja CIS explicit.

Det finns också flera modeller för att förklara informationssökning och informationsbeteende , men områdena för kollaborativ informationssökning och kollaborativt informationsbeteende är fortfarande understuderade. På teorisidan har Shah presenterat C5-modellen för att studera samarbetssituationer, inklusive informationssökning . På den praktiska sidan har några specialiserade system för att stödja CIS dykt upp på senare tid, men deras användning och utvärderingar har underväldigats. Trots sådana begränsningar har CIS-området fått mycket uppmärksamhet på sistone, och flera lovande teorier och verktyg har kommit fram. Flera recensioner av CIS-relaterad litteratur är skrivna av Shah. Shahs bok ger en omfattande genomgång av detta område, inklusive teorier, modeller, system, utvärdering och framtida forskningsriktningar. Andra böcker inom detta område inkluderar en av Morris och Teevan , såväl som Fosters bok om kollaborativt informationsbeteende. och Hansen, Shah och Klas redigerade bok om CIS.

Teorier

Beroende på vad man inkluderar eller utesluter när man talar om CIS, har vi många eller knappt några teorier. Om vi tar hänsyn till det tidigare arbetet med groupware- systemen kan många intressanta insikter erhållas om personer som arbetar med samarbetsprojekt, de problem de möter och riktlinjerna för systemdesigners. Ett av de anmärkningsvärda verken är av Grudin, som lade ut åtta designprinciper för utvecklare av gruppprogramsystem .

Diskussionen nedan är främst baserad på några av de senaste arbetena inom området datorstödda kooperativa arbete CSCW , kollaborativ IR och CIS.

Definitioner och terminologi

Litteraturen är fylld med verk som använder termer som kollaborativ informationssökning , social sökning , samtidig sökning , kollaborativ utforskande sökning , samsurfning , kollaborativt informationsbeteende , kollaborativ informationssyntes och kollaborativ informationssökning , som ofta används omväxlande.

Det finns flera definitioner av sådana relaterade eller liknande termer i litteraturen. Till exempel definierade Foster kollaborativ IR som "studiet av de system och praxis som gör det möjligt för individer att samarbeta under sökning, sökning och hämtning av information." Shah definierade CIS som en process för att kollaborativt söka information som "definieras explicit bland deltagarna, interaktiv och ömsesidigt fördelaktig." Även om det fortfarande saknas en definition eller en terminologi som är allmänt accepterad, men de flesta är överens om att CIS är en aktiv process, till skillnad från kollaborativ filtrering , där ett system kopplar samman användarna baserat på deras passiva engagemang (t.ex. att köpa liknande produkter på Amazon).

Modeller för samarbete

Foley och Smeaton definierade två nyckelaspekter av kollaborativ informationssökning som arbetsdelning och delning av kunskap . Arbetsfördelning gör det möjligt för samarbetande sökare att ta itu med större problem genom att minska dubbelarbetet (t.ex. att hitta dokument som ens medarbetare redan har upptäckt). Dela kunskap gör det möjligt för sökare att påverka varandras aktiviteter när de interagerar med hämtningssystemet i jakten på deras (ofta växande) informationsbehov. Denna påverkan kan ske i realtid om det kollaborativa söksystemet stödjer det, eller så kan det ske på ett turtagande, asynkront sätt om det är så interaktionen är uppbyggd.

Teevan et al. kännetecknade två klasser av samarbete, uppgiftsbaserad kontra egenskapsbaserad. Uppgiftsbaserat samarbete motsvarar avsiktligt samarbete; Egenskapsbaserat samarbete underlättar kunskapsutbytet genom antagen likhet i informationsbehovet.

Situationer, motiveringar och metoder

En av de viktiga frågorna att studera i CIS är instansen, anledningen och metoderna bakom ett samarbete. Till exempel fann Morris, med hjälp av en undersökning med 204 kunskapsarbetare på ett stort teknikföretag, att människor ofta gillar och vill samarbeta, men de hittar inga specialiserade verktyg för att hjälpa dem i sådana ansträngningar. Några av situationerna för att göra gemensam informationssökning i denna undersökning var reseplanering, shopping och litteratursökning. Shah, på samma sätt, med hjälp av personliga intervjuer, identifierade tre huvudorsaker till att människor samarbetar.

Krav/inställning . Ibland "tvingas" en grupp människor att samarbeta. Exempel inkluderar en fusion mellan två företag.
Arbetsfördelning . Att arbeta tillsammans kan hjälpa deltagarna att fördela arbetsbördan. Exempel inkluderar en grupp elever som arbetar med ett klassprojekt.
Mångfald av kompetens . Ofta träffas människor för att de individuellt inte kunde ha de färdigheter som krävs. Exempel inkluderar medförfattarskap, där olika författare tar med olika färdigheter till bordet.

När det gäller verktygen och/eller metoderna för CIS fann både Morris och Shah att e-post fortfarande är det mest använda verktyget. Andra populära metoder är möten ansikte mot ansikte, snabbmeddelanden och telefon- eller konferenssamtal. I allmänhet berodde valet av metod eller verktyg för våra respondenter på deras situation (samlokaliserad eller avlägsen) och objektiv (brainstorming eller arbete med oberoende delar).

Rum-tidsorganisation av CIS-system och metoder

Det klassiska sättet att organisera samarbetsaktiviteter bygger på två faktorer: plats och tid. Nyligen klassificerade Hansen & Jarvelin och Golovchinsky, Pickens & Back också tillvägagångssätt för kollaborativ IR med dessa två dimensioner av rum och tid. Se "Browsing is a Collaborative Process", där författarna skildrar olika biblioteksaktiviteter på dessa två dimensioner.

Som vi kan se från denna figur är majoriteten av samarbetsaktiviteterna i konventionella bibliotek samlokaliserade och synkrona, medan samarbetsaktiviteter relaterade till digitala bibliotek är mer avlägsna och synkrona. Social informationsfiltrering, eller kollaborativ filtrering, som vi såg tidigare, är en process som drar nytta av andra användares handlingar i det förflutna; sålunda faller den under asynkron och mestadels avlägsna domän. Nuförtiden fungerar e-post också som ett verktyg för att göra asynkront samarbete mellan användare som inte är samlokaliserade. Chatt eller IM (representerat som "internet" i figuren) hjälper till att utföra synkront och fjärrsamarbete.

Rodden presenterade på samma sätt en klassificering av CSCW-system med hjälp av formen av interaktion och den geografiska karaktären hos kooperativa system. Vidare presenterade Rodden & Blair en viktig egenskap för alla CSCW-system – kontroll. Enligt författarna har två dominerande kontrollmekanismer uppstått inom CSCW-system: system för talhandlingsteori och procedurbaserade system. Dessa mekanismer är tätt kopplade till den typ av kontroll som systemet kan stödja i en samarbetsmiljö (diskuteras senare).

Ofta pratar forskare också om andra dimensioner, såsom intentionalitet och förmedlingsdjup (systemmedierad eller användarmedierad), samtidigt som de klassificerar olika CIS-system.

Kontroll, kommunikation och medvetenhet

Tre komponenter som är specifika för grupparbete eller samarbete som är mycket dominerande i CIS- eller CSCW-litteraturen är kontroll, kommunikation och medvetenhet. I det här avsnittet kommer nyckeldefinitioner och relaterade arbeten för dessa komponenter att markeras. Att förstå deras roller kan också hjälpa oss att ta itu med olika designproblem med CIS-system.

Kontrollera

Rodden identifierade värdet av kontroll i CSCW-system och listade ett antal projekt med motsvarande system för implementering för kontroll. COSMOS-projektet hade till exempel en formell struktur för att representera kontroll i systemet. De använde roller för att representera människor eller automater, och regler för att representera flödet och processer. Personernas roller kan vara en handledare, processor eller analytiker. Regler kan vara ett villkor som en process måste uppfylla för att starta eller avsluta. På grund av en sådan struktur som ses i projekt som COSMOS, klassificerade Rodden dessa kontrollsystem som procedurbaserade system. Kontrollstraffet var alla ansträngningar för att söka människor och kontrollera andra i denna metod som används för att mycket ansvarsfulla personer ta kontroll över ett annat nätverkssystem var supply chine management eller transformation till out anslutningsprocessorinformation

Kommunikation

Detta är en av de mest kritiska komponenterna i alla samarbeten. Faktum är att Rodden (1991) identifierade meddelande- eller kommunikationssystem som den klass av system i CSCW som är mest mogna och mest använda.

Eftersom fokus här ligger på CIS-system som gör att dess deltagare kan engagera sig i ett avsiktligt och interaktivt samarbete, måste det finnas ett sätt för deltagarna att kommunicera med varandra. Det som är intressant att notera är att samarbete ofta kan börja med att låta en grupp användare kommunicera med varandra. Till exempel presenterade Donath & Robertson ett system som låter en användare veta att andra för närvarande tittade på samma webbsida och kommunicera med dessa personer för att initiera ett möjligt samarbete eller åtminstone en samsurfupplevelse. Att tillhandahålla kommunikationsmöjligheter även i en miljö som inte ursprungligen var designad för att genomföra samarbete är ett intressant sätt att uppmuntra till samarbete.

Medvetenhet

Medvetenhet, i CSCW-sammanhang, har definierats som "en förståelse av andras aktiviteter, vilket ger ett sammanhang för din egen aktivitet" . Följande fyra typer av medvetenhet diskuteras och behandlas ofta i CSCW-litteraturen:

Gruppmedvetenhet. Denna typ av medvetenhet inkluderar att tillhandahålla information till varje gruppmedlem om status och aktiviteter för de andra medarbetare vid en given tidpunkt.
Arbetsplatsmedvetenhet. Detta syftar på en gemensam arbetsyta som gruppen har där de kan ta med sig och diskutera sina resultat och skapa en gemensam produkt.
Kontextuell medvetenhet. Denna typ av medvetenhet relaterar till applikationsdomänen snarare än användarna. Här vill vi identifiera vilket innehåll som är användbart för gruppen, och vad målen är för det aktuella projektet.
Perifer medvetenhet. Detta relaterar till den typ av information som har resulterat från personlig och gruppens kollektiva historia, och bör hållas åtskild från vad en deltagare för närvarande tittar på eller gör.

Shah och Marchionini studerade medvetenhet som tillhandahålls av gränssnitt i kollaborativ informationssökning. De fann att man måste ge "rätt" (inte för lite, inte för mycket och lämplig för uppgiften) typ av medvetenhet för att minska kostnaderna för samordning och maximera fördelarna med samarbete.

System

Ett antal specialiserade system har utvecklats tillbaka från dagarna för groupware -systemen till dagens Web 2.0-gränssnitt. Några sådana exempel, i kronologisk ordning, ges nedan.

Ariadne

Twidale et al. utvecklat Ariadne för att stödja samarbetslärande av databasbläddring. Förutom att förbättra möjligheterna och effektiviteten av det samarbetande lärande som redan förekommit, designades Ariadne för att tillhandahålla de faciliteter som skulle tillåta samarbeten att bestå när människor i allt större utsträckning sökte information på distans och hade mindre möjligheter till spontant samarbete ansikte mot ansikte.

Ariadne utvecklades på den tiden då Telnet-baserad åtkomst till bibliotekskataloger var en vanlig praxis. Utöver detta kommandoradsgränssnitt kunde Ariadne fånga användarnas indata och databasens utdata och forma dem till en sökhistorik som bestod av en serie kommando-utdatapar. En sådan separation av fångst och visning gjorde att Ariadne kunde arbeta med olika former av datafångstmetoder.

För att stödja komplexa webbläsarprocesser i samarbete presenterade Ariadne en visualisering av sökprocessen. Denna visualisering bestod av miniatyrer av skärmar, som såg ut som spelkort, som representerade kommando-utgångspar. Alla sådana kort kan utökas för att avslöja dess detaljer. Den horisontella axeln på Ariadnes display representerade tid, och den vertikala axeln visade information om semantiken för handlingen den representerade: den översta raden för menyerna på översta nivån, den mellersta raden för att ange en sökning och den nedre raden för att titta på en viss bok detaljer.

Denna visualisering av sökprocessen i Ariadne gör det möjligt att kommentera, diskutera med kollegor runt om på skärmen och distribuera till externa medarbetare för asynkron kommentering enkelt och effektivt. Som vi såg i föregående avsnitt är det mycket avgörande att ha tillgång till sin historia såväl som sina medarbetares historia för effektivt samarbete. Ariadne implementerar dessa krav med funktionerna som låter en visualisera, spara och dela en sökprocess. Faktum är att författarna fann att en av fördelarna med sökvisualisering var möjligheten att enkelt sammanfatta tidigare söksessioner i en utforskande sökning med flera sessioner.

Sök Tillsammans

Horvitz , ett av de samarbetsverktyg för informationssökning som har fångat mycket uppmärksamhet . Utformningen av detta verktyg motiverades av en undersökning som forskarna gjorde med 204 kunskapsarbetare, där de upptäckte följande.

En majoritet av de svarande ville samarbeta när de sökte på webben.
De vanligaste sätten att samarbeta i informationssökningsuppgifter är att skicka e-postmeddelanden fram och tillbaka, använda snabbmeddelanden för att utbyta länkar och söktermer och använda telefonsamtal medan du tittar i en webbläsare.
Några av de mest populära webbsökningsuppgifter som människor gillar att samarbeta med är att planera resor eller sociala evenemang, göra dyra inköp, undersöka medicinska tillstånd och leta efter information relaterad till ett vanligt projekt.

Baserat på enkätsvaren och de nuvarande och önskade metoderna för kollaborativ sökning, identifierade författarna till SearchTogether tre nyckelfunktioner för att stödja människors samarbetande informationsbeteende när de söker på webben: medvetenhet, arbetsfördelning och uthållighet. Låt oss titta på hur dessa tre funktioner implementeras.

SearchTogether instansierar medvetenhet på flera sätt, varav ett är frågehistorik per användare. Detta görs genom att visa varje gruppmedlems skärmnamn, hans/hennes foto och frågor i "Query Awareness"-regionen. Åtkomsten till frågehistoriken är omedelbar och interaktiv, eftersom ett klick på en fråga tar tillbaka resultaten av den frågan från när den kördes. Författarna identifierade frågemedvetenhet som en mycket viktig funktion i kollaborativ sökning, vilket gör att gruppmedlemmar inte bara kan dela sina söktermer, utan också lära sig bättre frågeformuleringstekniker av varandra.

En annan komponent i SearchTogether som underlättar medvetenheten är visningen av sidspecifik metadata. Denna region innehåller flera delar av information om den visade sidan, inklusive gruppmedlemmar som tittade på den givna sidan, och deras kommentarer och betyg. Författarna hävdar att sådan besöksinformation kan hjälpa en att antingen välja att undvika en sida som redan besökts av någon i gruppen för att minska dubbelarbetet, eller kanske välja att besöka sådana sidor, eftersom de ger ett tecken på lovande potentiella kunder, vilket indikeras av närvaro av kommentarer och/eller betyg.

Arbetsfördelning i SearchTogether implementeras på tre sätt: (1) "Delad sökning" gör att man kan dela upp sökresultaten mellan alla onlinegruppmedlemmar på ett round-robin-sätt, (2) "Multi-Engine Search" tar en fråga och kör det på n olika sökmotorer, där n är antalet onlinegruppmedlemmar, (3) manuell arbetsfördelning kan underlättas med hjälp av integrerad IM.

Slutligen instansieras beständighetsfunktionen i SearchTogether genom att lagra alla objekt och åtgärder, inklusive snabbmeddelandekonversationer, frågehistorik, rekommendationsköer och sidspecifik metadata. Sådan information om alla gruppmedlemmar är tillgängliga för varje medlem när han/hon loggar in. Detta gör att man enkelt kan genomföra ett flersessionssamarbetsprojekt.

Cerchiamo

Cerchiamo är ett samarbetsverktyg för informationssökning som utforskar frågor relaterade till algoritmisk förmedling av informationssökningsaktiviteter och hur samarbetspartners roller kan användas för att strukturera användargränssnittet. Cerchiamo introducerade begreppet algoritmisk förmedling, det vill säga systemets förmåga att samla in input asynkront från flera samarbetande sökare, och att använda dessa multipla indataströmmar för att påverka informationen som hämtas och visas för sökarna.

Cerchiamo samlade in bedömningar av relevans från flera samarbetande sökare och använde dessa bedömningar för att skapa en rankad lista över objekt som var potentiellt relevanta för informationsbehovet. Denna algoritm prioriterade objekt som hämtades av flera frågor och som hämtades av frågor som också hämtade många andra relevanta dokument. Denna rangfusion är bara ett sätt på vilket ett söksystem som hanterar aktiviteter för flera samarbetande sökare kan kombinera sina input för att generera resultat som är bättre än de som produceras av individer som arbetar självständigt.

Cerchiamo implementerade två roller – prospektör och gruvarbetare – som sökare kunde ta på sig. Varje roll hade ett tillhörande gränssnitt. Prospector-rollen/gränssnittet fokuserade på att köra många frågor och göra några bedömningar av relevans för varje fråga för att utforska informationsutrymmet. Miner-rollen/gränssnittet fokuserade på att göra relevansbedömningar på en rankad lista över objekt valda från objekt som hämtats av alla frågor i den aktuella sessionen. Denna kombination av roller gjorde det möjligt för sökare att utforska och utnyttja informationsutrymmet, och ledde till att team upptäckte mer unika relevanta dokument än par av individer som arbetade separat.

Coagmento

Coagmento (latin för "att arbeta tillsammans") är ett nytt och unikt system som tillåter en grupp människor att arbeta tillsammans för sina uppgifter som söker information utan att behöva lämna sina webbläsare. Coagmento har utvecklats med en klient-server-arkitektur, där klienten implementeras som ett Firefox plug-in som hjälper flera personer som arbetar i samarbete att kommunicera, och söka, dela och organisera information. Serverkomponenten lagrar och tillhandahåller alla objekt och åtgärder som samlats in från klienten. På grund av denna frikoppling Coagmento en flexibel arkitektur som gör det möjligt för sina användare att vara samlokaliserade eller på distans, arbeta synkront eller asynkront och använda olika plattformar.

Coagmento innehåller ett verktygsfält och ett sidofält. Verktygsfältet har flera knappar som hjälper en att samla in information och vara medveten om framstegen i ett givet samarbete. Verktygsfältet har tre huvuddelar:

Knappar för att samla in information och göra anteckningar. Dessa knappar hjälper en att spara eller ta bort en webbsida, göra anteckningar på en webbsida och markera och samla in textutdrag.
Sidspecifik statistik. Den mellersta delen av verktygsfältet visar olika statistik, såsom antalet visningar, kommentarer och utdrag, för den visade sidan. En användare kan klicka på en given statistik och få mer information. Om du till exempel klickar på antalet utdrag visas ett fönster som visar alla utdrag som samarbetspartnerna samlat in från sidan som visas.
Projektspecifik statistik. Den sista delen av verktygsfältet visar uppgiften/projektets namn och diverse statistik, inklusive antal besökta och sparade sidor, om det aktuella projektet. Genom att klicka på den delen visas arbetsytan där man kan se alla insamlade objekt (sidor och utdrag) som samarbetspartnerna tog med för det projektet.

Sidofältet har ett chattfönster, under vilket det finns tre flikar med historik över sökmotorfrågor, sparade sidor och utdrag. Med vart och ett av dessa objekt visas användaren som skapade eller samlade in objektet. Alla i gruppen kan komma åt ett objekt genom att klicka på det. Till exempel kan man klicka på en fråga som utfärdats av vem som helst i gruppen för att köra frågan igen och visa resultaten i webbläsarens huvudfönster.

En Android-app (operativsystem) för Coagmento finns på Android Market .

Cosme

Fernandez-Luna et al. introducera Cosme (COde Search Meeting) som en NetBeans IDE-plugin som gör det möjligt för fjärrstyrda programutvecklare att samarbeta i realtid under källkodsökningssessioner. COSME-designen motiverades av tidiga studier av C. Foley, MR Morris, C. Shah, bland andra forskare, och av vanor hos mjukvaruutvecklare som identifierats i en undersökning av 117 universitetsstudenter och professorer relaterade till projekt för mjukvaruutveckling, samt till datorprogrammerare från vissa företag. De fem vanligaste samarbetssökvanorna (eller relaterade till det) hos intervjupersonerna var:

Revidering av problem av teamet på arbetsstationen på en av dem.
Föreslå adresser till webbsidor som de redan har besökt tidigare, digitala böcker lagrade i vissa FTP-filer eller källfiler till ett versionskontrollsystem.
Skicka e-postmeddelanden med algoritmer eller förklarande text.
Uppdelning av sökuppgifter mellan varje medlem i teamet för att dela slutresultatet.
Lagra relevant information i enskild arbetsstation.

COSME är utformad för att möjliggöra antingen synkront eller asynkront, men explicit fjärrsamarbete mellan teamutvecklare med delade tekniska informationsbehov. Dess klientanvändargränssnitt inkluderar en sökpanel som låter utvecklare specificera frågor, arbetsdelningsprincipen (möjlig kombination inkluderar användningen av olika sökmotorer, ranking fusion och delade algoritmer), sökfält (kommentarer, källkod, klass eller metoder). deklaration) och insamlingstypen (källkodsfiler eller digital dokumentation). Sessionspanelen omfattar de viktigaste alternativen för att hantera de kollaborativa söksessionerna, som består av ett team av utvecklare som arbetar tillsammans för att tillfredsställa deras delade tekniska informationsbehov. Till exempel kan en utvecklare använda det inbäddade chattrummet för att förhandla om skapandet av en gemensam söksession och visa kommentarer om aktuella och historiska sökresultat. Implementeringen av Cosme baserades på CIRLab (Collaborative Information Retrieval Laboratory), ett ramverk för gruppprogram för CIS-forskning och experiment, Java som programmeringsspråk, NetBeans IDE-plattform som plug-in-bas och Bekvämligheter (A METODology for aNalysis and deSign of cooperaTIve) system) som metodik för programvaruteknik.

Applikationsramverk och verktygssatser med öppen källkod

CIS-systemutveckling är en komplex uppgift, som involverar mjukvaruteknik och Know-how inom olika områden såsom distribuerad programmering, informationssökning och -hämtning, samarbete mellan människor, uppgiftskoordinering och många andra beroende på sammanhanget. Denna situation är inte idealisk eftersom den kräver stora programmeringsinsatser. Lyckligtvis ökar vissa CIS-applikationsramverk och verktygssatser sin popularitet eftersom de har en hög återanvändningseffekt för både utvecklare och forskare, som Coagmento Collaboratory och DrakkarKeel.

Framtida forskningsriktningar

Många intressanta och viktiga frågor återstår att behandla inom CIS-området, inklusive

Varför samarbetar människor? Att identifiera deras motiv kan hjälpa oss att utforma bättre stöd för deras specifika behov.
Vilka ytterligare verktyg krävs för att förbättra befintliga metoder för samarbete, givet en specifik domän?
Hur utvärderar man olika aspekter av kollaborativ informationssökning, inklusive system- och användarprestanda?
Hur mäter man kostnaderna och fördelarna med samarbete?
Vilka är de informationssökande situationerna där samarbete är fördelaktigt? När lönar det sig inte?
Hur kan vi mäta prestandan hos en samarbetsgrupp?
Hur kan vi mäta bidraget från en individ i en samarbetsgrupp?
Vilka typer av hämtningsalgoritmer kan användas för att kombinera input från flera sökare?
Vilka typer av algoritmisk medling kan förbättra teamets prestation?

Se även