Artikler

Proceedings of the ACM SIGIR 2006 Workshop on "Evaluating Exploratory Search Systems"

Jeg har tygget den [http://research.microsoft.com/en-us/um/people/ryenw/eess/EESS2006_Proceedings.pdf her] igennem og har fundet ud af at den er ekstrem relevant for vores projekt. Den går direkte og eksplicit til sagen omkring eksplorativ søgning (es). Jeg tager den artikel for artikel, med en indikation af om det er noget der er interesserent eller ej.

Evaluating Exploratory Search Systems

Den her artikel forholder sig eksplicit til es. Den forsøger at sætte ord på hvad es er for en aktivitet og hvordan den adskiller sig fra traditionel søgning. Den forholder sig tilmed til hvordan man evaluere "traditionelle søgesystemer" og hvorfor det skal gentænkes i forhold til es systemer. Artiklen går endda så langt som til at foreslå to faktore som skal med, når man påtænker at evaluere es systemer - Metrics og Methodologies - som udfoldes kort i artiklen. Artiklens pointe er kort, at eveluering af es systemer ligner på mange måder den evaluering vi bruger til traditionelle systemer, men pga. af den øgede kompleksistet i es systemer skal der en "overbygning" til.

Den her artikel er et 'must' fordi den kort sætter ord på feltet og forsøger at indkredse es i en brugerundersøgelsessammenhæng. Hvis ikke vi finder bedre, kan den bruges som basis og vokabular.

Building Models of Search Success with Experience Sampling and Event Logs

Beskriver hvordan man kan lave brugerundersøgelser af (es)systemer ved at kombinere server-logs med eksplicit feedback. Helt konkret havde de gjort de ved at udstyre 146 med en speciel browser, der loggede deres søgninger og efter hver søgning kom der en pop-up, som bad brugeren svare på om de var tilfredse med søgeresultatet om de var tilfredse med 'det hit' de lige havde besøgt osv.

Artiklen kan evt. bruges som inspiration til metode, når den tid kommer, men ellers ikke videre ophidsende.

Retrieval Evaluation sans Human Relevance Judgments

Snæver artikel som beskriver en ny metode til at teste "LSA-based cross-language retrieval of similar documents".

Virker ikke umiddelbart relevant for os.

Why a corpus-topics-relevance judgments framework isn’t enough: two simple retrieval challenges from the field

Artikel som stiller spørgsmålstegn ved de traditionelle IR (Information retrievel) evalueringsprincipper. Påstanden er at traditionel IR evaluering altid er indenfor "rene data". Hvad sker der når data er beskidte - fyldt med dubletter, kommer fra forskellige sa ukrontrollerede samlinger, flere versioner af samme dokument osv.? Dette følges op af eksempler. Konklusionen er at antagelserne bag traditionel IR system evaluering skal gentænkes, når det handler om "beskidte data".

Måske relevant senere, hvis vi skal bruge en reference til noget om "beskidte data".

Analysis of the Task Environment of Sense Making

God artikel som også eksplicit pointere at es systemer skal evalueres anderledes. Den giver et forslag til et teoretisk framework til at evaluere es-systemer med. Der bliver talt om task environments og information environments som ledes over i deres eget forsøg, hvor modellen udvikles til at tale om foraging loop (informations søgning/sortering) og sense making loop (conceptuel process hvor man finder mening i det man har fundet).

Meget relevant artikel som sætter nogle teretiske rammer for brugerundersøgelse af es-systemer.

Layered Evaluation of Adaptive Search

OK artikel som foreslår at man opdeler evalueringen af es-systemer eller systemer med es-elementer i flere dele. De kalder det et layered evaluation. Deres layered evaluation består af et decission making layer og et adaptation layer. Terminologien forlumres lidt af at de taler om user-adaptive systems og terminologien så passer dertil.

Kan være relevant, da idéen om at eveluere i flere lag er god nok. Specielt med tanke på at es systemer, som regel er komplekse.

Wrapper: An Application for Evaluating Exploratory Searching Outside of the Lab

Ok artikel som argumentere for at det er mindre frugtbart at kigge på et enkelt es-system, når man vil være klogere på es. Man skal hellere kigge på hele es adfærden, som ofte er kaotisk og som kan omfatter mange progemmer og aktiviteter. De har så bygget en open source applikation (Wrapper), som kan indsamle alle disse es oplysninger/adfærd over tid hos en given bruger. Det omfatter selvfølgelig kun ting som sker på computeren.

Kan være relevant dels til brugerevaluering og dels som reference til pointen om at es adfærd er mere end den enkelte applikation.

Exploratory Search Visualization: Identifying Factors Affecting Evaluation

OK artikel som tager udgangspunkt i forskellige søgemaskiner som bruger forskllig slags visualiering til at fremme eksplorative elementer. Endnu engang problematiseres eveluering af disse systemer, som indeholder es elementer. Udover at komme med konkrete henvisninger til es systemer, så peger de på en lang række faktorer, som skal med i en bruger-evaluering af et es-system.

Kan bruges som reference til, hvad en brugerundersøgelse af es-systemer skal tage højde for.

Task based evaluation of exploratory search systems

Ikke så relevant, da den ikke giver mere end Analysis of the Task Environment of Sense Making. Den har også et task-oriented fokus på evaluering, men pointen er ikke så tydelig som i den tidligere artikel.

Kan kun bruges, hvis vi skal have flere 'task-oriented' referencer

Methods for evaluating changes in search tactics induced by exploratory search systems