Artikler

Proceedings of the ACM SIGIR 2006 Workshop on "Evaluating Exploratory Search Systems"

Jeg har tygget den [http://research.microsoft.com/en-us/um/people/ryenw/eess/EESS2006_Proceedings.pdf her] igennem og har fundet ud af at den er ekstrem relevant for vores projekt. Den går direkte og eksplicit til sagen omkring eksplorativ søgning (es). Jeg tager den artikel for artikel, med en indikation af om det er noget der er interesserent eller ej.

Evaluating Exploratory Search Systems

Den her artikel forholder sig eksplicit til es. Den forsøger at sætte ord på hvad es er for en aktivitet og hvordan den adskiller sig fra traditionel søgning. Den forholder sig tilmed til hvordan man evaluere "traditionelle søgesystemer" og hvorfor det skal gentænkes i forhold til es systemer. Artiklen går endda så langt som til at foreslå to faktore som skal med, når man påtænker at evaluere es systemer - Metrics og Methodologies - som udfoldes kort i artiklen. Artiklens pointe er kort, at eveluering af es systemer ligner på mange måder den evaluering vi bruger til traditionelle systemer, men pga. af den øgede kompleksistet i es systemer skal der en "overbygning" til.

Den her artikel er et 'must' fordi den kort sætter ord på feltet og forsøger at indkredse es i en brugerundersøgelsessammenhæng. Hvis ikke vi finder bedre, kan den bruges som basis og vokabular.

Building Models of Search Success with Experience Sampling and Event Logs

Beskriver hvordan man kan lave brugerundersøgelser af (es)systemer ved at kombinere server-logs med eksplicit feedback. Helt konkret havde de gjort de ved at udstyre 146 med en speciel browser, der loggede deres søgninger og efter hver søgning kom der en pop-up, som bad brugeren svare på om de var tilfredse med søgeresultatet om de var tilfredse med 'det hit' de lige havde besøgt osv.

Artiklen kan evt. bruges som inspiration til metode, når den tid kommer, men ellers ikke videre ophidsende.

Retrieval Evaluation sans Human Relevance Judgments

Snæver artikel som beskriver en ny metode til at teste "LSA-based cross-language retrieval of similar documents".

Virker ikke umiddelbart relevant for os.

Why a corpus-topics-relevance judgments framework isn’t enough: two simple retrieval challenges from the field

Artikel som stiller spørgsmålstegn ved de traditionelle IR (Information retrievel) evalueringsprincipper. Påstanden er at traditionel IR evaluering altid er indenfor "rene data". Hvad sker der når data er beskidte - fyldt med dubletter, kommer fra forskellige sa ukrontrollerede samlinger, flere versioner af samme dokument osv.? Dette følges op af eksempler. Konklusionen er at antagelserne bag traditionel IR system evaluering skal gentænkes, når det handler om "beskidte data".

Måske relevant senere, hvis vi skal bruge en reference til noget om "beskidte data".

Analysis of the Task Environment of Sense Making

God artikel som også eksplicit pointere at es systemer skal evalueres anderledes. Den giver et forslag til et teoretisk framework til at evaluere es-systemer med. Der bliver talt om task environments og information environments som ledes over i deres eget forsøg, hvor modellen udvikles til at tale om foraging loop (informations søgning/sortering) og sense making loop (conceptuel process hvor man finder mening i det man har fundet).

Meget relevant artikel som sætter nogle teretiske rammer for brugerundersøgelse af es-systemer.

==== Layered Evaluation of Adaptive Search ====