Artikler

Proceedings of the ACM SIGIR 2006 Workshop on "Evaluating Exploratory Search Systems"

Jeg har tygget den [http://research.microsoft.com/en-us/um/people/ryenw/eess/EESS2006_Proceedings.pdf her] igennem og har fundet ud af at den er ekstrem relevant for vores projekt. Den går direkte og eksplicit til sagen omkring eksplorativ søgning (es). I det nedenstående tager jeg den artikel for artikel, med en indikation af om det er noget, der er interesserent eller ej.

Evaluating Exploratory Search Systems

Den her artikel forholder sig eksplicit til es. Den forsøger at sætte ord på hvad es er for en aktivitet og hvordan den adskiller sig fra traditionel søgning. Den forholder sig tilmed til hvordan man evaluere "traditionelle søgesystemer" og hvorfor det skal gentænkes i forhold til es systemer. Artiklen går endda så langt som til at foreslå to faktore som skal med, når man påtænker at evaluere es systemer - Metrics og Methodologies - som udfoldes kort i artiklen. Artiklens pointe er kort, at eveluering af es systemer ligner på mange måder den evaluering vi bruger til traditionelle systemer, men pga. af den øgede kompleksistet i es systemer skal der en "overbygning" til.

Den her artikel er et 'must' fordi den kort sætter ord på feltet og forsøger at indkredse es i en brugerundersøgelsessammenhæng. Hvis ikke vi finder bedre, kan den bruges som basis og vokabular.

Building Models of Search Success with Experience Sampling and Event Logs

Beskriver hvordan man kan lave brugerundersøgelser af (es)systemer ved at kombinere server-logs med eksplicit feedback. Helt konkret havde de gjort de ved at udstyre 146 brugere med en speciel browser, der loggede deres søgninger og efter hver søgning kom der en pop-up, som bad brugeren svare på om de var tilfredse med søgeresultatet om de var tilfredse med 'det hit' de lige havde besøgt osv.

Artiklen kan evt. bruges som inspiration til metode, når den tid kommer, men ellers ikke videre ophidsende.

Retrieval Evaluation sans Human Relevance Judgments

Snæver artikel som beskriver en ny metode til at teste "LSA-based cross-language retrieval of similar documents".

Virker ikke umiddelbart relevant for os.

Why a corpus-topics-relevance judgments framework isn’t enough: two simple retrieval challenges from the field

Artikel som stiller spørgsmålstegn ved de traditionelle IR (Information retrievel) evalueringsprincipper. Påstanden er at traditionel IR evaluering altid er indenfor "rene data". Hvad sker der når data er beskidte - fyldt med dubletter, kommer fra forskellige sa ukrontrollerede samlinger, flere versioner af samme dokument osv.? Dette følges op af eksempler. Konklusionen er at antagelserne bag traditionel IR system evaluering skal gentænkes, når det handler om "beskidte data".

Måske relevant senere, hvis vi skal bruge en reference til noget om "beskidte data".

Analysis of the Task Environment of Sense Making

God artikel som også eksplicit pointere at es systemer skal evalueres anderledes. Den giver et forslag til et teoretisk framework til at evaluere es-systemer med. Der bliver talt om task environments og information environments som ledes over i deres eget forsøg, hvor modellen udvikles til at tale om foraging loop (informations søgning/sortering) og sense making loop (conceptuel process hvor man finder mening i det man har fundet).

Meget relevant artikel som sætter nogle teretiske rammer for brugerundersøgelse af es-systemer.

Layered Evaluation of Adaptive Search

OK artikel som foreslår at man opdeler evalueringen af es-systemer eller systemer med es-elementer i flere dele. De kalder det et layered evaluation. Deres layered evaluation består af et decission making layer og et adaptation layer. Terminologien forlumres lidt af at de taler om user-adaptive systems og terminologien så passer dertil.

Kan være relevant, da idéen om at eveluere i flere lag er god nok. Specielt med tanke på at es systemer, som regel er komplekse.

Wrapper: An Application for Evaluating Exploratory Searching Outside of the Lab

Ok artikel som argumentere for at det er mindre frugtbart at kigge på et enkelt es-system, når man vil være klogere på es. Man skal hellere kigge på hele es adfærden, som ofte er kaotisk og som kan omfatter mange progemmer og aktiviteter. De har så bygget en open source applikation (Wrapper), som kan indsamle alle disse es oplysninger/adfærd over tid hos en given bruger. Det omfatter selvfølgelig kun ting som sker på computeren.

Kan være relevant dels til brugerevaluering og dels som reference til pointen om at es adfærd er mere end den enkelte applikation.

Exploratory Search Visualization: Identifying Factors Affecting Evaluation

OK artikel som tager udgangspunkt i forskellige søgemaskiner som bruger forskllig slags visualiering til at fremme eksplorative elementer. Endnu engang problematiseres eveluering af disse systemer, som indeholder es elementer. Udover at komme med konkrete henvisninger til es systemer, så peger de på en lang række faktorer, som skal med i en bruger-evaluering af et es-system.

Kan bruges som reference til, hvad en brugerundersøgelse af es-systemer skal tage højde for.

Task based evaluation of exploratory search systems

Ikke så relevant, da den ikke giver mere end Analysis of the Task Environment of Sense Making. Den har også et task-oriented fokus på evaluering, men pointen er ikke så tydelig som i den tidligere artikel.

Kan kun bruges, hvis vi skal have flere referencer til 'task-oriented' vinkel.

Methods for evaluating changes in search tactics induced by exploratory search systems

God artikel, der indledningsvis forholder sig til alle de forslag (med referencer) der har været til, hvordan man kan evaluere es-systemer. Selv kommer de på banen med en mixed approach (den er prøvet før skriver de) og en longitudinal approach (studier af brugere over tid) som en udvidelse til mixed approach som jo er prøvet mange gange før. De giver også et ok billede af, hvor de to metoder har deres styrker.

God relevant artikel, som dels giver overblik over hvem der har beskæftiget sig med brugerevaluering af es før og forslag til, hvordan man kan gribe en brugerundersøgelse an rent metodisk. Deres koncept longitudal approach hænger i øvrigt godt sammen med den tidligere gennemgået artikel Wrapper: An Application for Evaluating Exploratory Searching Outside of the Lab.

An Integrated Approach to Interaction Modeling and Analysis for Exploratory Information Retrieval

Ikke relevant artikel som beskriver en metode som kombinerer konceptuel udvikling af grænseflader med analyse af forskellige interaktionslogs. Med interaktionslogs menes der UML state diagrams, XML skemaer som opsamler/formalisere output fra aktivitetslogs og endelig en log-parser som kan pløje igennem de genererede logs og vise de forskellige tilstande systemet har været i og overgangene imellem disse tilstandende.

Artiklen er ikke relevant på nuværende tidspunkt.

Exploratory Search in Wikipedia

OK artikel men selvom den hedder noget med exploretary search, så virker det mere som om, at de går i kødet på 'traditionel søgning' eksemplificeret via Wikipedia. Deres metodiske tilgang til analysen er delt i to. En del, hvor de kigger på forskellige informationer fra Wikipedia logfiler samt en anden del, hvor de har lavet et online spørgeskema til Wikipedia-brugere.

Hvis vi køber antagelsen om at Wikipedia er et rigtigt es system, så vil artiklen være brugbar som reference til en brugerundersøgelse af et es system.

A Pilot for Evaluating Exploratory Question Answering

Lægger sig meget op af ovenstående artikel Exploratory Search in Wikipedia. En af forfatterne er sågar genganger og hovedtemaet er også en undersøgelse af Wikipedia.

Kan som ovenstående bruges som reference til en brugerundersøgelse.

Impact of Relevance Intensity in Test Topics on IR Performance in Polyrepresentative Exploratory Search Systems

God artikel. De beskriver princippet omkring polyrepresentation som kort fortalt handler om forskellige repræsentationsformer af det samme object - gerne fra forskellige søgemaskiner. Desto flere desto flere repræsentationer desto større kognitivt overlap. Princippet sættes i en es kontekst, hvilket faktisk giver nogle gode pointer. Derudover opererer de med begreberne recall-based søgning (man har ikke helt indkredset hvad man søger efter) og precision-oriented søgning (man har en god idé om hvad man leder efter og vil have det indkredset). Alt det her udfoldes i et konkret eksempel fra en test.

Relevant artikel i forhold til at få sat nogle ord på traditionel søgning og es. De har nogle fine begreber til at belyse de kognitive aspekter.

====