Artikler

Proceedings of the ACM SIGIR 2006 Workshop on "Evaluating Exploratory Search Systems"

Jeg har tygget den [http://research.microsoft.com/en-us/um/people/ryenw/eess/EESS2006_Proceedings.pdf her] igennem og har fundet ud af at den er ekstrem relevant for vores projekt. Den går direkte og eksplicit til sagen omkring eksplorativ søgning (es). I det nedenstående tager jeg den artikel for artikel, med en indikation af om det er noget, der er interesserent eller ej.

Evaluating Exploratory Search Systems

Den her artikel forholder sig eksplicit til es. Den forsøger at sætte ord på hvad es er for en aktivitet og hvordan den adskiller sig fra traditionel søgning. Den forholder sig tilmed til hvordan man evaluere "traditionelle søgesystemer" og hvorfor det skal gentænkes i forhold til es systemer. Artiklen går endda så langt som til at foreslå to faktore som skal med, når man påtænker at evaluere es systemer - Metrics og Methodologies - som udfoldes kort i artiklen. Artiklens pointe er kort, at eveluering af es systemer ligner på mange måder den evaluering vi bruger til traditionelle systemer, men pga. af den øgede kompleksistet i es systemer skal der en "overbygning" til.

Den her artikel er et 'must' fordi den kort sætter ord på feltet og forsøger at indkredse es i en brugerundersøgelsessammenhæng. Hvis ikke vi finder bedre, kan den bruges som basis og vokabular.

Building Models of Search Success with Experience Sampling and Event Logs

Beskriver hvordan man kan lave brugerundersøgelser af (es)systemer ved at kombinere server-logs med eksplicit feedback. Helt konkret havde de gjort de ved at udstyre 146 brugere med en speciel browser, der loggede deres søgninger og efter hver søgning kom der en pop-up, som bad brugeren svare på om de var tilfredse med søgeresultatet om de var tilfredse med 'det hit' de lige havde besøgt osv.

Artiklen kan evt. bruges som inspiration til metode, når den tid kommer, men ellers ikke videre ophidsende.

Retrieval Evaluation sans Human Relevance Judgments

Snæver artikel som beskriver en ny metode til at teste "LSA-based cross-language retrieval of similar documents".

Virker ikke umiddelbart relevant for os.

Why a corpus-topics-relevance judgments framework isn’t enough: two simple retrieval challenges from the field

Artikel som stiller spørgsmålstegn ved de traditionelle IR (Information retrievel) evalueringsprincipper. Påstanden er at traditionel IR evaluering altid er indenfor "rene data". Hvad sker der når data er beskidte - fyldt med dubletter, kommer fra forskellige sa ukrontrollerede samlinger, flere versioner af samme dokument osv.? Dette følges op af eksempler. Konklusionen er at antagelserne bag traditionel IR system evaluering skal gentænkes, når det handler om "beskidte data".

Måske relevant senere, hvis vi skal bruge en reference til noget om "beskidte data".

Analysis of the Task Environment of Sense Making

God artikel som også eksplicit pointere at es systemer skal evalueres anderledes. Den giver et forslag til et teoretisk framework til at evaluere es-systemer med. Der bliver talt om task environments og information environments som ledes over i deres eget forsøg, hvor modellen udvikles til at tale om foraging loop (informations søgning/sortering) og sense making loop (conceptuel process hvor man finder mening i det man har fundet).

Meget relevant artikel som sætter nogle teretiske rammer for brugerundersøgelse af es-systemer.

Layered Evaluation of Adaptive Search

OK artikel som foreslår at man opdeler evalueringen af es-systemer eller systemer med es-elementer i flere dele. De kalder det et layered evaluation. Deres layered evaluation består af et decission making layer og et adaptation layer. Terminologien forlumres lidt af at de taler om user-adaptive systems og terminologien så passer dertil.

Kan være relevant, da idéen om at eveluere i flere lag er god nok. Specielt med tanke på at es systemer, som regel er komplekse.

Wrapper: An Application for Evaluating Exploratory Searching Outside of the Lab

Ok artikel som argumentere for at det er mindre frugtbart at kigge på et enkelt es-system, når man vil være klogere på es. Man skal hellere kigge på hele es adfærden, som ofte er kaotisk og som kan omfatter mange progemmer og aktiviteter. De har så bygget en open source applikation (Wrapper), som kan indsamle alle disse es oplysninger/adfærd over tid hos en given bruger. Det omfatter selvfølgelig kun ting som sker på computeren.

Kan være relevant dels til brugerevaluering og dels som reference til pointen om at es adfærd er mere end den enkelte applikation.

Exploratory Search Visualization: Identifying Factors Affecting Evaluation

OK artikel som tager udgangspunkt i forskellige søgemaskiner som bruger forskllig slags visualiering til at fremme eksplorative elementer. Endnu engang problematiseres eveluering af disse systemer, som indeholder es elementer. Udover at komme med konkrete henvisninger til es systemer, så peger de på en lang række faktorer, som skal med i en bruger-evaluering af et es-system.

Kan bruges som reference til, hvad en brugerundersøgelse af es-systemer skal tage højde for.

Task based evaluation of exploratory search systems

Ikke så relevant, da den ikke giver mere end Analysis of the Task Environment of Sense Making. Den har også et task-oriented fokus på evaluering, men pointen er ikke så tydelig som i den tidligere artikel.

Kan kun bruges, hvis vi skal have flere referencer til 'task-oriented' vinkel.

Methods for evaluating changes in search tactics induced by exploratory search systems

God artikel, der indledningsvis forholder sig til alle de forslag (med referencer) der har været til, hvordan man kan evaluere es-systemer. Selv kommer de på banen med en mixed approach (den er prøvet før skriver de) og en longitudinal approach (studier af brugere over tid) som en udvidelse til mixed approach som jo er prøvet mange gange før. De giver også et ok billede af, hvor de to metoder har deres styrker.

God relevant artikel, som dels giver overblik over hvem der har beskæftiget sig med brugerevaluering af es før og forslag til, hvordan man kan gribe en brugerundersøgelse an rent metodisk. Deres koncept longitudal approach hænger i øvrigt godt sammen med den tidligere gennemgået artikel Wrapper: An Application for Evaluating Exploratory Searching Outside of the Lab.

An Integrated Approach to Interaction Modeling and Analysis for Exploratory Information Retrieval

Ikke relevant artikel som beskriver en metode som kombinerer konceptuel udvikling af grænseflader med analyse af forskellige interaktionslogs. Med interaktionslogs menes der UML state diagrams, XML skemaer som opsamler/formalisere output fra aktivitetslogs og endelig en log-parser som kan pløje igennem de genererede logs og vise de forskellige tilstande systemet har været i og overgangene imellem disse tilstandende.

Artiklen er ikke relevant på nuværende tidspunkt.

Exploratory Search in Wikipedia

OK artikel men selvom den hedder noget med exploretary search, så virker det mere som om, at de går i kødet på 'traditionel søgning' eksemplificeret via Wikipedia. Deres metodiske tilgang til analysen er delt i to. En del, hvor de kigger på forskellige informationer fra Wikipedia logfiler samt en anden del, hvor de har lavet et online spørgeskema til Wikipedia-brugere.

Hvis vi køber antagelsen om at Wikipedia er et rigtigt es system, så vil artiklen være brugbar som reference til en brugerundersøgelse af et es system.

A Pilot for Evaluating Exploratory Question Answering

Lægger sig meget op af ovenstående artikel Exploratory Search in Wikipedia. En af forfatterne er sågar genganger og hovedtemaet er også en undersøgelse af Wikipedia.

Kan som ovenstående bruges som reference til en brugerundersøgelse.

Impact of Relevance Intensity in Test Topics on IR Performance in Polyrepresentative Exploratory Search Systems

God artikel. De beskriver princippet omkring polyrepresentation som kort fortalt handler om forskellige repræsentationsformer af det samme object - gerne fra forskellige søgemaskiner. Desto flere desto flere repræsentationer desto større kognitivt overlap. Princippet sættes i en es kontekst, hvilket faktisk giver nogle gode pointer. Derudover opererer de med, de for området alment kendte begreber, recall-based søgning (man har ikke helt indkredset hvad man søger efter) og precision-oriented søgning (man har en god idé om hvad man leder efter og vil have det indkredset). Alt det ovenstående udfoldes i et konkret eksempel fra en test.

Relevant artikel i forhold til at få sat nogle ord på traditionel søgning og es. De har nogle fine begreber til at belyse de kognitive aspekter.

From Question Answering to Visual Exploration

Ok artikel, men ikke et must. Kort fortalt har de lavet et system som understøtter es ved at søgeresultater returneres som et answer space med en masse relationer imellem de forskellige materialer. Brugeren kan så gå på opdagelse i dette answer space. Hele søgeresultatet er så præsenteret på en speciel grafisk måde (ala Aqua Browser) som brugeren så kan klikke sig rundt i.

De har et ok af snit omkring evaluering af es grænseflader, hvor de giver forslag til hvad man kan/bør kigge efter, men ellers synes jeg ikke der er meget nyt at komme efter.

What do the Attributes of Exploratory Search Tell us about Evaluation

Rigtig god artikel som også peger på at traditionelle evelueringsprincipper af søgesystemer skal udvides, når det gælder es-søgesystemer. De går faktisk i kødet på precision og recall matriksen fra artiklen ovenover og siger, at de er utilstrækkelige og fokus på sættes på mere kvalitative metoder. Herudover introducere de to begreber Query initiated browsing og Query initiated analysis som begge er aktiviteter som foregår i en es-proces (og også i en traditionel søgeproces). Jeg udfolder ikke begreberne her, men går lige til pointen som illustreres igennem disse to begreber. Når man skal evaluere es-systemer skal man have øje for i hvert fald to attributter. 1. Der er en tæt kobling imellem søgning og andre aktiviteter - dvs. man skal have øje for de skift der forekommer imellem forskellige aktiviteter, når man designer og evaluere es-systemer. 2. Man vokser med opgaven - dvs. destoe mere man søger og finder frem desto mere ændre ens mål/opgaver sig. Es-systemer bør derfor understøtte denne adfærd og på en dynamisk måde tilpasse sig brugerens behov som skifter undervejs i processen.

Rigtig god kort artikel som eksplicit sætter ord på ting, man bør overveje når man laver es-systemer eller brugerundersøgelser af disse. En bonus er at den eksplicit giver lidt krudt til at gå i kødet på det gamle evalueringsparadigme samtidig med at den agiterer for en mere kvalitativ tilgang (tænke-højt-test, interview osv.) som bedre kan indfange folks mentale repræsentationer.

Investigating Behavioral Variability in Web Aearch

(artikel i ACM Digital Library: http://portal.acm.org/dl.cfm) Rigrig, spændende artikel om en stor undersøgelse af brugers (ca. 2500) forskellige søgeadfærd (på nettet). Undersøgt via software på testpersonerns computere i en periode på 5 måneder. Viser at 80 % af brugerne søger "almindeligt" - dvs. typisk google søgninger, mens 20 % kan deles i to typer "ekstrem adfærd": Navigators (m. lav variation) og Explorers (m. høj variation). Artiklen diskuterer bl.a. forskelle i læringsstile og henviser desuden til flere empiriske undersøgelser der viser det samme omend benævnelsen af de to typer er forskellige: Holist - Serialist, Pilers - Filers, Explorers - navigators. Artiklens pointe er, at indretter man sit søgesystem med features, der kan hjælpe begge disse ekstremer, så udvikler man samtidig redskaber til alle brugere idet de vil befinde sig mellem disse modpoler. Artiklen slutter med at liste, hvilke konkrete features, som forfatterne forestiller sig vil kunne hjælpe henholdsvis den ene og den anden gruppe "søgere". Rigtig spændende læsning!!