ChallengeEARIA

BenjaminPiwowarski,KarenPinel-Sauvagnat

1Lyon-7-9/11/2016

2

Unpeud’histoire(récente)…

Avantaujourd’huiilyaeu…

•  LeCORIA-CIFEDHackday2014(etleEARIAHackevening2014)– But:réaliser/réfléchiràdesprototypesoriginauxdansledomainedelacuisine3.0

3

•ERIAS-ISPED(Bordeaux) •IRIT (Toulouse) •IRSTEA (Clermont-Ferrand)•Laice (Montrouge) •LIG (Grenoble) •LIP6 (Paris 6) •LIPN (Paris 13) •LSIS (Marseille)

Avantaujourd’huiilyaeu…

•  LeCORIA-CIFEDHackday2016– But:réaliserdesprototypesoriginauxdansledomainedessériesTV

4

IRIT(Toulouse) - LIG (Grenoble) - LIMSI(Orsay) -LIPADE (Paris) - LIP6(Paris 6) - LIRIS (Lyon) -LITIS(Rouen) - LTCI (Paris) - LSIS (Aix-Marseille)

Enbref

•  Desgensdedifférentslabosquitravaillentensemblepourproduiredesprototypes–  …vitrinesdeleurtravail–  …surundomained’applicaeondédié–  …enlienaveclaRImaissanscontraintedethémaeque

•  RIadhoc•  Apprenessage•  RImulemedia•  RIsémaneque•  Q/A•  Recommandaeon•  -…

5

Aujourd’hui

6

Aujourd’hui

•  Pasdedomained’applicaeondédié…•  Maisunethémaequespécifique:

RIinteraceve

7

Cequ’onvousdemande

•  Vousmeirepargroupede4/5– enmixantleslabosd’origine!

•  Réfléchiràunmodèle/unesolueondeRIinteraceve

•  Construireunprototype– Quenouspourronstesterendirect– QuenousévalueronssurunecolleceonTREC

8

Cequ’onvousdemande

•  Amusez-vous!•  Surpreneznous!

9

Pourquoi?

•  Pourseconnaître•  Pourpermeireuneapplicaeondirectedescoursquevoussuivez

10

Organisaeondesjoursàvenir

•  Maintenantetpendantlerepas–  Marchéauxco-équipiers–  Oncommenceàréfléchir

–  (Oncommenceàtravailler)

•  Demain–  Ontravailleenfind’après-midietaprèslerepas

–  (etplusencore?)

•  Mercredi–  Alapremièreheure:onresetue!

Infosàvenir

•  RIinteraceve?•  EvaluaeonàlaTREC•  Avotredisposieon•  Quelquesexemplescréaefsdesédieonsprécédentes…pourencouragervotrecréaevité!

12

LaRIinteraceve:qu’est-cequec’est?

13

(Lesexplicaeonsquisuiventsonthonteusementeréesdelapage:hip://irsg.bcs.org/informer/2015/04/dynamic-informaeon-retrieval-

modeling/MarcSloan)

14

RIstaeque

15

Pasdefeedback

RIstaeque

16

Lesrecherchessontindépendantes

RIstaeque

17

Lesrecherchessontindépendantes…

Troisinterprétaeonspossiblesdelarequêtesontprésentéesàl’uelisateur

RIinteraceve

18

Exploiterlefeedback

RIinteraceve

19

Chaqueétapeestdépendantedelaprécédente

RIinteraceve

•  Typedefeedback– Explicite•  Aceondirectedel’uelisateurpourinformerdesasaesfaceon(avissurunfilm,clicsurunbouton«Like»)

–  Implicite•  Enregistrementducomportementdel’uelisateursurlesystème(clics,tempspassé,mousetracking,…)

– Pseudo•  Simulaeondufeedbackenconsidérantquelestopdocumentssontperenents

20

RIinteraceve

21

Lespagescliquéespermeientdepersonnaliserlasecondepagederésultatssurl’interprétaeonchoisie.

Touteslesinterprétaeonsnesontpasprésentéesàl’uelisateur

(RIdynamique)

22

Exploreretexploiterlefeedback

(RIdynamique)

23

Lesétapessontdépendantesdesinteraceonspasséesetfutures

(RIdynamique)

Lapremièrepageaétédiversifiéepourquelesystèmesoitmieuxcapabled’apprendrelespréférencesdel’uelisateursurlasecondepage

24

EvaluaeonàlaTREC(ParadigmedeCranfield)

1-Runs

25

???

Colleceondetest

Requêtesdetest

…

ParecipantA

ParecipantB

ParecipantZ

d21 d5 d7 d3

d82 d11 d23 d2

d51 d6 d7 d10

d82 d12 d58 d6

…

…

…

…

d51 d15 d2 d10

d112 d12 d23 d78

…

…

Run

EvaluaeonàlaTREC(ParadigmedeCranfield)

2–Poolingetjugementsdeperenence

26

d2 d5 d7 d6 d151

Poolparrequête

2

d21 d5 d7 d3

d82 d11 d23 d2

d51 d6 d7 d10

d82 d12 d58 d6

…

…

…

…

d51 d15 d2 d10

d112 d12 d23 d78

…

…

Runs

JugesduNIST

d2 d5 d7 d6 d151

2

Fichierdeqrels

Touslesdocumentsendehorsdupoolsontconsidérésnonperenents

EvaluaeonàlaTREC(ParadigmedeCranfield)

3-Evaluaeon

27

d21 d5 d7 d3

d82 d11 d23 d2

d51 d6 d7 d10

d82 d12 d58 d6

…

…

…

…

d51 d15 d2 d10

d112 d12 d23 d78

…

…

Runs

Fichierdeqrels

Oueld’éva-luaeon

Mesuresd’évaluaeon

TRECSessionTrack(dansnotrecas)

28

???

ColleceonClueWeb12

Sessionsderechercheavectopicetrequêtedetestassociée

Fichierdeqrels

Oueld’éva-luaeon

hip://lemurproject.org/clueweb12/DiskB:52343021documents(2To)CrawlduWeb

2013:133sessions/49topics2014:1021sessions/51topics

Partopic(etnonparsession)2013:poolforméde10documentsparsessionparparecipantpourles87premièressessions2014:poolforméde10documentsparsessionparparecipantpourles100premièressessions

Mesures:MAPetPrécision@10

Exempledesession<sessionnum="816"star{me="0"userid="15"><topicnum="7"><desc>In2000,theRussiannuclearsubmarineKursksankintheBarentsSea.Youwanttotrytounderstand:Howdidthepoliecal

climateinRussiaattheemecontributetotheaccidentandexarcerbateitseffects?FindwebpagesthatexplainhowthesinkingrelatedtoRussianpoliecs.</desc>

</topic><interaceonnum="1"star{me="10.8634"type="reformulate"><query>submarineKursk</query><results><resultrank="1"><url>hip://www.ecketsofrussia.com/kursk/</url><clueweb12id>clueweb12-0602wb-58-13090</clueweb12id><etle>\"KURSK\"Li�ingOperaeon:Dossier-TicketsOfRUSSIA.ru</etle><snippet>KURSK\"Li�ingOperaeon:Dossier-TicketsOfRUSSIA.ruPresidentPuenSt.PeterburglivecamsWhiteNights2011

SEARCHHOME...ABOUTRUSSIA|VISAS|GOVERNMENT|...</snippet></result><resultrank="2"><url>hip://www.monacorarecoins.com/rare-coin-arecles/kursk/</url><clueweb12id>clueweb12-1514wb-38-18607</clueweb12id><etle>KurskSubmarine-KurskRussianSubmarine-KurskSubmarineTragedy</etle><snippet>KurskSubmarine-KurskRussianSubmarine-KurskSubmarineTragedy1-888-900-9948HomeInsidersTopPicksNew

CustomerOffersRareCoin...OffersRareCoinNewsRareGoldCoinsRareSilverCoinsAboutMonacoRareCoinAreclesKurskTheSinkingoftheKurskisoneofthetragediesintheRussianNavyserviceinAugustof2000.The...</snippet>

</result>…<clicked><clicknum="1"star{me="12.8501"endeme="20.5697"><rank>2</rank><docno>clueweb12-1514wb-38-18607</docno></click></clicked></interaceon>

29

Uneinteraceon=10documentsrésultats+clicséventuels

Topic

<interaceonnum="2"star{me="20.5697"type="reformulate"><query>submarineKurskRussia</query><results><resultrank="1"><url>hip://soviet-uniforms.com/items/awards/_36/36.html</url><clueweb12id>clueweb12-0007wb-41-26901</clueweb12id><etle>RussianSubmarineKURSKincidentcommemoraevebadge,bySoviet-uniforms.com-ThebestSovietandRussianmilitaria

andmemorabiliaavailable!</etle><snippet>RussianSubmarineKURSKincidentcommemoraevebadge,bySoviet-uniforms.com-ThebestSovietandRussian

militariaandmemorabiliaavailable!Index|About|FAQ|...</snippet></result><resultrank="2"><url>hip://history1900s.about.com/od/1990s/qt/Kursk.htm</url><clueweb12id>clueweb12-0006wb-46-05036</clueweb12id><etle>Kursk-TheRussianSubmarineThatSankintheBarentsSea</etle><snippet>Kursk-TheRussianSubmarineThatSankintheBarentsSeaAbout.comEducaeon20thCenturyHistory20thCentury

History...byDecadeShareFree20thCenturyHistory...</snippet></result><resultrank="3"><url>hip://www.cast.ru/eng/journal/</url><clueweb12id>clueweb12-0100wb-83-14522</clueweb12id><etle>CentreforAnalysisofStrategiesandTechnologies-</etle><snippet>...forAnalysisofStrategiesand</snippet></result>….</results><clicked><clicknum="1"star{me="25.4117"endeme="82.3282"><rank>2</rank><docno>clueweb12-0006wb-46-05036</docno></click></clicked></interaceon><currentquerystar{me="82.3282"><query>submarineKurskRussiapoliecs</query></currentquery></session>

30

Requêtepourlaquelleilfautrenvoyerdesrésultats

Untopiccorrespondpoteneellementàplusieurssessions.Lesrésultatsdoiventêtrerenvoyéspourchaquecurrentquerydechaquesession

Avotredisposieon

31

Vous OrdinateurdeBenjamin IndexduDiskBde

laClueWeb12(Indri)

Requête

Résultats(Indri)

<IDDocument>

Contenu+contenupretraite

API

???

1191sessionsderechercheavecrequêtedetestassociée(78topics:60d’apprenessage+18detest)

Fichierdeqrels

Oueld’éva-luaeon Wordembeddings

BibliothèquePythond’apprenessage

Correspondantau60topicsd’apprenessage

Afaire

32

VousOrdinateurdeBenjamin IndexduDiskBde

laClueWeb12

Requête

Résultats

?

Pourlessessionscorrespondantaux18topicsdetest

Unsystèmeinteracef

d2 d5 d7 d3

d8 d11 d23 d2

…

…

Runs

Leaderboard

•  Cequevousn’avezpasledroitd’ueliser–  LesjugementsdeperenencedesrequêtesueliséespourleLeaderBoard

–  Ladescripeondestopicsassociésàchaquesession

•  Cequevousavezledroitd’ueliser–  Touteslesinformaeonsd’interaceonsdufichierdesession•  C’estàdirepouruntopicdonnépoteneellementtouteslessessionscorrespondantes

–  Toutcequipeutencouragervotrecréaevité☺

33

Quelquesexemplesdeprototypesquiontmarquélesédieons

précédentes:-)

34

Cuisine3.0

•  Apprenessageetrecommandaeond’untrèsgrandnombred’items

•  Réflexionsurlesnouvellesinterfacesuelisateuretlanaturedelaréponse

•  Problèmed’évaluaeon

35

Cuisine3.0

•  Apprenessage–  Combienya-t’ildecaloriesdansceplat?

36

SériesTV

Sij’étaisvousjeneregarderaispascequisuit…

37

SériesTV

38