Upload
ivan-demin
View
111
Download
1
Embed Size (px)
Citation preview
16.07.2013 1
Fakultät Technik und Informatik Studiendepartment Informatik
Ivan Demin
1. Motivation 2. RLRadio 4. R-Learning for Undiscounted Tasks 3. Zusammenfassung
16.07.2013 2
16.07.2013 3
[1]
16.07.2013 4
[1]
[2]
Was haben diese Dienste gemeinsam?
16.07.2013 5
[1]
[2]
[3]
Benutzer weiß, dass sein Verhalten für die Bewertung relevant ist
Liedbewertungen Favorisierung
16.07.2013 6
Benutzer weiß nicht, dass sein Verhalten als relevante Resonanz interpretiert wird
Klickraten Hördauer
16.07.2013 7
16.07.2013 8
[4]
Zwei Varianten: RLRadio P und RLRadio RL RLRadio P: Radiosenderauswahl nur anhand
des expliziten Feedbacks RLRadio RL: Radiosenderauswahl anhand des
expliziten und impliziten Feedbacks
16.07.2013 9
16.07.2013 10
[5]
Repräsentiert die Radiosender-Vorlieben des Benutzers
Beschränkung des Zustandsraums durch Aufzeichnung von zwei Radiosendern
Weitere Einschränkungen durch Präferenzen: tief(<15%), fair(15-40%), hoch(40%-60%) und sehr hoch(> 60%)
56133 mögliche Zustände
16.07.2013 11
Neun mögliche Radiosender-Empfehlungen Keine Musikstück-Empfehlung möglich
16.07.2013 12
Blues
Jazz Fusion
Pop Top
Hits
Metal
Relax
Classic
Rock
Opera
Baroque
Belohnung anhand der Hörlänge eines Musikstücks
Belohnung in drei Stufen eingeteilt:
<15% - null Punkte
15-60% - ein Punkt
>60% - zwei Punkte
16.07.2013 13
Zustandswechsel anhand:
angegebenen Radiosender Präferenz
Prozentsatz der letzter zwei Musikstücke
Aktueller Zustand
16.07.2013 14
Optimal Policy für RLRadio P mit Policy Iteration berechnet
Berechnete Strategie aus RLRadio P wird Startstrategie von RLRadio RL
Optimal Policy von RLRadio RL mit Hilfe R-Learning for Undiscounted Tasks verbessert
16.07.2013 15
Off-Policy Verfahren Ohne Discountrate Bestrebung nach jedem Zeitschritt maximale
Belohnung zu erreichen
16.07.2013 16
16.07.2013 17
Lernraten: 𝛼&𝛽 Belohnung: 𝑟 Durchschnittliche Belohnung: 𝑝 E. a. Belohnungen: 𝑄 𝑠, 𝑎 M. E. a. Belohnungen: 𝑚𝑎𝑥a𝑄(𝑠, 𝑎)
16.07.2013 18
Blues
Jazz Fusion
Pop Top
Hits
Metal
Relax
Classic
Rock
Opera
Baroque
16.07.2013 19
16.07.2013 20
1,5 0,5 1,1
1,2 1,9 0,6
1,3 0,7 0,9
16.07.2013 21
1,5 0,5 1,1
1,2 1,9 0,6
1,3 0,7 0,9
16.07.2013 22
𝑝 = 1,4 𝑟 = 2
16.07.2013 23
16.07.2013 24
1,5 0,5 1,1
1,2 1,975 0,6
1,3 0,7 0,9
16.07.2013 25
r p Q(s,a)
0 1,76 1,6552
0 1,056 1,465
16.07.2013 26
1,5 0,5 1,1
1,2 1,465 0,6
1,3 0,7 0,9
16.07.2013 27
Radiosenderwechsel
Vorteile:
Kein Terminaler Zustand notwendig
schlechte Belohnungen führen zum sofortigen Radiosenderwechsel
für kontinuierliche Aufgaben geeignet
Nachteil:
Höhere Gefahr die „Klippe“ runterzufallen
16.07.2013 28
16.07.2013 29
[6]
Radiovorschlagssystem anhand explizitem und implizitem Feedback
R-Learning for Undiscounted Tasks eignet sich für diese Problemstellung
Transkription des Systems in andere Bereiche möglich
16.07.2013 30
16.07.2013 31
Vielen Dank Für Ihre
Aufmerksamkeit
Fragen?
[Bortz u. Lienert 2008] Bortz, Jürgen ; Lienert, Gustav A.: Kurzgefasste Statistik für die klinische Forschung -. Berlin : Springer DE, 2008. – ISBN 978–3–540–75738–2
[Jawaheer u. a. 2010] Jawaheer, Gawesh ; Szomszor, Martin ; Kostkova, Patty: Comparison of implicit and explicit feedback from an online music recommendation service. In: Proceedings of the 1st International Workshop on Information Heterogeneity and Fusion in Recommender Systems - HetRec ’10 (2010), 47–51.
[Lee 2005] Lee, Mark: 6.7 R-Learning for Undiscounted Continuing Tasks. http://webdocs.cs.ualberta.ca/~sutton/book/ebook/node67.html. Version: 2005
[Moling u. a. 2012] Moling, Omar ; Baltrunas, Linas ; Ricci, Francesco: Optimal radiochannel recommendations with explicit and implicit feedback. In: Proceedings of the sixthACMconference on Recommender systems - RecSys ’12 (2012), 75.
[Richard S. Sutton 1998] Richard S. Sutton, Andrew G. B.: Reinforcement Learning: An Introduction.http://webdocs.cs.ualberta.ca/~sutton/book/ebook/. Version: 1998
16.07.2013 32
[1] spotify – Abruf:14.07.2013 http://www.smartdroid.de/wp-content/uploads/2012/03/spotify-logo.png
[2] Last.fm – Abruf:14.07.2013 http://sysout.be/wp-content/uploads/2013/01/last-fm-logo.png
[3] pandora - Abruf:14.07.2013 http://a1.mzstatic.com/us/r1000/033/Purple4/v4/16/38/4e/16384e69-3263-9d3f-484b-7c06488658ca/mzl.qpnxgmrs.png
[4] RLRadio & [5] Radio Präferenzen: Optimal radio channel recommendations with explicit and implicit feedback. In: Proceedings of the sixth ACMconference on Recommender systems - RecSys ’12 (2012), 75. http://dx.doi.org/10.1145/2365952.2365971. – DOI 10.1145/2365952.2365971. ISBN 9781450312707
[6] how i met your mother – Abruf:15.07.2013 http://images3.wikia.nocookie.net/__cb20110701174449/how-i-met-your-mother/de/images/b/b3/Future-Barney-how-i-met-your-mother-2590507-1280-720.jpg
16.07.2013 33