Aprenentatge per Reforç i No Supervisat

• Hores setmanals
• Competències
• Objectius
• Continguts
• Activitats
• Metodologia docent
• Mètode d'avaluació
• Bibliografia
• Capacitats prèvies

Professorat

Responsable

• Javier Béjar Alonso ( )
• Mario Martín Muñoz ( )

Hores setmanals

Competències

Competències Transversals

Transversals

• CT6 [Avaluable] - Aprenentatge autònom. Detectar deficiències en el propi coneixement i superar-les mitjançant la reflexió crítica i l'elecció de la millor actuació per ampliar aquest coneixement.

Bàsiques

• CB5 - Que els estudiants hagin desenvolupat aquelles habilitats d'aprenentatge necessàries per emprendre estudis posteriors amb un alt grau d'autonomia

Competències Tècniques

Específiques

• CE18 - Adquirir i desenvolupar tècniques d'aprenentatge computacional i dissenyar i implementar aplicacions i sistemes que les utilitzin, incloent les dedicades a extracció automàtica d'informació i coneixement a partir de grans volums de dades.

Competències Tècniques Generals

Genèriques

• CG2 - Utilitzar els coneixements fonamentals i metodologies de treball sòlides adquirits durant els estudis per adaptar-se als nous escenaris tecnològics de el futur.
• CG4 - Raonar, analitzant la realitat i dissenyant algoritmes i formulacions que la modelin. Identificar problemes i construir solucions algorísmiques o matemàtiques vàlides, eventualment noves, integrant el coneixement multidisciplinari necessari, valorant diferents alternatives amb esperit crític, justificant les decisions preses, interpretant i sintetitzant els resultats en el context de l'domini d'aplicació i establint generalitzacions metodològiques a partir de aplicacions concretes.

Objectius

1. Conèixer quins tipus de problemes es poden modelitzar com un problema d'aprenentatge per reforç i identificar les tècniques que es poden aplicar per resoldre-les
   Competències relacionades: CG2, CT6, CE18,
2. Entendre la necessitat, fonaments i particularitats de l'aprenentatge de comportaments i les seves diferències respecte a l'aprenentatge automàtic de classificació i no-supervisat.
   Competències relacionades: CG2, CE18,
3. Conèixer els algorismes més importants i estat de l'art en l'àrea d'aprenentatge per reforçament
   Competències relacionades: CG4, CE18,
4. Saber formalitzar computacionalment un problema del món real com a aprenentatge per reforçament i saber implementar en els entorns més actuals els algoritmes d'aprenentatge que els resolin
   Competències relacionades: CG2, CG4, CT6, CE18,
5. Coneixer els problemes que es poden modelitzar amb algoritmes no supervisats produnds
   Competències relacionades: CG2, CT6, CE18,
6. Entendre les particularitats dels algoritmes no supervisats profunds
   Competències relacionades: CG4, CT6, CE18,
7. Coneixer els algoritmes mes importants i l'estat de l'art del aprenentatge no supervisat profund
   Competències relacionades: CG2, CT6, CB5, CE18,
8. Saber implementar i aplicar a un problema algoritmes d'aprenentatge profund fent servir el entorn mes actuals
   Competències relacionades: CG2, CT6, CB5, CE18,

Continguts

1. Introducció: L'aprenentatge de comportaments en agents i descripció dels principals elements en l'aprenentatge de reforç
   Intuïció, motivació i definició del marc de l'aprenentatge per reforçament (RL). Elements clau en RL.
2. Trobant polítiques òptimes mitjançant la programació dinàmica
   Com aprendre un comportament amb coneixement complet del model del món: solució algebraica, avaluació iterada de polítiques i avaluació iterada de valors.
3. Introducció als enfocaments sense models del món.
   Algorismes bàsics per a l'aprenentatge de reforç: Montecarlo, Q-learning, Sarsa, TD (lambda). La necessitat d'exploració. Diferències entre els mètodes On-policy i Off-policy.
4. Aproximació de funcions en aprenentatge per reforçament
   La necessitat de l'aproximació de funcions i mètodes incrementals en RL. L'aproximació del descens del gradient. RL amb aproximació de funció lineal. La triada mortal per a l'aproximació de funcions en RL. Mètodes per lots i xarxes neuronals per a l'aproximació de funcions.
5. Aprenentatge per reforç profund (DRL)
   Introducció de DL a RL. Com tractar la mortal tríada amb l'algorisme DQN. Aplicació de DQN al cas dels jocs Atari. Evolucions de l'algorisme DQN: Double DQN, Prioritized Experience Replay, aprenentatge en múltiples passos i funcions de valor distribuïdes. Rainbow: l'algoritme d'última generació per un espai d'acció discret.
6. Mètodes del gradient en la política
   Què fer en espais d'acció continus. Com les polítiques probabilístiques permeten aplicar el mètode de gradient directament a la xarxa de polítiques. L'algoritme REINFORCE. Els algoritmes Actor-Critic. Algorismes d'última generació en espais d'acció continus: DDPG, TD3 i SAC.
7. Temes avançats: Com tractar el problema del reforç espars
   El problema de la recompensa esparsa. Introducció a tècniques avançades d'exploració: curiositat i empoderament en RL. Introducció a l'aprenentatge curricular per facilitar l'aprenentatge de l'objectiu. RL jeràrquic per aprendre tasques complexes. L'aprenentatge de les funcions de valor universals i Hindsight Experience Replay (HER).
8. Temes avançats: Aprenentatge de reforç en el marc multi-agent
   Aprenentatge de conductes en un entorn on actuen diversos agents. Aprenentatge de conductes cooperatives, Aprenentatge de conductes competitives i casos mixtos. Algorismes d'última generació. El cas especial dels jocs: el cas AlfaGo i l'extensió a Alfa-Zero.
9. Introducció: L'aprenentatge no supervisat profund
   Introducció a la necessitat del aprenentatge no supervisat profund i les seves applicacions
10. Models autoregressius
    Introducció a l'aprenentatge de distribucions de probabilitat definides como distribucions autoregresives i principals models
11. Fluxes normalitzants
    Introducció als fluxes normalizants per a l'aprenentage de distribucions de probabilitat
12. Models de variables latents
    Introducció als models basats en variables latents i als autocodificadors variacionals
13. Xarxes adversàries generatives
    Introduccio a les xarxes adversàries generatives, generació condicionada i sense condicionar, separació d'atributs
14. Xarxes de difusió
    Introducció a models basats en difusió de soroll, xarxes per eliminació de soroll, condicionament, generació multimodal
15. Aprenentatge per autosupervisió
    Introducció al aprenentatge per autosupervisión pel entrenament de xarxes generadores de característiques, mètodes contrastius i no contrastius, enmascarament

Activitats

Activitat Acte avaluatiu

Metodologia docent

Mètode d'avaluació

Bibliografia

Bàsica:

• Reinforcement learning : an introduction - Sutton, Richard S; Barto, Andrew G, The MIT Press, [2020]. ISBN: 9780262039246
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004166329706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Grokking deep reinforcement learning - Morales, Miguel, Manning Publications, 2020. ISBN: 9781617295454
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004208939706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Generative deep learning: teaching machines to paint, write, compose, and play - Foster, D, O'Reilly Media, Incorporated, 2023. ISBN: 9781098134143
  
• Hands-on image generation with TensorFlow: a practical guide to generating images and videos using deep learning - Cheong, S.Y, Packt Publishing, 2020. ISBN: 9781838821104
  

Complementaria:

• Deep reinforcement learning in action - Zai, Alexander; Brown, Brandon, Manning Publications Co , 2020. ISBN: 9781617295430
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004203829706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Generative AI with Python and TensorFlow 2: harness the power of generative models to create images, text, and music - Babcock, J.; Bali, R, Packt Publishing , 2021. ISBN: 9781800208506
  

Capacitats prèvies