Diplomado en RL Clásico y Profundo para Sistemas Dinámicos
Diplomado online de 800 h: 8 módulos y 80 submódulos, de «Procesos de decisión de Markov» a «Proyecto de RL para sistemas dinámicos», pasando por «Gradiente de política y actor-crítico».
Mapa del programa · pulsa un módulo
Módulo 1 · Procesos de decisión de Markov
800 hDuración total
8Módulos
80Submódulos
OnlineModalidad
Competencias y resultados
6 bloques de competencia, sacados de los módulos de este programa. Pulsa cualquiera y ves qué vas a saber hacer.
Procesos de decisión de Markov
Saldrás manejando estados, acciones, recompensas y transiciones, retorno descontado y horizonte y ecuaciones de Bellman de valor y acción. Es lo que se trabaja en «Procesos de decisión de Markov», un módulo de 10 submódulos que puedes abrir completo en el plan de estudios.
Métodos tabulares clásicos
Saldrás manejando evaluación Monte Carlo de políticas, diferencias temporales TD(0) y TD(lambda) y trazas de elegibilidad. Es lo que se trabaja en «Métodos tabulares clásicos», un módulo de 10 submódulos que puedes abrir completo en el plan de estudios.
Aproximación de funciones
Saldrás manejando aproximación lineal y funciones base, tile coding y bases de Fourier y gradiente semi-TD con aproximación lineal. Es lo que se trabaja en «Aproximación de funciones», un módulo de 10 submódulos que puedes abrir completo en el plan de estudios.
Gradiente de política y actor-crítico
Saldrás manejando teorema del gradiente de política y REINFORCE, líneas base y reducción de varianza y actor-crítico A2C y A3C. Es lo que se trabaja en «Gradiente de política y actor-crítico», un módulo de 10 submódulos que puedes abrir completo en el plan de estudios.
RL basado en modelo
Saldrás manejando aprendizaje de modelos dinámicos con redes, ensembles probabilísticos PETS y model predictive control con modelo aprendido. Es lo que se trabaja en «RL basado en modelo», un módulo de 10 submódulos que puedes abrir completo en el plan de estudios.
Transferencia sim-to-real
Saldrás manejando brecha de realidad en dinámica y sensores, aleatorización de dominio en parámetros físicos y identificación de parámetros y calibración. Es lo que se trabaja en «Transferencia sim-to-real», un módulo de 10 submódulos que puedes abrir completo en el plan de estudios.
Objetivos de aprendizaje
01Modelar sistemas dinámicos como procesos de decisión de Markov.
02Implementar métodos tabulares de diferencias temporales y Monte Carlo.
03Aplicar aproximación de funciones y redes profundas al aprendizaje de valor.
04Entrenar agentes actor-crítico en espacios de acción continuos.
05Integrar modelos dinámicos aprendidos en la planificación y el control.
06Diseñar estrategias de transferencia de simulación a sistemas reales.
07Evaluar agentes con métricas reproducibles y criterios de seguridad.
Plan de estudios
8 módulos, 80 submódulos, 800 h. Elige un módulo y ves su contenido completo.
1 de 8 módulos abiertos
Módulo 1 de 8 · 10 submódulos
Procesos de decisión de Markov
1.1Estados, acciones, recompensas y transiciones
1.2Retorno descontado y horizonte
1.3Ecuaciones de Bellman de valor y acción
1.4Iteración de valor e iteración de política
1.5Programación dinámica y contracción
1.6MDP parcialmente observables y estados de creencia
1.7Discretización de sistemas dinámicos continuos
1.8Diseño de la función de recompensa
1.9Relación con el control óptimo LQR
1.10Taller: péndulo invertido resuelto por programación dinámica
Módulo 2 de 8 · 10 submódulos
Métodos tabulares clásicos
2.1Evaluación Monte Carlo de políticas
2.2Diferencias temporales TD(0) y TD(lambda)
2.3Trazas de elegibilidad
2.4SARSA y control on-policy
2.5Q-learning y control off-policy
2.6Exploración epsilon-greedy y softmax
2.7Double Q-learning y sesgo de maximización
2.8Dyna-Q y planificación con modelo
2.9Convergencia y condiciones de Robbins-Monro
2.10Laboratorio: Q-learning en MountainCar discretizado
Módulo 3 de 8 · 10 submódulos
Aproximación de funciones
3.1Aproximación lineal y funciones base
3.2Tile coding y bases de Fourier
3.3Gradiente semi-TD con aproximación lineal
3.4La tríada mortal de la inestabilidad
3.5Least-squares TD y LSPI
3.6Redes neuronales como aproximadores
3.7Normalización de observaciones y recompensas
3.8Generalización entre estados
3.9Ajuste de hiperparámetros y semillas
3.10Práctica: control de CartPole con aproximación lineal
Módulo 4 de 8 · 10 submódulos
Deep RL basado en valor
4.1Deep Q-Network y replay de experiencia
4.2Redes objetivo y estabilización
4.3Double DQN y Dueling DQN
4.4Prioritized experience replay
4.5Rainbow y combinación de mejoras
4.6RL distribucional C51 y QR-DQN
4.7Exploración con ruido paramétrico
4.8Acciones discretas en sistemas físicos
4.9Diagnóstico de curvas de aprendizaje
4.10Laboratorio: DQN con Stable-Baselines3
Módulo 5 de 8 · 10 submódulos
Gradiente de política y actor-crítico
5.1Teorema del gradiente de política y REINFORCE
5.2Líneas base y reducción de varianza
5.3Actor-crítico A2C y A3C
5.4Estimación de ventaja generalizada GAE
5.5TRPO y regiones de confianza
5.6PPO con recorte de ratio
5.7DDPG para acciones continuas
5.8TD3 y sobreestimación del crítico
5.9Soft Actor-Critic y máxima entropía
5.10Laboratorio: SAC sobre un brazo robótico en MuJoCo
Módulo 6 de 8 · 10 submódulos
RL basado en modelo
6.1Aprendizaje de modelos dinámicos con redes
6.2Ensembles probabilísticos PETS
6.3Model predictive control con modelo aprendido
6.4MBPO y rollouts cortos
6.5World models y Dreamer
6.6Identificación de sistemas frente a modelos aprendidos
6.7Error compuesto y horizonte de planificación
6.8Eficiencia muestral en sistemas reales
6.9Combinación de física y datos
6.10Práctica: control de un quadrotor con modelo aprendido
Módulo 7 de 8 · 10 submódulos
Transferencia sim-to-real
7.1Brecha de realidad en dinámica y sensores
7.2Aleatorización de dominio en parámetros físicos
7.3Identificación de parámetros y calibración
7.4RL offline con CQL e IQL
7.5Seguridad en el despliegue en hardware
7.6Retardos, ruido y saturación de actuadores
7.7Entornos Gymnasium e Isaac Lab
7.8Evaluación y benchmarks reproducibles
7.9Normativa de IA y seguridad funcional
7.10Caso práctico: control de temperatura de un proceso térmico
Módulo 8 de 8 · 10 submódulos
Proyecto de RL para sistemas dinámicos
8.1Selección del sistema y formulación MDP
8.2Construcción del entorno de simulación
8.3Diseño de recompensa y restricciones
8.4Entrenamiento de agentes de referencia
8.5Comparativa de algoritmos y semillas
8.6Análisis de robustez ante perturbaciones
8.7Plan de transferencia a hardware
8.8Documentación reproducible del experimento
8.9Memoria y presentación
8.10Revisión final con el tutor
¿Cuánto me va a llevar?
Mueve las horas que puedes dedicar cada semana y calculamos tu ritmo sobre las 800 h del programa.
—meses a ese ritmo
—semanas por módulo
—frente a los 800 horas · 6 a 8 meses previstos
¿Qué nivel tienes ya?
Cinco conceptos del propio temario. Marca lo que ya controlas y te decimos si te conviene el curso, el diplomado o el máster.
Discretización de sistemas dinámicos continuos
Módulo 1 · Procesos de decisión de Markov
SARSA y control on-policy
Módulo 2 · Métodos tabulares clásicos
Aproximación lineal y funciones base
Módulo 3 · Aproximación de funciones
Acciones discretas en sistemas físicos
Módulo 4 · Deep RL basado en valor
TRPO y regiones de confianza
Módulo 5 · Gradiente de política y actor-crítico
Marca los cinco conceptos y te damos tu resultado.
Este programa se imparte en el área de Data, IA, Simulación & Analytics, que dirige Dra. Lucía Hernández Vega. Debajo, los directores académicos más cercanos a este programa. El detalle de cada instituto está en la página de institutos.
Dra. Lucía Hernández VegaDirectora Académica del DAIS — Data, Artificial Intelligence & Simulation Institute.
Dr. Kevin O’ConnorDirector Académico del EET — Electronics & Embedded Technologies Institute.
Prof. Kenji TakahashiDirector Académico del SRA — Robotics & Autonomous Systems Institute.
1Rellenas la solicitud de admisiónTitulación o experiencia y firma, en una sola página.
2El sistema verifica la documentación al instanteEl sistema comprueba los datos y la firma al momento.
3Eliges modalidad de pago y reservas tu plazaPago único con descuento o entrada más cuotas mensuales. La matrícula de esta semana cierra el 27-11-2026.
¿Tienes titulación universitaria en ingeniería, ciencias o arquitectura, o experiencia profesional equivalente?
¿Trabajas o quieres trabajar en Data, IA, Simulación & Analytics?
¿Puedes mantener un ritmo de estudio constante durante 800 horas · 6 a 8 meses?
Responde las tres y te decimos por dónde seguir.
Requisitos de acceso
·Formación técnica previa o experiencia profesional en el sector. No se exige titulación universitaria.
·Conexión a internet y un ordenador capaz de ejecutar el software del programa.
·Nivel de español suficiente para seguir lectura de normativa técnica.
Cómo se estudia
Formación 100 % online en el campus de SEIUM, con material descargable, clases grabadas y tutor técnico asignado. Sin horarios fijos: el alumno avanza a su ritmo dentro de la convocatoria, lo que permite compatibilizarlo con el trabajo.
Cada módulo combina teoría, lectura guiada de la norma original y ejercicios aplicados. El software de trabajo es Gymnasium, Stable-Baselines3, MuJoCo, Ray RLlib, NVIDIA Isaac Lab, en versiones gratuitas, académicas o de evaluación. Los ensayos se estudian sobre procedimientos reales de control de péndulos y sistemas subactuados en simulación, ajuste de controladores de procesos térmicos, locomoción y manipulación robótica simulada. La evaluación es continua por módulo más el proyecto integrador final.
Son 8 módulos con 80 submódulos y 800 h de trabajo total. Abre por «Procesos de decisión de Markov» y cierra con «Proyecto de RL para sistemas dinámicos».
Se trabajan ISO/IEC 22989:2022, ISO/IEC 23053:2022, IEC 61508:2010, ISO 26262:2018, Reglamento (UE) 2024/1689 de Inteligencia Artificial y ISO/IEC 23894:2023.
Los perfiles más directos son Ingeniero de aprendizaje por refuerzo, Ingeniero de control inteligente, Investigador en robótica, Científico de datos en optimización y Ingeniero de sistemas autónomos.
En un pago son 1.032 €, sobre una tarifa de 1.290 €. A plazos, una entrada de 516 € y 6 cuotas de 129 €, 1.290 € en total, sin intereses: lo mismo que la tarifa.
Formación técnica previa o experiencia profesional en el sector. No se exige titulación universitaria, Conexión a internet y un ordenador capaz de ejecutar el software del programa y Nivel de español suficiente para seguir lectura de normativa técnica.
El programa son 800 horas totales repartidas en 6 a 8 meses. Eso son entre 10 y 15 horas semanales de media, compatibles con jornada laboral completa.
Se trabaja con Gymnasium, Stable-Baselines3, MuJoCo, Ray RLlib, NVIDIA Isaac Lab. Se usan versiones gratuitas, académicas o de evaluación, y el tutor indica la alternativa libre cuando existe.
Diploma propio de SEIUM al superar la evaluación continua y el proyecto integrador. Es formación propia, no un título oficial del Ministerio.
Sí. Los módulos superados en un curso o diplomado del mismo área convalidan en el programa superior. Consulta la política de convalidaciones al matricularte.
Inicio de clases: 22 de diciembre de 20261.032 €Matricularme
Antes de decidir
¿Qué sacarías tú de este diplomado?
No es lo mismo llegar aquí recién titulado que con diez años en el sector. Dinos de dónde vienes.
Qué te aportaPasar de la teoría de carrera al criterio de proyecto: qué norma aplica a cada parte del trabajo, qué criterios de aceptación se fijan antes de ejecutar y cómo se deja todo documentado.
Dónde vas a sudarEl módulo de normativa y evidencia documental, si todavía no has trabajado dentro de un proyecto real con auditoría de por medio.
Con qué salesCon una memoria técnica propia, sobre un caso real, que puedes poner encima de la mesa en una entrevista.
Qué te aportaFormalizar lo que ya haces por oficio: distinguir requisito obligatorio de buena práctica, justificar por escrito las decisiones técnicas y dejar el trabajo trazable.
Dónde vas a sudarPoco en contenido. El esfuerzo real está en el proyecto final y en su defensa.
Con qué salesCon el diplomado acreditado y un proyecto hecho sobre un caso de tu propio trabajo.
Qué te aportaLa base técnica de Data, IA, Simulación & Analytics y el marco normativo del ámbito desde cero, sin dar por sabido el vocabulario del sector.
Dónde vas a sudarLas primeras semanas, por terminología. A partir del segundo módulo se nivela.
Con qué salesCon un perfil de entrada acreditado en Data, IA, Simulación & Analytics y un proyecto que demuestra que sabes aplicarlo.
¿Te va a dar la vida?
Calcula tu ritmo real
Son 800 horas. Mueve el control y mira cuánto tardarías tú de verdad.
—para terminar
¿Y esto para qué me sirve?
Marca lo que más te interesa
Elige hasta 3 módulos y te digo cuánto pesan en el programa y a qué perfiles prepara.
Perfiles a los que prepara
Ingeniero de aprendizaje por refuerzo
Ingeniero de control inteligente
Investigador en robótica
En robótica industrial, automoción y energía.
Con sinceridad
¿Es para ti?
Sí, si quieres…
Trabajar en Data, IA, Simulación & Analytics con criterio de norma, no solo de intuición.
Saber justificar por escrito por qué tomaste una decisión técnica.
Terminar con una memoria técnica tuya, sobre un caso real.
Avanzar a tu ritmo, compatible con una jornada completa.
No, si buscas…
Un título rápido sin entregar trabajo propio.
Clases en directo con horario fijo: el programa es asíncrono.
Empezar mañana: las clases empiezan justo un mes después de matricularte.
Formación de taller o práctica presencial con maquinaria.
¿Te queda una duda?
Pregunta algo concreto
Escríbela aquí y la pasamos al formulario de contacto con la formación ya identificada.