Admisión abierta 2026-2027Rellenar solicitud

Diplomado en RL Clásico y Profundo para Sistemas Dinámicos

Diplomado online de 800 h: 8 módulos y 80 submódulos, de «Procesos de decisión de Markov» a «Proyecto de RL para sistemas dinámicos», pasando por «Gradiente de política y actor-crítico».

Mapa del programa · pulsa un módulo
Módulo 1 · Procesos de decisión de Markov
800 hDuración total
8Módulos
80Submódulos
OnlineModalidad

Competencias y resultados

6 bloques de competencia, sacados de los módulos de este programa. Pulsa cualquiera y ves qué vas a saber hacer.

Procesos de decisión de Markov

Saldrás manejando estados, acciones, recompensas y transiciones, retorno descontado y horizonte y ecuaciones de Bellman de valor y acción. Es lo que se trabaja en «Procesos de decisión de Markov», un módulo de 10 submódulos que puedes abrir completo en el plan de estudios.

Métodos tabulares clásicos

Saldrás manejando evaluación Monte Carlo de políticas, diferencias temporales TD(0) y TD(lambda) y trazas de elegibilidad. Es lo que se trabaja en «Métodos tabulares clásicos», un módulo de 10 submódulos que puedes abrir completo en el plan de estudios.

Aproximación de funciones

Saldrás manejando aproximación lineal y funciones base, tile coding y bases de Fourier y gradiente semi-TD con aproximación lineal. Es lo que se trabaja en «Aproximación de funciones», un módulo de 10 submódulos que puedes abrir completo en el plan de estudios.

Gradiente de política y actor-crítico

Saldrás manejando teorema del gradiente de política y REINFORCE, líneas base y reducción de varianza y actor-crítico A2C y A3C. Es lo que se trabaja en «Gradiente de política y actor-crítico», un módulo de 10 submódulos que puedes abrir completo en el plan de estudios.

RL basado en modelo

Saldrás manejando aprendizaje de modelos dinámicos con redes, ensembles probabilísticos PETS y model predictive control con modelo aprendido. Es lo que se trabaja en «RL basado en modelo», un módulo de 10 submódulos que puedes abrir completo en el plan de estudios.

Transferencia sim-to-real

Saldrás manejando brecha de realidad en dinámica y sensores, aleatorización de dominio en parámetros físicos y identificación de parámetros y calibración. Es lo que se trabaja en «Transferencia sim-to-real», un módulo de 10 submódulos que puedes abrir completo en el plan de estudios.

Objetivos de aprendizaje

  • 01Modelar sistemas dinámicos como procesos de decisión de Markov.
  • 02Implementar métodos tabulares de diferencias temporales y Monte Carlo.
  • 03Aplicar aproximación de funciones y redes profundas al aprendizaje de valor.
  • 04Entrenar agentes actor-crítico en espacios de acción continuos.
  • 05Integrar modelos dinámicos aprendidos en la planificación y el control.
  • 06Diseñar estrategias de transferencia de simulación a sistemas reales.
  • 07Evaluar agentes con métricas reproducibles y criterios de seguridad.

Plan de estudios

8 módulos, 80 submódulos, 800 h. Elige un módulo y ves su contenido completo.

1 de 8 módulos abiertos
Módulo 1 de 8 · 10 submódulos

Procesos de decisión de Markov

1.1Estados, acciones, recompensas y transiciones
1.2Retorno descontado y horizonte
1.3Ecuaciones de Bellman de valor y acción
1.4Iteración de valor e iteración de política
1.5Programación dinámica y contracción
1.6MDP parcialmente observables y estados de creencia
1.7Discretización de sistemas dinámicos continuos
1.8Diseño de la función de recompensa
1.9Relación con el control óptimo LQR
1.10Taller: péndulo invertido resuelto por programación dinámica
Módulo 2 de 8 · 10 submódulos

Métodos tabulares clásicos

2.1Evaluación Monte Carlo de políticas
2.2Diferencias temporales TD(0) y TD(lambda)
2.3Trazas de elegibilidad
2.4SARSA y control on-policy
2.5Q-learning y control off-policy
2.6Exploración epsilon-greedy y softmax
2.7Double Q-learning y sesgo de maximización
2.8Dyna-Q y planificación con modelo
2.9Convergencia y condiciones de Robbins-Monro
2.10Laboratorio: Q-learning en MountainCar discretizado
Módulo 3 de 8 · 10 submódulos

Aproximación de funciones

3.1Aproximación lineal y funciones base
3.2Tile coding y bases de Fourier
3.3Gradiente semi-TD con aproximación lineal
3.4La tríada mortal de la inestabilidad
3.5Least-squares TD y LSPI
3.6Redes neuronales como aproximadores
3.7Normalización de observaciones y recompensas
3.8Generalización entre estados
3.9Ajuste de hiperparámetros y semillas
3.10Práctica: control de CartPole con aproximación lineal
Módulo 4 de 8 · 10 submódulos

Deep RL basado en valor

4.1Deep Q-Network y replay de experiencia
4.2Redes objetivo y estabilización
4.3Double DQN y Dueling DQN
4.4Prioritized experience replay
4.5Rainbow y combinación de mejoras
4.6RL distribucional C51 y QR-DQN
4.7Exploración con ruido paramétrico
4.8Acciones discretas en sistemas físicos
4.9Diagnóstico de curvas de aprendizaje
4.10Laboratorio: DQN con Stable-Baselines3
Módulo 5 de 8 · 10 submódulos

Gradiente de política y actor-crítico

5.1Teorema del gradiente de política y REINFORCE
5.2Líneas base y reducción de varianza
5.3Actor-crítico A2C y A3C
5.4Estimación de ventaja generalizada GAE
5.5TRPO y regiones de confianza
5.6PPO con recorte de ratio
5.7DDPG para acciones continuas
5.8TD3 y sobreestimación del crítico
5.9Soft Actor-Critic y máxima entropía
5.10Laboratorio: SAC sobre un brazo robótico en MuJoCo
Módulo 6 de 8 · 10 submódulos

RL basado en modelo

6.1Aprendizaje de modelos dinámicos con redes
6.2Ensembles probabilísticos PETS
6.3Model predictive control con modelo aprendido
6.4MBPO y rollouts cortos
6.5World models y Dreamer
6.6Identificación de sistemas frente a modelos aprendidos
6.7Error compuesto y horizonte de planificación
6.8Eficiencia muestral en sistemas reales
6.9Combinación de física y datos
6.10Práctica: control de un quadrotor con modelo aprendido
Módulo 7 de 8 · 10 submódulos

Transferencia sim-to-real

7.1Brecha de realidad en dinámica y sensores
7.2Aleatorización de dominio en parámetros físicos
7.3Identificación de parámetros y calibración
7.4RL offline con CQL e IQL
7.5Seguridad en el despliegue en hardware
7.6Retardos, ruido y saturación de actuadores
7.7Entornos Gymnasium e Isaac Lab
7.8Evaluación y benchmarks reproducibles
7.9Normativa de IA y seguridad funcional
7.10Caso práctico: control de temperatura de un proceso térmico
Módulo 8 de 8 · 10 submódulos

Proyecto de RL para sistemas dinámicos

8.1Selección del sistema y formulación MDP
8.2Construcción del entorno de simulación
8.3Diseño de recompensa y restricciones
8.4Entrenamiento de agentes de referencia
8.5Comparativa de algoritmos y semillas
8.6Análisis de robustez ante perturbaciones
8.7Plan de transferencia a hardware
8.8Documentación reproducible del experimento
8.9Memoria y presentación
8.10Revisión final con el tutor

¿Cuánto me va a llevar?

Mueve las horas que puedes dedicar cada semana y calculamos tu ritmo sobre las 800 h del programa.

—meses a ese ritmo
—semanas por módulo
—frente a los 800 horas · 6 a 8 meses previstos

¿Qué nivel tienes ya?

Cinco conceptos del propio temario. Marca lo que ya controlas y te decimos si te conviene el curso, el diplomado o el máster.

Discretización de sistemas dinámicos continuos
Módulo 1 · Procesos de decisión de Markov
SARSA y control on-policy
Módulo 2 · Métodos tabulares clásicos
Aproximación lineal y funciones base
Módulo 3 · Aproximación de funciones
Acciones discretas en sistemas físicos
Módulo 4 · Deep RL basado en valor
TRPO y regiones de confianza
Módulo 5 · Gradiente de política y actor-crítico

Marca los cinco conceptos y te damos tu resultado.

Normas y estándares que vas a manejar

ISO/IEC 22989:2022ISO/IEC 23053:2022IEC 61508:2010ISO 26262:2018Reglamento (UE) 2024/1689 de Inteligencia ArtificialISO/IEC 23894:2023IEC 61131-3:2013

Cuerpo docente y expertos

Este programa se imparte en el área de Data, IA, Simulación & Analytics, que dirige Dra. Lucía Hernández Vega. Debajo, los directores académicos más cercanos a este programa. El detalle de cada instituto está en la página de institutos.

Dra. Lucía Hernández Vega Dra. Lucía Hernández VegaDirectora Académica del DAIS — Data, Artificial Intelligence & Simulation Institute.
Dr. Kevin O’Connor Dr. Kevin O’ConnorDirector Académico del EET — Electronics & Embedded Technologies Institute.
Prof. Kenji Takahashi Prof. Kenji TakahashiDirector Académico del SRA — Robotics & Autonomous Systems Institute.

El claustro completo y los once institutos, con sus líneas de trabajo, están en institutos SEIUM y en liderazgo y consejo asesor.

Dónde se trabaja con esto

Perfiles a los que da acceso el programa.

Ingeniero de aprendizaje por refuerzo
Ingeniero de control inteligente
Investigador en robótica
Científico de datos en optimización
Ingeniero de sistemas autónomos
Desarrollador de simulación

Para quién es

Ingeniero de aprendizaje por refuerzo
Ingeniero de control inteligente
Investigador en robótica
Científico de datos en optimización
Ingeniero de sistemas autónomos
Desarrollador de simulación
Titulados en ingeniería o ciencias que busquen entrar en robótica industrial

Otras formaciones del área

Del mismo área y nivel, para completar tu itinerario.

En el blog técnico: Del cálculo de estructuras clásico a los chasis ligeros de alto rendimiento · PLC clásico a arquitecturas OT modernas: pasos para una transición segura y escalable · Introducción a los sistemas de posicionamiento dinámico en buques offshore.

Áreas cercanas: todas las de Data, IA, Simulación & Analytics · Aeroespacial, UAM, Drones & Espacio · Automoción & Motorsport · Autónomos, ADAS & Vehículo Definido por Software · Civil, Rail & Smart Cities · Defensa, Ingeniería Militar & Sistemas Terrestres (enfoque académico, legal y ético) · Diseño, HMI & Producto · Electromovilidad, Baterías & Hidrógeno (Movilidad) · todas las facultades.

Opiniones de alumnos

Opiniones verificadas de alumnos de SEIUM, recogidas en Opynio.

Ver reseñas completas

De la solicitud al aula, sin esperas

  1. 1Rellenas la solicitud de admisiónTitulación o experiencia y firma, en una sola página.
  2. 2El sistema verifica la documentación al instanteEl sistema comprueba los datos y la firma al momento.
  3. 3Eliges modalidad de pago y reservas tu plazaPago único con descuento o entrada más cuotas mensuales. La matrícula de esta semana cierra el 27-11-2026.

El proceso completo, con documentación, plazos, convalidaciones y becas, está en admisión, cómo aplicar y becas y ayudas.

Comprueba tu acceso en tres respuestas

¿Tienes titulación universitaria en ingeniería, ciencias o arquitectura, o experiencia profesional equivalente?
¿Trabajas o quieres trabajar en Data, IA, Simulación & Analytics?
¿Puedes mantener un ritmo de estudio constante durante 800 horas · 6 a 8 meses?

Responde las tres y te decimos por dónde seguir.

Requisitos de acceso

  • ·Formación técnica previa o experiencia profesional en el sector. No se exige titulación universitaria.
  • ·Conexión a internet y un ordenador capaz de ejecutar el software del programa.
  • ·Nivel de español suficiente para seguir lectura de normativa técnica.

Cómo se estudia

Formación 100 % online en el campus de SEIUM, con material descargable, clases grabadas y tutor técnico asignado. Sin horarios fijos: el alumno avanza a su ritmo dentro de la convocatoria, lo que permite compatibilizarlo con el trabajo.

Cada módulo combina teoría, lectura guiada de la norma original y ejercicios aplicados. El software de trabajo es Gymnasium, Stable-Baselines3, MuJoCo, Ray RLlib, NVIDIA Isaac Lab, en versiones gratuitas, académicas o de evaluación. Los ensayos se estudian sobre procedimientos reales de control de péndulos y sistemas subactuados en simulación, ajuste de controladores de procesos térmicos, locomoción y manipulación robótica simulada. La evaluación es continua por módulo más el proyecto integrador final.

Las modalidades, el calendario y las tasas son comunes a todos los programas: modalidades, calendario académico y tasas y financiación.

Preguntas frecuentes

Son 8 módulos con 80 submódulos y 800 h de trabajo total. Abre por «Procesos de decisión de Markov» y cierra con «Proyecto de RL para sistemas dinámicos».

Se trabajan ISO/IEC 22989:2022, ISO/IEC 23053:2022, IEC 61508:2010, ISO 26262:2018, Reglamento (UE) 2024/1689 de Inteligencia Artificial y ISO/IEC 23894:2023.

Los perfiles más directos son Ingeniero de aprendizaje por refuerzo, Ingeniero de control inteligente, Investigador en robótica, Científico de datos en optimización y Ingeniero de sistemas autónomos.

En un pago son 1.032 €, sobre una tarifa de 1.290 €. A plazos, una entrada de 516 € y 6 cuotas de 129 €, 1.290 € en total, sin intereses: lo mismo que la tarifa.

Formación técnica previa o experiencia profesional en el sector. No se exige titulación universitaria, Conexión a internet y un ordenador capaz de ejecutar el software del programa y Nivel de español suficiente para seguir lectura de normativa técnica.

El programa son 800 horas totales repartidas en 6 a 8 meses. Eso son entre 10 y 15 horas semanales de media, compatibles con jornada laboral completa.

Se trabaja con Gymnasium, Stable-Baselines3, MuJoCo, Ray RLlib, NVIDIA Isaac Lab. Se usan versiones gratuitas, académicas o de evaluación, y el tutor indica la alternativa libre cuando existe.

Diploma propio de SEIUM al superar la evaluación continua y el proyecto integrador. Es formación propia, no un título oficial del Ministerio.

Sí. Los módulos superados en un curso o diplomado del mismo área convalidan en el programa superior. Consulta la política de convalidaciones al matricularte.

Las dudas comunes a todos los programas (titulación, convalidaciones, visado, idiomas) están resueltas en preguntas frecuentes, equivalencias y convalidaciones e idiomas.

Inicio de clases: 22 de diciembre de 20261.032 € Matricularme
Contactar con Seium
Pago al contado1.032 €ahorras 258 €
Reservar plaza
Seium - Universidad de ingeniería avanzada
Resumen de privacidad

Esta web utiliza cookies para que podamos ofrecerte la mejor experiencia de usuario posible. La información de las cookies se almacena en tu navegador y realiza funciones tales como reconocerte cuando vuelves a nuestra web o ayudar a nuestro equipo a comprender qué secciones de la web encuentras más interesantes y útiles.