Exportar este item: EndNote BibTex

Use este identificador para citar ou linkar para este item: https://tedebc.ufma.br/jspui/handle/tede/tede/1879
Tipo do documento: Tese
Título: Aprendizagem por Reforço e Programação Dinâmica Aproximada para Controle Ótimo: Uma Abordagem para o Projeto Online do Regulador Linear Quadrático Discreto com Programação Dinâmica Heurística Dependente de Estado e Ação.
Título(s) alternativo(s): Reinforcement and Programming Learning Approximate Dynamics for Optimal Control: An Approach to the Linear Regulator Online Project Discrete Quadratic with Heuristic Dynamic Programming Dependent on State and Action.
Autor: RÊGO, Patrícia Helena Moraes 
Primeiro orientador: FONSECA NETO, João Viana da
Primeiro membro da banca: FONSECA NETO, João Viana da
Segundo membro da banca: FREIRE, Raimundo Carlos Silvério
Terceiro membro da banca: OLIVEIRA, Roberto Célio Limão de
Quarto membro da banca: SERRA, Ginalber Luiz de Oliveira
Quinto membro da banca: SOUZA, Francisco das Chagas de
Resumo: Apresenta-se nesta tese uma proposta de uma abordagem uni cada de teorias de programação dinâmica, aprendizagem por reforço e aproximação de função que tem por objetivo o desenvolvimento de métodos e algoritmos para projeto online de sistemas de controle ótimo. Esta abordagem é apresentada no contexto de programação dinâmica aproximada que permite aproximar a solução de realimentação ótima de modo a reduzir a complexidade computacional associada com métodos convencionais de programação dinâmica para controle ótimo de sistemas multivariáveis. Especi camente, no quadro de programação dinâmica heurística e programação dinâmica heurística dependente de ação, esta proposta é orientada para o desenvolvimento de soluções aproximadas online, numericamente estáveis, da equação de Hamilton-Jacobi-Bellman do tipo Riccati associada ao problema do regulador linear quadrático discreto que tem por base uma formulação que combina estimativas da função valor por meio de uma estrutura RLS (do inglês Recursive Least-Squares), diferenças temporais e melhorias de política. O desenvolvimento das metodologias propostas, neste trabalho, tem seu foco principal voltado para a fatoração UDU T que é inserida neste quadro para melhorar o processo de estimação RLS de políticas de decisão ótimas do regulador linear quadrá- tico discreto, contornando-se problemas de convergência e estabilidade numérica relacionados com o mal condicionamento da matriz de covariância da abordagem RLS.
Abstract: In this thesis a proposal of an uni ed approach of dynamic programming, reinforcement learning and function approximation theories aiming at the development of methods and algorithms for design of optimal control systems is presented. This approach is presented in the approximate dynamic programming context that allows approximating the optimal feedback solution as to reduce the computational complexity associated to the conventional dynamic programming methods for optimal control of multivariable systems. Speci cally, in the state and action dependent heuristic dynamic programming framework, this proposal is oriented for the development of online approximated solutions, numerically stable, of the Riccati-type Hamilton-Jacobi-Bellman equation associated to the discrete linear quadratic regulator problem which is based on a formulation that combines value function estimates by means of a RLS (Recursive Least-Squares) structure, temporal di erences and policy improvements. The development of the proposed methodologies, in this work, is focused mainly on the UDU T factorization that is inserted in this framework to improve the RLS estimation process of optimal decision policies of the discrete linear quadratic regulator, by circumventing convergence and numerical stability problems related to the covariance matrix ill-conditioning of the RLS approach.
Palavras-chave: Programação Dinâmica; Aprendizagem por Reforço; Programação Dinâmica Heurística; Controle Multivariável; Controle Ótimo; Regulador Linear Quadrático Discreto; Mínimos Quadrados Recursivos
Dynamic Programming; Reinforcement Learning; Heuristic Dynamic Programming; Multivariable Control; Optimal Control; Discrete Linear Quadratic Regulator; Recursive Least-Squares
Área(s) do CNPq: Análise de Algoritmos e Complexidade de Computação
Idioma: por
País: Brasil
Instituição: Universidade Federal do Maranhão
Sigla da instituição: UFMA
Departamento: DEPARTAMENTO DE ENGENHARIA DA ELETRICIDADE/CCET
Programa: PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA DE ELETRICIDADE/CCET
Citação: RÊGO, Patrícia Helena Moraes. Aprendizagem por Reforço e Programação Dinâmica Aproximada para Controle Ótimo: Uma Abordagem para o Projeto Online do Regulador Linear Quadrático Discreto com Programação Dinâmica Heurística Dependente de Estado e Ação.. 2014. [328 folhas]. Tese( PROGRAMA DE PÓS-GRADUAÇÃO EM ENGENHARIA DE ELETRICIDADE/CCET) - Universidade Federal do Maranhão, [São Luis] .
Tipo de acesso: Acesso Aberto
URI: http://tedebc.ufma.br:8080/jspui/handle/tede/1879
Data de defesa: 24-Jul-2014
Aparece nas coleções:TESE DE DOUTORADO - PROGRAMA DE PÓS GRADUAÇÃO EM ENGENHARIA DE ELETRICIDADE

Arquivos associados a este item:
Arquivo Descrição TamanhoFormato 
Patricia Helena.pdfTese de Doutorado10,85 MBAdobe PDFBaixar/Abrir Pré-Visualizar


Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.