AI 요약 · 영어에서 AI 번역
Fast Policy Learning through Imitation and Reinforcement
Ching-An Cheng, Xinyan Yan, Nolan Wagener, Byron Boots
TL;DR
전문가가 최적이 아니면 IL은 RL보다 성능이 낮은 정책을 낳을 수 있고, RL은 많은 상호작용을 요구할 수 있다. 이 논문은 RL과 IL을 공통 mirror-descent 프레임워크로 정식화하고, IL에서 policy gradient로 전환하는 시점을 무작위화하는 LOKI를 제안한다. 전환 시점을 적절히 무작위화하면 최적이 아닌 전문가를 능가하고 일반적인 RL 방법보다 빠르게 성능을 높일 수 있다.
문제
IL은 전문가의 품질에 크게 좌우되며, 가용한 전문가가 최적이 아니면 policy-gradient RL을 직접 수행하는 경우보다 성능이 낮은 정책을 낳을 수 있다.
출처: §1 · p. 1방법
LOKI는 먼저 무작위로 정한 횟수만큼 온라인 IL 단계를 수행한 뒤 policy-gradient 업데이트로 전환하며, 논문 전반에서는 RL과 IL을 mirror-descent로 설명한다.
출처: §1 · p. 1결과
K를 적절히 무작위화하면 LOKI는 최적이 아닌 전문가를 크게 능가하고 일반적인 RL 방법보다 빠르게 성능을 높일 수 있다.
출처: §1 · p. 2시사점 및 한계
논문은 LOKI가 구현하기 쉽고 기존 RL/IL 결합 방법보다 강한 이론적 보장을 제공한다고 보고한다.
출처: §1 · p. 1온라인 모방 그래디언트는 일반적으로 전문가 대비 한 단계 정책 개선 이상을 달성할 수 없으므로, 전문가가 최적이 아닐 때는 강화 학습 단계가 필요하다.
출처: §4.2 · p. 5
Abstract
from arXiv · showhide
Imitation learning (IL) consists of a set of tools that leverage expert demonstrations to quickly learn policies. However, if the expert is suboptimal, IL can yield policies with inferior performance compared to reinforcement learning (RL). In this paper, we aim to provide an algorithm that combines the best aspects of RL and IL. We accomplish this by formulating several popular RL and IL algorithms in a common mirror descent framework, showing that these algorithms can be viewed as a variation on a single approach. We then propose LOKI, a strategy for policy learning that first performs a small but random number of IL iterations before switching to a policy gradient RL method. We show that if the switching time is properly randomized, LOKI can learn to outperform a suboptimal expert and converge faster than running policy gradient from scratch. Finally, we evaluate the performance of LOKI experimentally in several simulated environments.
1 서론
서론은 강화학습(RL)과 모방학습(IL)을 결합해야 하는 이유를 제시한다. RL은 많은 상호작용을 요구할 수 있는 반면, IL의 성능은 전문가의 수준에 좌우될 수 있다. 온라인 IL 단계를 거친 뒤 정책 경사 업데이트로 전환하는 횟수를 무작위화하는 LOKI를 소개하고, 이론 및 실험에서의 이점을 보고한다.
1 서론
- RL은 막대한 수의 상호작용을 요구할 수 있어 로봇공학과 같은 실제 문제에서 학습 비용과 시간이 많이 든다.서론은 RL과 IL을 결합한 선행 접근법을 인용하지만, 이론적 이해가 제한적이고 상태 초기화와 같은 실용적 요구사항이 있다고 지적한다.출처: §1 · p. 1
- 전문가가 최적이 아닐 경우 IL은 정책 경사 RL을 직접 적용하는 것보다 성능이 낮은 정책을 낳을 수 있다.IL은 전문가 시연을 활용하지만, 성능은 전문가의 수준에 크게 좌우된다.출처: §1 · p. 1
- LOKI는 정책 경사 업데이트로 전환하기 전에 무작위 횟수만큼 온라인 IL 단계를 수행한다.서론은 RL과 IL을 결합한 선행 방법에 비해 구현이 간단하다고 설명한다.출처: §1 · p. 1
- K를 적절히 무작위화하면 LOKI는 최적이 아닌 전문가보다 높은 성능을 내고 일반적인 RL 방법보다 빠르게 성능을 개선할 수 있다.또한 시뮬레이션 환경에서 얻은 결과가 이론적 발견을 뒷받침한다고 보고한다.출처: §1 · p. 2
2 문제 정의
이 논문은 정책과 궤적 분포에 대한 할인 무한 지평 강화학습 목적함수를 정의한다. 또한 기준 정책에 대한 advantage를 사용하는 대리 목적함수를 도입한다.
2 문제 정의
- 목적함수 J(π)는 정책 π가 생성한 궤적에 걸쳐 누적 할인 비용의 기댓값이다.궤적 분포는 초기 상태 분포에서 시작해 시간에 따른 상태와 행동을 포함한다.출처: §2 · p. 2
- 이 논문은 상태 가치 함수와 Q 함수를 정의한 뒤, 기댓값을 계산할 때 할인된 상태-시간 분포 dπ(s,t)를 사용한다.정책 클래스에는 결정론적 정책이나 확률적 정책이 포함될 수 있다.출처: §2 · p. 2
- J(π)를 직접 최적화하는 대신, 이 논문은 고정된 기준 정책에 대한 advantage를 포함하는 대리 목적함수를 사용한다.이 논문은 대리 목적함수를 푸는 것이 원래 목적함수를 푸는 것과 동등하다고 밝힌다.출처: §2 · p. 2
3 FIRST-ORDER RL AND IL
The section places first-order RL and IL methods in a shared mirror-descent framework, distinguishing them mainly by their first-order oracles. It describes the policy-gradient and imitation-gradient approaches within that framework.
3 FIRST-ORDER RL AND IL
- First-order RL and IL methods fit a common mirror-descent framework and mainly differ in the first-order stochastic oracle that supplies their update direction.The section summarizes the comparison of the two oracle types in Table 1.출처: §3 · p. 2, Table 1 · p. 3
3.1 Mirror Descent
- Mirror descent는 오라클 벡터, 선택한 엄격 볼록 정규화항, prox-map 단계를 사용해 매개변수화된 정책을 업데이트한다.이 프레임워크에는 음의 엔트로피, 제곱 유클리드 노름, Fisher 정보 기반 정규화항 등의 선택지가 포함된다.출처: §3.1 · p. 2
3.2 FIRST-ORDER ORACLES
- RL과 IL의 오라클 벡터는 서로 다른 기준 정책을 사용하지만, 동일한 대리 목적함수의 도함수를 확률적으로 근사한 것으로 볼 수 있다.The section compares the first-order oracles in Table 1.출처: §3.2 · p. 2, Table 1 · p. 3
3.2.1 정책 기울기
- Policy-gradient RL은 현재 정책을 기준 정책으로 삼고 ∇θJ(π)의 추정치를 오라클로 사용한다.유도 과정에서는 기울기를 계산할 때 현재 정책을 고정된 것으로 다룬다. 실제 함수 근사에서는 편향된 기울기 추정량이 나올 수 있다.출처: §3.2.1 · p. 3
3.2.2 모방 기울기
- 온라인 IL은 전문가 시연을 사용해 데이터 수집과 정책 업데이트를 번갈아 수행하며, mirror-descent 오라클은 대리 손실에서 유도된다.DAGGERED는 정책 일치 손실을 사용하고, AGGREVATED는 전문가 기준 어드밴티지를 사용한다. 온라인 IL은 목적함수의 상계값을 최소화한다.출처: §3.2.2 · pp. 3–4
4 이론적 비교
공통 mirror descent 업데이트에서 policy gradient와 imitation gradient 방법은 서로 다른 양상을 보인다. policy gradient는 단조롭게 개선될 수 있지만, imitation gradient는 평균적으로 개선된다. 이 비교는 각 접근법의 조건과 한계를 규명한다.
4 이론적 비교
- policy gradient와 imitation gradient는 mirror descent 업데이트 규칙을 공유하지만, 각각 단조롭게 개선되는 정책 시퀀스와 평균적으로 개선되는 정책 시퀀스를 만든다.기존 최적화 기법을 구체화해 두 방법의 성능을 비교하고 LOKI의 동기를 제시한다.출처: §4 · p. 4
4.1 정책 그래디언트
- policy gradient의 단조적 개선에는 적절한 smoothness 가정, 작은 step size, gradient와 비슷한 수준으로 작은 sampling noise가 필요하며, 성능은 초기 정책에 민감하다.무작위로 초기화한 정책은 초기 성능이 낮을 수 있다.출처: §4.1 · p. 4
- policy gradient surrogate gradient norm은 일반적으로 sampling noise에 비례하는 크기로만 수렴한다. 다만, 제약이 없는 파라미터에 quadratic regularization을 적용하면 평균적으로 0에 수렴함을 보장할 수 있다.일반적인 regularizer와 파라미터 집합에서는 prox-map이 비선형이라는 점이 일반 결과에 반영된다.출처: §4.1 · p. 4
4.2 모방 그래디언트
- 강한 볼록성 아래에서는 imitation gradient의 성능이 평균적으로 전문가의 성능에 가까이 수렴할 수 있으며, 추가 오차는 ϵclass와 ϵregret에 비례한다.충분히 큰 step size에서 ϵregret는 ˜O(1/N)보다 작다. 이는 국소적 개선을 위해 충분히 작은 step이 필요한 policy gradient와 대조된다.출처: §4.2 · p. 4
- imitation gradient 업데이트가 단조적으로 개선될 필요는 없으며, suboptimal expert를 사용하는 online imitation은 한 단계 개선을 넘어서는 대신 suboptimal 정책을 낳을 수 있다.성능이 단조적으로 개선되는지는 결정론적 문제에서도 문제에 따라 다르다. expert의 advantage를 사용하더라도 imitation 방향이 반드시 하강 방향인 것은 아니다.출처: §4.2 · p. 5
5 모방 후 강화학습
LOKI는 policy-gradient 업데이트로 전환하기 전 모방을 얼마나 오래 수행할지 무작위로 정한다. 분석에 따르면 이는 전문가 정책에서 policy gradient를 시작하는 상황을 근사하면서도 전문가를 능가할 가능성을 유지할 수 있다.
5.1 알고리즘: LOKI
- LOKI는 K를 무작위로 선택해 모방 gradient로 mirror-descent를 K회 수행한 뒤, 나머지 단계에서는 policy gradient를 사용한다.전환 분포는 d, Nm, NM으로 조절한다.출처: §5 · p. 5, §5.1 · p. 5
- 모방 단계는 정책을 전문가 쪽으로 이동시키지만, 그 자체로 전문가를 능가한다고 보장되지는 않는다. 이후 강화학습 단계에서는 가용한 advantage 추정값을 사용할 수 있다.모방 gradient는 value-function estimator 없이 KL divergence를 사용할 수 있으며, 전문가 질의당 학습자 행동 샘플을 여러 개 사용해 분산을 줄일 수 있다.출처: §5.1 · p. 5
5.2 분석
- K회의 모방 단계 후 기대 성능 격차는 NM ≫ d일 때 Õ(d/NM)의 속도로 수렴하며, 정책 클래스의 표현력과 mirror-descent 의사결정 공간 척도에 따른 추가 항이 있다.의사결정 공간 항의 영향은 d를 늘려 줄일 수 있으며, 분석 결과 모방 단계의 더 큰 step size가 유리하다.출처: §5.2 · p. 6
- 적절히 무작위화하면 LOKI의 최종 정책은 전문가를 능가할 수 있으며, Proposition 1의 가정 아래 평균적으로 국소 최적 정책에 수렴한다.전문가 정책에서 바로 policy gradient를 시작하는 경우와 비교할 때, 명시된 추가 격차는 O(∆ + K∥∇̂θJ(π)∥²)이다.출처: §5.2 · p. 6
- 무작위 초기화에서 시작하는 policy gradient와 비교하면, K회의 업데이트를 수행해도 성능이 전문가 성능에 ∆를 더한 값보다 낮게 유지되는 경우 LOKI가 유리하다.명시된 성능 차이는 O(J(π*) − J(π0) + ∆ + K∥∇̂θJ(π)∥²)이다.출처: §5.2 · p. 6
6 관련 연구
이 절에서는 LOKI의 무작위 모방 학습-정책 경사 전환 접근법과 전문가 가치 함수 추정치에 의존하는 방법들을 대비한다. 또한 LOLS의 성능 보장을 유지하는 선형 결합 오라클 SLOLS를 소개한다.
6 관련 연구
- AGGREVATE(D)는 Aπ*를 사용해 전문가보다 나은 성능을 낼 수 있지만, off-policy 추정은 covariate shift를 겪을 수 있고 on-policy 추정에는 상태 초기화 또는 약 1/(1−γ)배 더 많은 반복이 필요하다.절에서는 이러한 요구 사항이 일반적인 RL 문제에서는 비현실적일 수 있다고 설명한다.출처: §6 · p. 6
- THOR는 전문가 가치 함수를 종단 손실로 사용하는 H단계 절단 advantage를 적용하지만, 이론적 성질은 여전히 불분명하며 여러 advantage 추정기에 의존한다.절에서는 이를 LOKI의 더 강한 보장 및 간단한 구현과 대비한다.출처: §6 · pp. 6–7
- LOLS는 Q를 추정하기 위해 현재 정책과 전문가 정책을 혼합해 사용하지만, 해당 추정은 상태 초기화 가정에 의존한다.혼합 정책은 각 단계에서 확률 1−λ로 현재 정책을, 확률 λ로 전문가 정책을 실행한다.출처: §6 · p. 7
6 RELATED WORK
- SLOLS uses a convex combination of policy-gradient and AGGREVATE gradients as its first-order oracle and has the same performance guarantee as LOLS.The section also states that LOLS or SLOLS can perform on average better than the expert under the stated analysis.출처: §6 · p. 7
7 실험
실험에서는 시뮬레이션 로봇 제어 과제에서 LOKI를 RL, IL 및 결합 방법 기준선과 비교한다. LOKI는 모방 학습과 유사한 빠른 성능 향상으로 시작해 계속 개선되며, SLOLS 및 THOR와의 성능 비교는 과제 복잡도에 따라 달라진다.
7.1 과제
- 벤치마크에는 Inverted Pendulum, Hopper, 2D Walker, 3D Walker, Reacher 과제가 포함되며, 할인율은 γ = 0.99다.과제는 진자 균형 잡기, 보행, 5-DOF 팔을 이용한 목표물 도달을 다룬다.출처: §7.1 · p. 7
7.2 알고리즘
- 비교 대상은 LOKI, TRPO, DAGGERED, THOR, SLOLS 및 전문가 정책으로 초기화한 Ideal 구성으로, 알고리즘별 매개변수를 제외하면 공통 매개변수를 사용한다.결과는 무작위 시드 25개에 대해 평균을 내며, 정책 및 가치 네트워크는 각 층에 tanh 유닛 32개를 둔 은닉층 2개를 사용한다.출처: §7.2 · pp. 7–8
7.2 ALGORITHMS
- All methods use an on-policy component in constructing their first-order oracle, while the accumulated rewards provided by OpenAI Gym measure performance.The expert is a TRPO policy stopped before convergence.출처: §7.2 · p. 8, §7.3 · p. 8
7.3 실험 결과
- TRPO는 무작위 초기화에서 상당한 폭으로 거의 단조롭게 개선되는 반면, DAGGERED는 빠르게 성능이 낮은 전문가 수준에 도달하지만 이를 넘어서지는 못한다.논문은 DAGGERED의 빠른 학습 사례로 2D Walker에서의 15회 반복을 제시한다.출처: §7.3 · p. 8
- 보고된 과제 전반에서 LOKI는 초기에 DAGGERED만큼 빠르게 개선되고 이후에도 계속 향상되어 결국 Ideal과 일치한다. 또한 Hopper와 두 Walker 과제에서 SLOLS 및 THOR보다 큰 차이로 우수한 성능을 보인다.모방 학습 중 학습되지만 해당 단계에서는 사용되지 않는 on-policy 가치 함수가 강화 학습으로의 전환을 원활하게 한다고 보고한다.출처: §7.3 · p. 8
8 결론
결론에서는 LOKI를 강화학습과 모방학습의 특성을 결합한 알고리즘으로 제시한다. 전환 시점을 무작위화하는 것이 이론적 기여의 일부임을 밝힌다.
A 과제 세부 사항
과제에는 Pendulum, Hopper, 2D Walker, 3D Walker, Reacher가 포함되며, 전문가 가치 추정기의 학습에 사용한 샘플 수와 설명 분산 값을 보고한다.
A 과제 세부 사항
- 목록에 포함된 과제는 Pendulum, Hopper, 2D Walker, 3D Walker, Reacher다.출처: A Task Details · p. 11
- SLOLS와 THOR의 전문가 가치 추정기는 이후 각 정책 학습 배치에서 사용한 샘플 수의 50배에 해당하는 샘플로 학습했다.출처: A Task Details · p. 11
- 설명 분산은 Pendulum에서 0.972, Hopper에서 0.989, 2D Walker에서 0.975, 3D Walker에서 0.983, Reacher에서 0.973이었다.본문에서는 설명 분산을 1에서 오차의 분산을 예측값의 분산으로 나눈 값을 뺀 것으로 정의한다.출처: A Task Details · p. 11
B.1 명제 1의 증명
이 증명들은 미러 디센트 논증을 통해 경계를 도출하며, 어떤 조건에서 경계가 성립하는지 가정과 확률적 그래디언트 조건으로 규정한다.
B.1 명제 1의 증명
- K가 볼록이고 R이 강볼록이면, 이 특수한 경우 확률적 매끄러운 비볼록 최적화에서 정상점으로의 기대 평균 수렴을 회복한다.출처: §B.1 · pp. 11, 13
B.2 명제 2의 증명
- 가중 비용 온라인 미러 디센트 보조정리는 이후 Theorem 2를 위해 도입되지만 Proposition 2에는 필요하지 않으며, 편향되지 않은 확률적 그래디언트는 기댓값에서 성능 경계를 보장한다.출처: §B.2 · pp. 13–14
C.1 정리 1의 증명
- ∥g_n∥*≤G가 거의 확실히 성립하면 누적 가중 손실에 경계가 주어지며, w_s에 따라 K를 표본추출하면 그 경계가 J(π_K)에도 적용된다.출처: §C.1 · p. 15
C.2 정리 3의 증명
정책 업데이트를 온라인 학습으로 정식화하고, 강한 볼록성과 충분히 큰 스텝 크기에서 상계를 유도한 뒤 후회와 성능 오차를 연결한다.
C.2 정리 3의 증명
- 결정론적 문제를 직접 다루며, 확률적 문제는 명제 2에서와 같이 기대 성능으로 확장된다고 설명한다.출처: §C.2 · p. 15
- 각 정책 업데이트는 현재 정책에서의 정책 λ-loss로 정의되는 라운드별 비용의 그래디언트를 사용한다.출처: §C.2 · p. 15
- 강한 볼록성과 충분히 큰 스텝 크기 아래에서 상계를 얻고, 성능을 클래스 오차와 후회 오차의 합으로 연결한다.출처: §C.2 · pp. 15–16