강화 학습 기초에 대한 쉽고 정확한 개념 설명

이원종(서울대학교 지능정보융합학과 교수)

강화 학습 기초 이론부터 블레이드 & 소울 비무 AI 적용까지 이 책은 강화 학습을 모르는 초보자도 쉽게 이해할 수 있도록 도와주는 입문서입니다. 현업의 강화 학습 전문가가 직접 설명해 강화 학습에 가장 기본이 되는 개념 설명부터 실무 사례까지 한 권으로 정리했습니다. 강화 학습의 뼈대가 되는 MDP부터 딥러닝과 강화 학습이 만나는 지점 및 학습 방법론, 알파고, 알파고 제로까지 다룹니다. 나아가 유명 게임인 블레이드&소울 비무에 실제로 강화 학습을 적용하며 실무에서 얻은 팁과 노하우를 배워봅니다.

Chapter 1. 강화 학습이란
Chapter 2. 마르코프 결정 프로세스
Chapter 3. 벨만 방정식
Chapter 4. MDP를 알 때의 플래닝
Chapter 5. MDP를 모를 때 밸류 평가하기
Chapter 6. MDP를 모를 때 최고의 정책 찾기
Chapter 7. Deep RL 첫걸음
Chapter 8. 가치 기반 에이전트
Chapter 9. 정책 기반 에이전트
Chapter 10. 알파고와 MCTS
Chapter 11. 블레이드&소울 비무 AI 만들기

[구성 소개]
Chapter 1. 강화 학습이란
바둑에서 시작하여 게임, 금융, 로봇까지 수많은 분야에서 강화학습을 통해 전례 없는 수준의 AI가 만들어졌습니다. 기존 학습 방법론과 어떤 차이가 있었기에 이런 도약이 가능했을까요? 그에 대한 답은 강화 학습이 무엇인가라는 작은 이야기부터 시작합니다.Chapter 2. 마르코프 결정 프로세스
문제를 풀기 위해서는 먼저 문제가 잘 정의되어야 합니다. 강화 학습에서 문제를 잘 정의하려면 주어진 문제를 MDP(Markov Decision Process)의 형태로 만들어야 합니다. MDP에 대해 속속들이 알아봅니다.Chapter 3. 벨만 방정식
대부분의 강화 학습 알고리즘은 밸류를 구하는 것에서 출발합니다. 그리고 밸류를 구하는 데 뼈대가 되는 수식이 바로 벨만 방정식입니다. 벨만 기대 방정식과 벨만 최적 방정식이라는 두 종류의 방정식을 배워봅니다. Chapter 4. MDP를 알 때의 플래닝
벨만 방정식 학습으로 간단한 MDP를 풀 수 있습니다. 벨만 방정식을 반복적으로 적용하는 방법론을 통해 아주 간단한 MDP를 직접 풀어봅니다.Chapter 5. MDP를 모를 때 밸류 평가하기
MDP의 전이 확률과 보상 함수를 모를 때에 대한 이야기가 시작됩니다. 주어진 수식을 이용해 정확한 값을 계산하는 대신, 수많은 샘플을 통해 근사하는 “샘플 기반 방법론”을 배워봅니다.Chapter 6. MDP를 모를 때 최고의 정책 찾기
Control 문제를 해결할 차례입니다. 밸류를 계산할 수 있기 때문에 이를 이용해 정책을 찾는 것은 한결 쉽습니다. 그 유명한 Q러닝을 배워봅니다.Chapter 7. Deep RL 첫걸음
커다란 MDP의 세계를 항해하기 위해서 우리에게는 또 다른 무기가 하나 필요합니다. 바로 “딥러닝” 입니다. 딥러닝과 강화 학습이 만나 Deep RL이라는 유연하고도 범용적인 방법론이 탄생합니다. 먼저 딥러닝에 대한 이야기부터 시작합니다. Chapter 8. 가치 기반 에이전트
신경망을 이용해 액션 밸류 네트워크를 학습하면 그게 곧 하나의 에이전트가 될 수 있습니다. 아타리 게임을 플레이 하던 DQN이 바로 이 방식입니다. 가치 함수만을 가지고 움직이는 에이전트, 즉 가치 기반 에이전트에 대해 알아보겠습니다.Chapter 9. 정책 기반 에이전트
딥러닝과 정책 함수가 결합하면 강력한 정책 네트워크를 만들어 냅니다. 보상 및 밸류 네트워크를 이용해 직접적으로 정책 네트워크를 학습하는 방법에 대해 알아보겠습니다. 이는 수많은 최신 강화 학습 알고리즘의 뿌리가 되는 방법론입니다.Chapter 10. 알파고와 MCTS
인류 최고의 바둑 기사를 이긴 AI를 만드는 과정도 분해해서 생각하면 간단한 방법론들의 조합입니다. 이제 한 걸음만 더 가면 알파고를 완전히 이해할 수 있습니다. 그 마지막 한 조각인 MCTS를 소개하고, 이를 통해 알파고를 낱낱이 분해합니다.
Chapter 11. 블레이드&소울 비무 AI 만들기
복잡한 실시간 격투 게임에 강화 학습을 적용하는 일은 어떤 과정을 거칠까요? 블레이드&소울에 강화 학습을 적용하여 에이전트를 학습시키는 과정과 시행착오에 대해 소개합니다.

회원리뷰 총 0개

리뷰작성 새 창

사용후기가 없습니다.

등록된 상품문의

상품문의 총 0개

문의작성 새 창

상품문의가 없습니다.

[반품/교환가능 기간]

변심반품의 경우 수령 후 14일 이내, 상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내

[반품/교환비용]

단순 변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담

[반품/교환 불가 사유]

- 소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우

(단지 확인을 위한 포장 훼손은 제외)

- 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우

예) 화장품, 식품, 가전제품(악세서리 포함) 등

- 복제가 가능한 상품 등의 포장을 훼손한 경우

예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집

- 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우 ((1)해외주문도서)

- 디지털 컨텐츠인 eBook, 오디오북 등을 1회 이상 다운로드를 받았을 경우

- 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우

- 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에 해당되는 경우

* (1) 해외주문도서 : 이용자의 요청에 의한 개인주문상품으로 단순변심 및 착오로 인한 취소/교환/반품 시

‘해외주문 반품/취소 수수료’ 고객 부담 (해외주문 반품/취소 수수료 : ①양서-판매정가의 12%, ②일서-판매정가의 7%를 적용)

[상품 품절]

공급사(출판사) 재고 사정에 의해 품절/지연될 수 있으며, 품절 시 관련 사항에 대해서는 이메일과 문자로 안내드리겠습니다.

[소비자 피해보상, 환불지연에 따른 배상]

- 상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은 소비자분쟁해결 기준 (공정거래위원회 고시)에 준하여 처리됩니다.

- 대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의 소비자 보호에 관한 법률에 따라 처리함.