빅데이터와 샘플 데이터를 연결하다

석사 또는 박사 과정에서 공부한 경험이 있다면 대게 샘플 데이터를 이용해서 모집단을 추정하고 예측하는 전통적 연구 방법에 익숙할 것이다. 샘플 데이터로 분석한다는 것은 많은 가정이 요구되는 작업이기도 하며 샘플 데이터의 질에 따라 예측 결과가 달라지기도 하지만, 시간과 돈이라는 현실적인 한계 앞에서 계속해서 데이터만 모을 수도 없는 노릇이다. 전통적 샘플링-추론 방식에 익숙한 분들에게 시뮬레이션이라는 용어는 어쩌면 항공기 모의실험실이나 기상관측 연구소에서나 사용되는 것으로 자신과는 동떨어진 작업이라고 생각할 수도 있다. 하지만 학위과정에서 해결해야 하는 연구과제, 시장분석이나 정치환경과 같은 사회조사, 그리고 샘플이 부족한 연구 환경에서 시뮬레이션 기법은 훌륭한 해결책이 될 수 있다. 이 책은 수학공식을 최소화해서 시뮬레이션 기초 이론을 설명하고 다양한 시뮬레이션 방법을 책에서 제시된 R 코딩을 따라 하면서 이해할 수 있도록 구성됐다. 책을 다 읽고 난 후에는 여러분이 진행하는 프로젝트에서 높은 신뢰성을 가진 결과를 제시하도록 어떻게 시뮬레이션을 적용할 것인지 흥미롭게 고민하고 R에서 과감히 실현해 볼 수 있을 것이다.

1장. 서론
__시뮬레이션이란 무엇이며, 어디에 적용되는가?
__왜 시뮬레이션을 사용하는가?
__시뮬레이션과 빅데이터
__올바른 시뮬레이션 방법 선택하기
__요약
__참고문헌

2장. R과 고성능 컴퓨팅
__R 통계 환경
____R 기초
____R에 대한 아주 기본적인 내용들
____설치 및 업데이트
____help
____R 작업공간 및 작업 디렉토리
____데이터 유형
____누락값
__일반 함수, 메소드, 클래스
__R에서의 데이터 전처리
____apply와 기본 R의 친구들
____패키지 dplyr로 하는 기본 데이터 전처리
____패키지 data.table을 이용한 데이터 전처리
__고성능 컴퓨팅
____코딩에서 계산 속도가 느린 함수를 찾기 위한 분석법
____병렬 컴퓨팅
____C++ 인터페이스
__정보 시각화
____R의 그래픽 시스템
____graphics 패키지
____ggplot2 패키지
__참고문헌

3장. 연필 기반 이론과 데이터 기반 전산 솔루션의 불일치
__기계 수 반올림 문제
____예제: 수를 64비트 형식으로 나타내기
____결정론적 케이스에서 수렴
____예제: 수렴
__문제의 상태
__요약
__참고문헌

4장. 난수 시뮬레이션
__진성난수
__의사난수 시뮬레이션
____합동 생성기
____선형 합동 생성기 및 승산 합동 생성기
____지연 피보나치 수열 생성기
____그 밖의 의사난수 생성기
__비균등하게 분포되는 임의 변수 시뮬레이션
____역함수 변환 방법
____에일리어스 방법 또는 대체법
____로그 선형 모델을 이용한 테이블상의 빈도수 추정
____기각 샘플링
____절단 분포
____메트로폴리스-헤이스팅스 알고리즘
____깁스 샘플링
____MCMC 샘플 진단
__난수 테스트
____난수 평가: 테스트 예제
__요약
__참고문헌

5장. 최적화 문제를 위한 몬테카를로 기법
__수치 최적화
____경사 상승/하강 탐색 방법
____뉴턴-라프슨 방법
____범용성을 가진 최적화 방법들
__확률적 최적화 다루기
____간편한 절차(스타트렉, 스페이스볼, 스페이스볼 프린세스)
____메트로폴리스-헤이스팅스 분석 기법 다시 보기
____경사 기반 확률 최적화
__요약
__참고문헌

6장. 시뮬레이션으로 보는 확률 이론
__확률 이론에 대한 기본 내용
__확률 분포
____이산 확률 분포
____연속 확률 분포
__복권 당첨
__대수의 약법칙
____황제펭귄과 여러분의 상사
__중심극한정리
__추정량의 속성
____추정량의 속성
____신뢰구간
____강건 추정량에 대한 고찰
__요약
__참고문헌

7장. 리샘플링 방법
__부트스트랩
____오즈비에 대한 흥미로운 예제
____부트스트랩이 작동하는 이유
____부트스트랩 자세히 살펴보기
____플러그인 원칙
__부트스트랩으로 표준오차 추정
____부트스트랩을 이용한 복잡 추정의 예
__모수 부트스트랩
__부트스트랩으로 편향 추정하기
____부트스트랩으로 구하는 신뢰구간
__잭나이프
____잭나이프의 단점
____관측치 d개가 제거된 잭나이프
____부트스트랩 후 잭나이프
__교차 검증
____고전 선형 회귀 모델
____교차 검증의 기본 개념
____고전적 교차 검증: 70/30 방법
____LOO 교차 검증
____k배 교차 검증
__요약
__참고문헌

8장. 리샘플링 방법과 몬테카를로 테스트의 적용
__회귀 분석에서의 부트스트랩
____부트스트랩을 사용해야 하는 동기
__누락값을 포함한 적절한 분산 추정
__시계열 분석에서 부트스트랩하기
__복합 샘플링 디자인에서 사용되는 부트스트랩
__몬테카를로 테스트
____흥미로운 예제
____몬테카를로 테스트의 특별한 종류인 순열 테스트
____복수의 그룹에 대한 몬테카를로 테스트
____부트스트랩을 사용한 가설 테스트
____다변량 정규성 테스트
____몬테카를로 테스트 크기의 적합성
____검증력 비교
__요약
__참고문헌

9장. EM 알고리즘 381
__기본 EM 알고리즘
____전제 조건
____EM 알고리즘의 공식적 정의
____EM 알고리즘을 이해하기 위한 간단한 예
__k 평균 클러스터링 예로 보는 EM 알고리즘
__누락값 대체를 위한 EM 알고리즘
__요약
__참고문헌

10장. 복합 데이터로 하는 시뮬레이션
__다양한 종류의 시뮬레이션 및 소프트웨어
__복합 모델을 사용해 데이터 시뮬레이션하기
____모델 기반의 간단한 예제
____혼합 데이터를 가진 모델 기반 예제
____데이터를 시뮬레이션하기 위한 모델 기반 접근법
____고차원 데이터를 시뮬레이션하는 예제
____클러스터 또는 계층구조의 유한 모집단 시뮬레이션하기
__모델 기반 시뮬레이션 연구
____잠재 모델 예제
____모델 기반 시뮬레이션의 간단한 예제
____모델 기반 시뮬레이션 연구
__디자인 기반 시뮬레이션
____복합 설문조사 데이터의 예
____합성 모집단 시뮬레이션
____관심 있는 추정량
____샘플링 디자인 정의하기
____층화 샘플링 사용하기
____오염 추가
____다른 영역에 대해 별도의 시뮬레이션 실행
__누락값 삽입
__요약
__참고문헌

11장. 시스템 다이내믹스와 에이전트 기반 모델
__에이전트 기반 모델
__사랑과 증오의 역동성
__생태 모델링의 다이내믹 시스템
__요약
__참고문헌

★ 옮긴이의 말 ★이 책을 번역하면서 머릿속에서 뚜렷해지는 생각이 있었다. ‘고정된 것은 변하는 것보다 항상 좋은 것 같아. 세상이 변하지만 않는다면 말이지.’ 경영 전략을 연구하는 나에게 의사결정자의 제한적 이성(bounded rationality)은 항상 흥미로운 주제다. 사람들이 모든 요인을 고려해서 미래 지향적으로 최적의 의사결정을 하기보다는 과거의 경험, 노하우, 그리고 현장에서 얻은 지식(idiosyncratic knowledge) 등 과거 지향적으로 의사결정을 하기 때문에 예상하지 못했던 나쁜 결과가 종종 발생한다. 과거의 성공 공식을 의사결정에 계속해서 적용하는 것을 결정론적 접근법이라고 하면, 현실에서 벌어지고 있는 사건을 토대로 미래를 예측해서 확률적으로 따져서 결정하는 방식을 확률론적 접근법이라 할 수 있다. 큰 변화가 없는 영역에서 살아가고 있다면 동네에서 가장 경험치가 높은 최고령의 어른께서 정답을 결정해주실지도 모르겠다. 불행히도 대부분의 우리는 어제의 성공이 또 다른 성공을 보장하지 않는 변화 속에 살고 있고, 불확실 속에서 성공 확률이 높은 쪽으로 결정을 해야 한다.
이 책은 확률론적 접근법이 필요한 대부분의 사람들에게 불필요한 가정을 내려놓고 현실에서 온 데이터로 결정 모델을 만드는 ‘시뮬레이션’을 소개한다. 시뮬레이션은 사건 사고에 관심이 있는 분들이라면 들어봤을 단어이고, 데이터를 거침없이 돌려서 기존의 지식으로는 생각하지 못했던 새로운 결과를 찾아내는 마법 정도의 개념으로 이해하고 있을 것이다. 내 경우는 박사 과정에서 연역적 방식으로 연구를 수행하는 방법을 배우다 보니, 데이터를 돌려서 아이디어를 얻고 주장을 하는 귀납적 방식은 많이 어색하다. 데이터라는 ‘현실 관찰’이 주도해서 지식을 일반화하기에는 ‘관찰한 양이 충분해서 예외는 없는가’라는 질문에 답할 자신이 없기 때문이다. 반면에 이론이 주도하면서 데이터의 역할은 ‘가설 검증’ 정도로 전환되고 확률 이론에 따라 가설이 참일 확률적 가능성에 초점을 두는 연역적 방식에 편안함을 느낀다. 그래서 귀납적 방식이라고 생각했던 시뮬레이션은 어색한 영역이었다.
그러면 시뮬레이션은 귀납적 분석 도구인가? 결론부터 말하자면 시뮬레이션은 사용 목적에 따라 두 가지 패러다임에 모두 적용될 수 있다. 학계는 연역적 방식이 정상적인 지식 형성 과정이지만, 시장을 전략적으로 접근해야 하는 산업계는 다른 이야기다. 남들과 다르게 해서 살아남아야 하는 회사 입장에서 데이터는 경쟁자들이 보지 못하는 새로운 변화와 패턴을 찾아낼 수 있도록 하는 거의 유일한 도구다. 거대한 데이터를 모으고, 저장하고, 분석하는 기술이 발전하면서 얻게 된 도구의 예측 정확성 덕분에 ‘예외’가 발생시킬 수 있는 리스크 수준을 감당해낼 수 있는 환경이 됐다. 이 책은 학계 및 산업계와 같이 의사 결정 패러다임이 다른 환경에서도 ‘시뮬레이션’은 훌륭한 영감과 아이디어를 줄 수 있음을 분석 플랫폼 R로 직접 구현하면서 보여준다.
이 책은 총 11개 장으로 구성돼 있다. 각 장이 별도의 이야기인 것 같지만, 절묘하게 연결되어 있는 것이 매력이다. 1장 ‘서론’은 시뮬레이션은 무엇인가에 대한 답을 빅데이터와 연계해서 설명한다. 2장 ‘R과 고성능 컴퓨팅’은 시뮬레이션을 R에서 구현하기 위해 필요한 전처리 방법과 시각화 처리 방법을 소개한다. 3장 ‘연필 기반 이론과 데이터 기반 전산 솔루션의 불일치’에서는 이론값과 데이터 분석값이 차이 나는 원인을 살펴보고 결정론적 수렴과 확률론적 수렴의 차이를 이해해본다. 4장 ‘난수 시뮬레이션’은 목적에 맞는 다양한 난수 생성기를 소개한다. 또한 몬테카를로 시뮬레이션이 왜 필요한지 이해할 수 있다. 이 장은 추후에 소개될 시뮬레이션 적용 부분에서 필요한 내용으로 반드시 R을 직접 실행하면서 이해해야 하는 장이다. 5장 ‘최적화 문제를 위한 몬테카를로 기법’에서는 3장에서 소개한 결정론적 수렴과 확률적 수렴을 몬테카를로 기법을 통해 시뮬레이션 최적화를 배우게 된다. 6장 ‘시뮬레이션으로 보는 확률 이론’에서는 임의로 추출된 수들을 반복적으로 시뮬레이션하는 과정은 대수의 법칙 및 중심극한정리 등 확률 개념과 일치하기 때문에 확률적 관점에서 시뮬레이션을 살펴본다. 7장 ‘리샘플링 방법’은 앞 장에서 소개한 방식인 가정된 분포로부터 추출된 난수를 시뮬레이션하는 것이 아니라, 현실에서 수집한 샘플 데이터로 편향과 오류가 적은 예측을 위해 적용할 수 있는 시뮬레이션 방법을 소개한다. 8장 ‘리샘플링 방법과 몬테카를로 테스트의 적용’에서는 일반 회귀 분석 알고리즘을 적용할 수 있는 조건에 부합하지 않고 누락값도 있는 가장 현실적인 데이터에 부트스트래핑과 몬테카를로 시뮬레이션을 적용해 가설을 검증하는 방법을 소개한다. 9장 ‘EM 알고리즘’은 누락값이 있는 데이터를 간단하게 생략하거나 단순한 기준으로 누락값을 대체하는 것이 아니라, 누락의 패턴을 찾아 데이터 전반적인 관점에서 누락값을 대체할 수 있는 시뮬레이션 방법을 설명한다. 10장 ‘복합 데이터로 하는 시뮬레이션’은 데이터의 구조가 여러 계층 수준으로 나뉘면서 복잡한 모델링이 필요한 경우 사용할 수 있는 모델 기반 시뮬레이션과 디자인 기반 시뮬레이션을 소개한다. 마지막 11장 ‘시스템 다이내믹스와 에이전트 기반 모델’은 시간의 흐름과 함께 관측 대상이 변해가는 패턴을 시뮬레이션으로 모형화하고 미래 예측에 사용할 수 있는 방안을 논의한다.
이 책을 번역하는 데 적지 않은 시간이 걸렸다. 에이콘 편집 팀에서도 많은 수학적 표기를 정확히 전달하기 위해 많은 시간을 들여서 정성을 다했으며, 나 또한 원서를 정확히 전달하기 위해 부족한 분야는 열심히 공부하면서 정확하게 번역하는 데 최선을 다했다. 오랜 시간 정성을 들인 번역이 여러분들의 학문, 경력, 사업 성과에 조금이나마 보탬이 된다면 그보다 큰 기쁨은 없을 것 같다.

★ 이 책에서 다루는 내용 ★
■ 데이터에서 통찰력을 이끌어 내기 위한 데이터 시뮬레이션과 리샘플링
■ 고성능 컴퓨팅과 고도의 데이터 처리 방법 등 R의 고급 기능
■ 분포, 데이터, 집단 시뮬레이션에 사용하는 난수 시뮬레이션
■ 에이전트 기반 마이크로시뮬레이션과 모델 및 디자인 기반 시뮬레이션을 기준으로 현실과 가까운 데이터 시뮬레이션
■ 과학적이며 현실적인 문제를 해결할 수 있도록 R을 사용한 통계 솔루션
■ boot, simPop, VIM, data.table, dplyr, cvTools, deSolve 등 다양한 R 패키지 이해
■ R만을 사용한 난수 생성 방법 및 시뮬레이션 예제와 실행 방법★ 이 책의 대상 독자 ★
전산 방법론과 R에 익숙한 사용자를 위한 책이다. 컴퓨터 기반 몬테카를로 방법과 통계 시뮬레이션 도구로 R의 고급 기능을 배워보고 싶다면 이 책은 여러분의 것이다.★ 이 책의 구성 ★
1장 ‘서론’에서는 데이터 과학과 통계 분야에서 사용되는 시뮬레이션 실험의 일반적인 목적인 “시뮬레이션은 왜 필요하며, 어디에 적용되는가?”라는 질문에 답을 하고, 빅데이터를 다루는 특별한 케이스를 논의한다.
2장 ‘R과 고성능 컴퓨팅’에서는 R을 이용해 할 수 있는 고급 컴퓨팅, 데이터 전처리, 시각화 작업을 종합적으로 다룬다.
3장 ‘연필 기반 이론과 데이터 기반 전산 솔루션의 불일치’에서는 결정론적 환경에서 발생할 수 있는 수치 정확성, 반올림, 수렴과 관련된 이슈를 다룬다.
4장 ‘난수 시뮬레이션’에서는 균등 난수 시뮬레이션과 여러 종류의 분산으로 전환하기 위한 변형 방법으로 시작해 다양한 종류의 마르코프 체인 몬테카를로 난수 생성 방법을 논의한다.
5장 ‘최적화 문제를 위한 몬테카를로 기법’에서는 결정론적 최적화 방법과 확률론적 최적화 방법을 소개한다.
6장 ‘시뮬레이션으로 보는 확률 이론’에서는 통계학에서 필요한 기본 이론에 집중한다. 예로는 대수의 법칙 그리고 중심극한정리가 시뮬레이션을 통해 소개된다.
7장 ‘리샘플링 방법’에서는 부트스트랩, 잭나이프, 교차 타당성 검증을 종합적으로 설명한다.
8장 ‘리샘플링 방법과 몬테카를로 테스트의 적용’에서는 회귀 분석, 대체(imputation), 시계열 분석 등 다양한 분야에서 사용할 수 있는 적용 방법을 제시한다. 추가로, 몬테카를로 테스트와 함께 순열 테스트 및 부트스트랩 같은 변형된 형태를 소개한다.
9장 ‘EM 알고리즘’에서는 반복을 통해 최적값을 얻는 기대 극대화법을 소개한다. 누락값을 묶고 대체하는 애플리케이션을 제시한다.
10장 ‘복합 데이터로 하는 시뮬레이션’에서는 일반적으로 방법 간 비교를 위해 사용되고 에이전트 기반 마이크로시뮬레이션의 투입 데이터로 활용될 인구 데이터와 합성 데이터를 시뮬레이션하는 방법을 소개한다.
11장 ‘시스템 다이내믹스와 에이전트 기반 모델’에서는 에이전트 기반 마이크로시뮬레이션 모델을 논의하고 복잡한 변화 시스템을 공부하기 위해 시스템 다이내믹스에서 사용되는 기본 모델을 제시한다.

회원리뷰 총 0개

리뷰작성 새 창

사용후기가 없습니다.

등록된 상품문의

상품문의 총 0개

문의작성 새 창

상품문의가 없습니다.

[반품/교환가능 기간]

변심반품의 경우 수령 후 14일 이내, 상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내

[반품/교환비용]

단순 변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담

[반품/교환 불가 사유]

- 소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우

(단지 확인을 위한 포장 훼손은 제외)

- 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우

예) 화장품, 식품, 가전제품(악세서리 포함) 등

- 복제가 가능한 상품 등의 포장을 훼손한 경우

예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집

- 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우 ((1)해외주문도서)

- 디지털 컨텐츠인 eBook, 오디오북 등을 1회 이상 다운로드를 받았을 경우

- 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우

- 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에 해당되는 경우

* (1) 해외주문도서 : 이용자의 요청에 의한 개인주문상품으로 단순변심 및 착오로 인한 취소/교환/반품 시

‘해외주문 반품/취소 수수료’ 고객 부담 (해외주문 반품/취소 수수료 : ①양서-판매정가의 12%, ②일서-판매정가의 7%를 적용)

[상품 품절]

공급사(출판사) 재고 사정에 의해 품절/지연될 수 있으며, 품절 시 관련 사항에 대해서는 이메일과 문자로 안내드리겠습니다.

[소비자 피해보상, 환불지연에 따른 배상]

- 상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은 소비자분쟁해결 기준 (공정거래위원회 고시)에 준하여 처리됩니다.

- 대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의 소비자 보호에 관한 법률에 따라 처리함.