데이터 수집, 적재, 처리, 분석, 머신러닝까지

전문 개발자가 아니어도 약간의 소프트웨어 지식만으로 빅데이터의 A~Z까지 기술들을 구현하고 경험해 볼 수 있는 파일럿 프로젝트 형식으로 구성했다. 빅데이터 시스템 구축에 필요한 실무 요건들을 도출하고 이를 해결하기 위한 빅데이터의 수집, 적재, 처리, 분석 아키텍처와 10여 개의 핵심 기술 요소들을 설명하는 방식으로 독자들이 빅데이터를 더욱 쉽게 이해할 수 있게 돕는다. 이어서 파일럿 프로젝트의 구축 단계를 실습을 통해 직접 따라 해 봄으로써 빅데이터 기술을 이해하는 것을 넘어 실전과 같은 활용 능력을 몸으로 직접 익힐 수 있게 했다.

▣ 01장: 빅데이터 이해하기
1.1 빅데이터의 개념
1.2 빅데이터의 목적
1.3 빅데이터 활용
1.4 빅데이터 프로젝트
1.5 빅데이터 기술의 변화
1.6 빅데이터 구현 기술
____수집 기술
____적재 기술
____처리/탐색 기술
____분석/응용 기술
1.7 빅데이터와 보안
____데이터 보안
____접근제어 보안
1.8 마치며

▣ 02장: 빅데이터
____파일럿 프로젝트
2.1 파일럿 프로젝트 도메인의 이해
____요구사항 파악
____데이터셋 살펴보기
2.2 빅데이터 파일럿 아키텍처 이해
____소프트웨어 아키텍처
____하드웨어 아키텍처
____구축 환경의 이해
2.3 빅데이터 파일럿 프로젝트용 PC 환경 구성
____자바 설치
____이클립스 설치
____오라클 버추얼 박스 설치
____기타 개발환경 구성
____리눅스 가상 머신 환경 구성
2.4 빅데이터 파일럿 서버 구성
____CentOS 설치
____CentOS 환경 구성
____가상 머신 복제
2.5 빅데이터 클러스터 구성
____클라우데라 매니저 설치
____빅데이터 기본 소프트웨어 설치 - 하둡, 주키퍼 등 기본 구성
____DataNode 추가 및 환경 설정
____HDFS 명령을 이용한 설치 확인
____주키퍼 클라이언트 명령을 이용한 설치 확인
2.6 스마트카 로그 시뮬레이터
____로그 시뮬레이터 설치
2.7 파일럿 환경 관리
2.8 마치며

▣ 03장: 빅데이터 수집
3.1 빅데이터 수집 개요
3.2 빅데이터 수집에 활용할 기술
____플럼
____카프카
3.3 수집 파일럿 실행 1단계 - 수집 아키텍처
____수집 아키텍처
3.4 수집 파일럿 실행 2단계 - 수집 환경 구성
____플럼 설치
____카프카 설치
3.5 수집 파일럿 실행 3단계 - 플럼 수집 기능 구현
____SmartCar 에이전트 생성
____SmartCar 에이전트에 Interceptor 추가
____DriverCarInfo 에이전트 생성
3.6 수집 파일럿 실행 4단계 - 카프카 기능 구현
____카프카 Topic 생성
____카프카 Producer 사용
____카프카 Consumer 사용
3.7 수집 파일럿 실행 5단계 - 수집 기능 테스트
____SmartCar 로그 시뮬레이터 작동
____플럼 에이전트 작동
____카프카 Consumer 작동
____수집 기능 점검
3.8 마치며

▣ 04장: 빅데이터 적재 I - 대용량 로그 파일 적재
4.1 빅데이터 적재 개요
4.2 빅데이터 적재에 활용하는 기술
____하둡
____하둡 아키텍처
____하둡 활용 방안
____주키퍼
____주키퍼 아키텍처
____주키퍼 활용 방안
4.3 적재 파일럿 실행 1단계 - 적재 아키텍처
____적재 요구사항
____적재 아키텍처
4.4 적재 파일럿 실행 2단계 - 적재 환경 구성
____하둡 설치
4.5 적재 파일럿 실행 3단계 - 적재 기능 구현
____SmartCar 에이전트 수정
4.6 적재 파일럿 실행 4단계 - 적재 기능 테스트
____플럼의 사용자 정의 Interceptor 추가
____플럼의 Conf 파일 수정
____SmartCar 로그 시뮬레이터 작동
____플럼 이벤트 작동
____HDFS 명령어 확인
4.7 마치며

▣ 05장: 빅데이터 적재 II - 실시간 로그/분석 적재
5.1 빅데이터 실시간 적재 개요
5.2 빅데이터 실시간 적재에 활용하는 기술
____HBase
____레디스
____스톰
____에스퍼
5.3 실시간 적재 파일럿 실행 1단계 - 실시간 적재 아키텍처
____실시간 적재 요구사항
____실시간 적재 아키텍처
5.4 실시간 적재 파일럿 실행 2단계 - 실시간 적재 환경 구성
____HBase 설치
____레디스 설치
____스톰 설치
5.5 실시간 적재 파일럿 실행 3단계 - 실시간 적재 기능 구현
____카프카 Spout 기능 구현
____Split Bolt 기능 구현
____HBase Bolt 기능 구현
____에스퍼 Bolt 기능 구현
____레디스 Bolt 기능 구현
____레디스 클라이언트 애플리케이션 구현
____HBase 테이블 생성
____스톰 Topology 배포
5.6 실시간 적재 파일럿 실행 4단계 - 실시간 적재 기능 테스트
____로그 시뮬레이터 작동
____HBase에 적재 데이터 확인
____레디스에 적재된 데이터 확인
____레디스 클라이언트 애플리케이션 작동
____실시간 개발 환경 구성
5.7 마치며

▣ 06장: 빅데이터 탐색
6.1 빅데이터 탐색 개요
6.2 빅데이터 탐색에 활용되는 기술
____하이브
____스파크
____우지
____휴
6.3 탐색 파일럿 실행 1단계 - 탐색 아키텍처
____탐색 요구사항
____탐색 아키텍처
6.4 탐색 파일럿 실행 2단계 - 탐색 환경 구성
____하이브 설치
____우지 설치
____휴 설치
____스파크 설치
____탐색 환경의 구성 및 설치 완료
6.5 탐색 파일럿 실행 3단계 - 휴를 이용한 데이터 탐색
____HDFS에 적재된 데이터 확인
____HBase에 적재된 데이터 확인
____하이브를 이용한 External 데이터 탐색
____하이브를 이용한 HBase 데이터 탐색
____데이터셋 추가
____스파크를 이용한 추가 데이터셋 탐색
6.6 탐색 파일럿 실행 4단계 - 데이터 탐색 기능 구현 및 테스트
____주제 영역 1. 스마트카 상태 정보 모니터링 - 워크플로 작성
____주제 영역 2. 스마트카 운전자 운행 기록 정보 - 워크플로 작성
____주제 영역 3. 이상 운전 패턴 스마트카 정보 - 워크플로 작성
____주제 영역 4. 긴급 점검이 필요한 스마트카 정보 - 워크플로 작성
____주제 영역 5. 스마트카 운전자 차량용품 구매 이력 정보 - 워크플로 작성
6.7 마치며

▣ 07장: 빅데이터 분석
7.1 빅데이터 분석 개요
7.2 빅데이터 분석에 활용 기술
____임팔라
____제플린
____머하웃
____머하웃 아키텍처
____스쿱
7.3 분석 파일럿 실행 1단계 - 분석 아키텍처
____분석 요구사항
____분석 아키텍처
7.4 분석 파일럿 실행 2단계 - 분석 환경 구성
____임팔라 설치
____스쿱 설치
____제플린 설치
____머하웃 설치
7.5 분석 파일럿 실행 3단계 - 임팔라를 이용한 데이터 실시간 분석
____하이브 QL를 임팔라에서 실행하기
____임팔라를 이용한 운행 지역 분석
7.6 분석 파일럿 실행 4단계 - 제플린을 이용한 실시간 분석
____제플린을 이용한 운행 지역 분석
7.7 분석 파일럿 실행 5단계 - 머하웃과 스파크ML을 이용한 머신러닝
____머하웃 추천 - 스마트카 차량용품 추천
____스파크ML 분류 - 스마트카 상태 정보 예측/분류
____머하웃과 스파크ML을 이용한 군집 - 스마트카 고객 정보 분석
7.8 분석 파일럿 실행 6단계 - 스쿱을 이용한 분석 결과 외부 제공
____스쿱의 내보내기 기능 - 이상 운전 차량 정보
7.9 마치며

▣ 08장: 분석 환경 확장
8.1 분석환경 확장 개요
8.2 R을 이용한 회귀분석 - 스마트카 배기량에 따른 운전자 연소득 예측
____R 설치 및 환경 구성
____R 활용 방안
____R 파일럿 실행 1단계 - 분석 데이터셋 생성
____R 파일럿 실행 2단계 - 하이브 클라이언트 라이브러리 구성
____R 파일럿 실행 3단계 - R에서 하이브 데이터 로드
____R 파일럿 실행 4단계 - 데이터 탐색 및 회귀모델 생성
8.3 텐서플로를 이용한 신경망 분석 - 주행 중 스마트카의 위험 징후 판별
____설치 및 환경 구성
____텐서플로 활용 방안
____텐서플로 파일럿 실행 1단계 - 텐서플로 개발 환경 실행
____텐서플로 파일럿 실행 2단계 - 텐서플로를 이용한 딥러닝 학습 및 평가
____텐서플로 파일럿 실행 3단계 - 텐서보드를 이용한 학습 결과 시각화
____텐서플로 파일럿 실행 4단계 - 플라스크를 이용한 웹 애플리케이션 구축

▣ 부록: 실무로 배우는 빅데이터 기술 - 확장하기 (유튜브 강의)

★ 이 책에서 다루는 내용 ★스마트카의 빅데이터 파일럿 프로젝트를 단계별로 진행하면서 빅데이터의 수집/적재, 처리/탐색, 분석/응용 영역의 아키텍처와 활용 기술들을 다룬다.◎ 빅데이터의 수집/적재
- 빅데이터의 개요와 파일럿 프로젝트의 도메인을 이해하고, 파일럿 실습 환경을 구성한다
- 플럼, 카프카를 이용해 스마트카에서 발생하는 상태 정보와 운전자의 운행정보를 수집한다.
- 스톰, 에스퍼, 하둡, HBase, 레디스로 스마트카의 대용량 파일과 실시간 데이터를 적재한다.
◎ 빅데이터의 처리/탐색
- 하이브, 스파크SQL의 애드혹 쿼리로 데이터 선택, 변환, 통합, 축소 등의 전처리 작업을 한다.
- 휴, 우지를 통해 데이터 가공/탐색 과정을 프로세스화해서 빅데이터 마트를 구성한다.
- 빅데이터 분석 결과를 하둡에 저장하고 스쿱을 이용해 외부 RDMS에 Export한다.
◎ 빅데이터의 분석/응용
- 임팔라, 제플린으로 스마트카 데이터를 대상으로 고성능 인메모리 분석을 수행하여 인사이트를 발견하고 결과를 시각화한다
- 스파크ML과 머하웃으로 스마트카의 마트 데이터를 활용해 추천, 분류, 군집 등의 머신러닝 분석을 진행한다.
- R을 이용해 스마트카 운전자의 연소득 회귀모델과 텐서플로/케라스로 주행중 차량의 이상 탐지 딥러닝 모델을 만들어 REST API 서비스를 구성한다.

회원리뷰 총 0개

리뷰작성 새 창

사용후기가 없습니다.

등록된 상품문의

상품문의 총 0개

문의작성 새 창

상품문의가 없습니다.

[반품/교환가능 기간]

변심반품의 경우 수령 후 14일 이내, 상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내

[반품/교환비용]

단순 변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담

[반품/교환 불가 사유]

- 소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우

(단지 확인을 위한 포장 훼손은 제외)

- 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우

예) 화장품, 식품, 가전제품(악세서리 포함) 등

- 복제가 가능한 상품 등의 포장을 훼손한 경우

예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집

- 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우 ((1)해외주문도서)

- 디지털 컨텐츠인 eBook, 오디오북 등을 1회 이상 다운로드를 받았을 경우

- 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우

- 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에 해당되는 경우

* (1) 해외주문도서 : 이용자의 요청에 의한 개인주문상품으로 단순변심 및 착오로 인한 취소/교환/반품 시

‘해외주문 반품/취소 수수료’ 고객 부담 (해외주문 반품/취소 수수료 : ①양서-판매정가의 12%, ②일서-판매정가의 7%를 적용)

[상품 품절]

공급사(출판사) 재고 사정에 의해 품절/지연될 수 있으며, 품절 시 관련 사항에 대해서는 이메일과 문자로 안내드리겠습니다.

[소비자 피해보상, 환불지연에 따른 배상]

- 상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은 소비자분쟁해결 기준 (공정거래위원회 고시)에 준하여 처리됩니다.

- 대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의 소비자 보호에 관한 법률에 따라 처리함.