페이스북 트위터 네이버 공공 일반 웹 데이터 기반

『파이썬을 이용한 빅데이터 수집, 분석과 시각화』는 빅데이터 수집, 분석, 시각화를 실습할 수 있는 기본서입니다. 파트 1과 파트 2에서는 소셜 미디어, 공공 데이터, 일반 웹 데이터를 수집하는 방법을 실습합니다. 파트 3에서는 수집한 데이터에 대한 빈도 분석과 상관관계 분석 방법을 실습하고, 지리정보를 기반으로 한 시각화 방법을 실습합니다. 개발자가 아닌 분들을 위하여 최소한의 파이썬 지식만으로도 실습할 수 있도록 구성하였습니다.

파트 1 데이터 사용을 위한 계정 설정

1장 페이스북 API 사용하기
1.1 페이스북 가입
1.2 페이스북 앱 ID 등록

2장 트위터 API 사용하기
2.1 트위터 가입
2.2 트위터 앱 등록

3장 네이버 API 사용하기

4장 정부3.0 공공 데이터 포털 API 사용하기
4.1 공공 데이터 포털 가입

파트 2 데이터 수집

5장 페이스북 데이터 수집하기
5.1 페이스북 그래프(Graph) API
5.1.1 읽기
5.1.2 페이지 조회
1. 커서(cursor) 기반 페이지 조회
2. 시간(time period) 기준 페이지 조회
3. 오프셋(offset) 기반 페이지 조회
5.2 페이스북 ID 가지고 오기
5.3 페이스북 포스트(/{post-id})) 가져오기
5.4 페이스북 포스트(/{post-id})) 저장

6장 트위터 데이터 수집하기
6.1 OAuth란? [OAuth 1, 2, 3]
6.1.1 OAuth 1.0a 인증 과정
6.1.2 OAuth 2.0의 탄생
6.2 트윗(Tweet) 가지고 오기
6.3 트윗(Tweet) 스트림 가지고 오기[Twitter 2]

7장 네이버 데이터 수집하기
7.1 검색 API의 활용
7.2 지도 API(주소, 좌표 변환)의 활용

8장 공공 데이터 수집하기
8.1 전국 유료 관광지 입장객 정보
8.2 파이썬 그래프 모듈: matplotlib
8.3 출입국 관광 통계 서비스

9장 일반적인 웹 서비스 데이터 수집하기
9.1 이상한 나라의 앨리스의 맛있는 스프: BeautifulSoup
9.2 통닭 공화국의 데이터를 구해보자
9.2.1 비비큐 매장 정보: HTML 태그 내 정보 찾기
9.2.2 페리카나 매장 정보: 중복된 HTML 태그 내 추출
9.2.3 네네치킨 매장 정보: XML 형식
9.2.4 교촌치킨 매장 정보: 태그 내 다양한 태그 추출
9.2.5 처갓집양념치킨 매장 정보: CP949 인코딩
9.2.6 굽네치킨 매장 정보: selenium - 브라우저 시뮬레이션
1. selenium과 WebDriver의 설치
2. Selenium 테스트
9.2.7 통합 데이터 수집 코드

파트 3 데이터 분석과 시각화

10장 빈도 분석: 형태소 분석 기반 그래프 및 워드 클라우드
10.1 코엔엘파이(KoNLPy)의 설치 및 활용[KoNLPy 1]
10.2 그래프를 그리자: matplotlib
10.2.1 기본 그래프 그리기
10.2.2 다수의 그래프 그리기
10.2.3 한글 처리
10.2.4 여러 개의 그래프 그리기
10.2.5 그래프에 문자 삽입
10.3 명사 추출 및 빈도 분석

11장 데이터 기반 추천: 데이터 상관관계 분석
11.1 상관분석과 상관계수
11.2 데이터 테이블 생성: pandas 패키지
11.2.1 Series
1. 일차원(array) 데이터의 활용
2. 딕셔너리(Dictionary)
3. 스칼라(Scalar) 값
11.2.2 DataFrame
1. Series/Dict 데이터의 활용
2. Dict 리스트 데이터의 활용
3. 데이터 추가 및 합치기(merge)
11.3 공공 데이터를 이용한 상관분석
11.4 히트맵(Heatmap) ? seaborn

12장 지리정보기반 시각화: 지리정보와 시각화
12.1 지리정보 가공을 위한 데이터 전처리
12.1.1 비비큐 주소 정보 보정
12.1.2 페리카나 주소 정보 보정
12.1.3 네네치킨 주소 정보 보정
12.1.4 교촌치킨 주소 정보 보정
12.1.5 처갓집양념치킨 주소 정보 보정
12.1.6 굽네치킨 주소 정보 보정
12.2 포리움(Folium)의 설치 및 활용[Visualization 3,4]
12.2.1 포리움 설치 및 객체 생성
1. 초기 객체 생성
2. 다른 유형의 맵 호출
3. 마커(Marker)와 팝업(Popup)의 설정
4. GeoJSON 활용 데이터
12.3 프랜차이즈 주소 매핑: Folium ? 네이버 주소 검색
12.4 전국 지도에 블록맵으로 표시하기

참고 문헌

어떠한 이유에서이든 요즘 개발자는 내외부적으로 빅데이터를 이용한 프로젝트를 수행해야 한다. 이 책에 관심을 둔 개발자라면 아마 고객이나 회사의 경영진으로부터 아래와 같은 요청사항을 한두 번 아니 그 이상 들어보았을 것이다. "소셜 네트워크(SNS) 등을 이용하여 사용자를 분석하고 …."또는 여기서 조금 더 나간 기업이나 고객은"그 데이터를 바탕으로 인공지능을 이용해 학습을 하고, 이를 통해 자동으로 추천 서비스를 구현하여…"솔직히 데이터를 모으라고 하면 모을 수 있다. 그리고 그걸 가지고 분석을 하라면 할 수 있을 것 같기도 하다. 근데 과연 어떤 데이터를 모을 것이며, 수집한 데이터를 어떻게 분석할지에 대해서는 어지럽기만 하다. 본 책에서는 일단 고객이 이야기하는 소셜 데이터를 모으는 방법에 대하여 이야기하려고 한다. 그럼 그 다음은? [중략] 본 책에서는 그래도 어떤 데이터를 어떻게 분석할 수 있을지에 대해 조금이나마 맛보기로 보여줄 예정이다. ? 저자 서문 중에서

빅데이터 수집, 분석, 시각화를 실습할 수 있는 기본서입니다. 파트 1과 파트 2에서는 소셜 미디어, 공공 데이터, 일반 웹 데이터를 수집하는 방법을 실습합니다. 파트 3에서는 수집한 데이터에 대한 빈도 분석과 상관관계 분석 방법을 실습하고, 지리정보를 기반으로 한 시각화 방법을 실습합니다. 개발자가 아닌 분들을 위하여 최소한의 파이썬 지식만으로도 실습할 수 있도록 구성하였습니다.'데이터를 수집할 수 있습니다' 페이스북, 트위터, 네이버, 공공, 일반 웹 사이트에서 데이터를 수집하는 방법을 설명합니다.

'데이터를 분석하고 시각화 처리를 할 수 있습니다 ' 코엔엘파이와 파이썬 라이브러리를 이용하여 빈도 분석을 할 수 있습니다. 데이터 상관관계 분석을 실습할 수 있습니다. 그리고 지리 정보를 이용하여 시각화를 구현할 수 있습니다.'최소한의 파이썬 지식을 활용합니다' 이 책은 파이썬 문법서는 아닙니다. 빅데이터를 수집하고 분석하는 방법에 중점을 두고 있으며, 그에 필요한 파이썬 문법만 책에서 최소한으로 다룹니다.'빅데이터 수집, 분석, 시각화를 시작하기에 적합한 책입니다' 개발자뿐만 아니라 기획, 마케팅, 전략 수립, 시장 조사, 스타트업, 연구원도 최소한의 개발 도구 활용 능력을 갖춰서 데이터를 정보화하여 사업이나 연구에 활용할 수 있어야 하는 시대입니다. 빅데이터 프로젝트를 진행해야 하는 개발자를 포함하여 개발자가 아닌 분들에게 최적화된 책입니다. 특히 개발자가 아닌 분들은 저자가 운영하고 있는 도서 관련 블로그를 적극 활용하시기 바랍니다.

회원리뷰 총 0개

리뷰작성 새 창

사용후기가 없습니다.

등록된 상품문의

상품문의 총 0개

문의작성 새 창

상품문의가 없습니다.

[반품/교환가능 기간]

변심반품의 경우 수령 후 14일 이내, 상품의 결함 및 계약내용과 다를 경우 문제점 발견 후 30일 이내

[반품/교환비용]

단순 변심 혹은 구매착오로 인한 반품/교환은 반송료 고객 부담

[반품/교환 불가 사유]

- 소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우

(단지 확인을 위한 포장 훼손은 제외)

- 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우

예) 화장품, 식품, 가전제품(악세서리 포함) 등

- 복제가 가능한 상품 등의 포장을 훼손한 경우

예) 음반/DVD/비디오, 소프트웨어, 만화책, 잡지, 영상 화보집

- 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우 ((1)해외주문도서)

- 디지털 컨텐츠인 eBook, 오디오북 등을 1회 이상 다운로드를 받았을 경우

- 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우

- 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에 해당되는 경우

* (1) 해외주문도서 : 이용자의 요청에 의한 개인주문상품으로 단순변심 및 착오로 인한 취소/교환/반품 시

‘해외주문 반품/취소 수수료’ 고객 부담 (해외주문 반품/취소 수수료 : ①양서-판매정가의 12%, ②일서-판매정가의 7%를 적용)

[상품 품절]

공급사(출판사) 재고 사정에 의해 품절/지연될 수 있으며, 품절 시 관련 사항에 대해서는 이메일과 문자로 안내드리겠습니다.

[소비자 피해보상, 환불지연에 따른 배상]

- 상품의 불량에 의한 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은 소비자분쟁해결 기준 (공정거래위원회 고시)에 준하여 처리됩니다.

- 대금 환불 및 환불지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의 소비자 보호에 관한 법률에 따라 처리함.