파이썬(Python) 2학년 스크래핑의 구조 성안당/모리 요시나오

데이터 수집이나 해석, 분석에 대해 알기 쉽게 설명!

파이썬은 인공지능의 기초 언어로 배우기 쉬우면서 각종 데이터 분석에 사용되는 프로그래밍 언어로 절정의 인기를 누리고 있다. 기존이 파이썬 책이 선뜻 입문하기 어려운 감이 있었다면 이 책은 염소 박사와 강아지 다솜 양의 친근한 일러스트를 도립해 책 전체가 쉬워보이며 실제로도 코드 설명이나 설치법, 버튼 안내가 큼직큼직한 주제의 만화와 대화체 방식으로 구성하여 매우 쉽게 느껴진다.

인터넷에 공개된 데이터를 수집하는 일을 ‘크롤링(Crawling)’, 이 데이터를 해석해 필요한 데이터를 구하는 일을 ‘스크래핑(Scaping)’이라고 하는데, 파이썬은 인터넷에 액세스할 수 있는 라이브러리가 풍부해 이 두가지 모두 쉽고 편하게 할 수 있는 언어로 널리 알려져 있다. 이 책에서는 스크래핑을 하는 라이브러리 ‘Beautiful Soup4’아 데이터를 분석하는 라이브러리 ‘판다스(pandas)’를 사용해 실제로 파이썬의 핵심 기능에 접근할 수 있도록 한다.

1학년 시리즈 중 독보적인 인기를 누렸던『파이썬 1학년』의 인기에 힘입어 『파이썬 2학년 데이터 분석 구조』가 나왔고 이 책이 원서로는 2학년 시리즈중 먼저 나왔으나 번역자 이영란 박사가 국내 사정에 맞게 코드나 사이트를 정리하여 이번에 선보이게 되었다.

이 책의 예제 코드와 함께 홈페이지 회원들에게만 제공하는 회원특전 PDF는 예제와 라이브러리 사용법 간이 매뉴얼로 성안당 홈페이지(www.cyber.co.kr) [도서몰]에 회원가입 후 [자료실]-[자료실] 바로가기에서 도서 검색을 통해 다운로드할 수 있다.

저자소개

들어가며
이 책의 예제 테스트 환경 며
이 책의 대상 독자와 2학년 시리즈에 대해
이 책을 보는 법
예제 파일과 회원 특전 PDF의 다운로드에 대해


제1장 파이썬으로 데이터를 다운로드

LESSON 01 스크래핑이 뭘까?
크롤링과 스크래핑
주의해야 할 점도 있다
robots.txt란?

LESSON 02 파이썬을 설치해 보자
윈도에 설치하는 방법
macOS에 설치하는 방법

LESSON 03 requests로 액세스해 보자
라이브러리 설치 방법
HTML 파일을 읽어 들이는 프로그램
IDLE을 시작하자
프로그램을 만들어 보자
텍스트 파일에 쓰기: open, close
텍스트 파일에 쓰기: with문


제2장 HTML을 해석해 보자

LESSON 04 HTML을 해석해 보자
Beautiful Soup 설치하기
Beautiful Soup로 해석하기
태그를 찾아 표시하기
모든 태그를 찾아 표시하기
id나 class로 검색 범위 좁히기

LESSON 05 최신 뉴스 기사 목록을 구해 보자
디벨로퍼 툴을 사용해 범위를 좁히자

LESSON 06 링크 목록을 파일로 출력해 보자
모든 링크 태그의 href 속성 표시하기
모든 링크 태그의 href 속성을 절대 URL로 표시하기
링크 목록 자동 작성 프로그램

LESSON 07 이미지를 한꺼번에 다운로드해 보자
이미지 파일을 읽어 들여 저장하기
다운로드용 폴더를 만들어 저장하기
모든 img 태그의 이미지 파일 URL을 표시한다
페이지 안 이미지를 한꺼번에 다운로드하는 프로그램


제3장 표 데이터를 읽고 쓰자

LESSON 08 pandas를 사용해 보자
pandas 설치하기
표 데이터란?
CSV 파일 읽어 들이기
열, 행 데이터 표시하기
열, 행 데이터 추가하기
열, 행 데이터 삭제하기

LESSON 09 다양한 데이터 가공
필요한 정보 추출하기
데이터 집계하기
데이터 정렬하기
행과 열 바꾸기
CSV 파일로 출력하기

LESSON 10 그래프로 표시해 보자
matplotlib 설치하기
그래프로 표시하기
다양한 종류의 그래프 표시하기
개별 데이터를 그래프로 표시하기
막대 그래프를 이미지 파일로 출력하기

LESSON 11 엑셀 파일을 읽고 써 보자
openpyxl 설치하기
엑셀 파일로 출력하기
엑셀 파일 읽어 들이기

제4장 오픈 데이터를 분석해 보자

LESSON 12 오픈 데이터란?
오픈 데이터는 보물섬

LESSON 13 우체국: 우편번호 데이터
CSV 파일 읽어 들이기
데이터 추출하기

LESSON 14 e-나라지표: 국정모니터링지표
CSV 파일 읽어 들이기
데이터를 그래프로 표시하기

LESSON 15 기상자료개방포털: 기상청 날씨 데이터 서비스
CSV 파일 읽어 들이기
데이터를 그래프로 표시하기

LESSON 16 공공데이터포털: 지방자치단체 데이터
CSV 파일(소방서) 읽어 들이기
folium 설치하기
소방서를 지도에 표시하기
CSV 파일(음식점) 읽어 들이기
가게를 지도에 표시하기

제5장 웹 API로 데이터를 수집하자

LESSON 17 웹 API란?
다른 컴퓨터의 기능 이용하기

LESSON 18 OpenWeatherMap이란?
OpenWeatherMap 사이트 이용 순서
OpenWeatherMap 이용하기

LESSON 19 현재 날씨를 조사하자
도시명을 지정해 날씨 알아보기
JSON이란?
JSON 데이터 형식
JSON 데이터를 읽어 들이는 방법
우편번호를 지정해 날씨 알아보기

LESSON 20 오늘부터 5일 동안(3시간 간격)의 날씨 알아보기
5일 동안의 날씨를 구해 보자
UTC(협정 세계시)를 KST(한국 표준시)로 변환
5일 동안의 기온을 그래프로 표시해 보자
한 걸음 더

찾아보기