크롤링 개념 및 도구 및 스크래핑과 비교
매일 아침 개보위, 과기정통부, KISA 사이트를 둘러보는 게 하루 일과의 시작이였다.그러나 새 글이 뜨는 경우도 있었지만 뜨지 않는 경우도 있다보니 시간 소모가 심해졌다. 그러던 중 크롤링과 스크래핑이란 걸 알게되었고스스로 익혀본 걸 적어보고자 한다.1. 웹크롤링과 웹스크래핑 비교구분웹크롤링웹스크래핑목적여러 웹페이지를 자동으로 탐색원하는 데이터를 추출대상웹사이트의 링크와 페이지페이지 내부의 특정 정보동작링크를 따라 계속 이동현재 페이지에서 필요한 데이터만 수집결과URL 목록, 페이지 수집텍스트, 이미지, 가격, 표 등 데이터대표 도구Scrapy, Selenium, RequestsBeautifulSoup, lxml, Pandas사용 예검색엔진(구글, 네이버)쇼핑몰 가격 비교, 뉴스 제목 수집2. 웹크롤링..