파이썬 크롤링 도구

 

크롤링을 하다보면 다양한 라이브러리를 사용합니다.

 

beautifulSoup, Selenium, Scrapy를 주로 사용하는데

 

beautifulSoup

 

장점 - 매우 배우기 쉽습니다.

단점 - 기능에 제한적입니다. 단순하게 웹 페이지의 html을 가져와서 원하는 정보를 뽑아내는 수준입니다.

 

Selenium

 

장점 - 브라우저를 직접 띄워서 사용하기 때문에, 여러 작업을 시킬 수 있습니다.

단점 - 브라우저 직접 띄워서 느립니다.

 

Scrpay

 

장점 - 다양한 플러그인을 통해서 좀 더 효율적인 크롤링 작업을 할 수 있습니다.

단점 - 배우기 어렵습니다.

 

 

개인적으로는

 

beautifulSoup - 크롤링 연습용

Selenium - 가져와야 하는 데이터 양이 적은 서비스

Scrpay - 대용량 데이터 처리

 

정도로 정리할 수 있을 것 같습니다.