6 - url 링크 찾아내서 크롤링

이번에는 url링크를 찾아내서 크롤링 하는 방법을 알아보겠습니다.

 

이번에는 동아일보 홈페이지로 갑니다

http://www.donga.com/news/List/Enter/?p=1&prod=news&ymd=&m=

 

이 사이트도 url의 패턴을 알아낼 수도 있기는 한데, 이번에는 다른 방법을 사용해보겠습니다.

 

div page 아래의 a태그들을 다 찾습니다.

 

이렇게 받아올 수 있고 얘를 좀 더 가공하면

 

이렇게 됩니다. 그 다음 제목만 찾으면 되는데

 

그 다음에 이 2개의 코드를 합쳐주면 됩니다.

 

이렇게 하면 끝 :)