아마 이 글을 클릭하고 들어온 사람은 파이썬 초보일 것이다.크롤링을 알기전에 몇가지 알아야 할 부분이 있다. 첫번째, 너무 오래된 블로그의 크롤링 소스는 가져와봤자 무용지물이다.예를 들어보면 제목대로 네이버 뉴스를 검색 후 크롤링을 하여 가져온다고 치자. 일일히 검색어를 치고, 클릭을 하여 페이지를 넘겨가며 복사 붙여넣기를 하는 수고로움을 하지 않으려고 하는게 크롤링이다. 그러다 보니 클릭을 해서 다음페이지 넘어가는 것을 "프로그램화" 하여 마치 넘어간거 처럼 만들기 위해 소스코드를 짜는 것이다. 이게 네이버 입장에서는 해킹을 하려고 시도하는 것으로 착각을 할 수 있으니, 보안상 혹은 컴퓨터(서버) 부하에 영향을 미치게 되니 이를 막기위해서 HTLML 소스의 방식을 어느 일정 기간마다 변경을 하고 있다...