간단한 웹 크롤링 프로그램 만들기 (활용) 크롬

양파 입니다. 

웹 크롤링을 위해 만든 프로그램을 활용하는 방법을 간단히 적어볼까 합니다.

프로그램을 이용하여 크롤링을 하기 위해서는 크롤링해오고자 하는 부분이 웹 코드에서 어떻게 구성되어 있는지를 확인해야 합니다. 간단한 방법은 크롬을 이용하는 것입니다.

 

1. 크롬 개발자 모드로 소스 코드 확인

크롬 웹에서 F12 키를 누르면 개발자 모드로 들어가서 아래와 같은 코드가 나옵니다.

그리고 아래의 빨간색 버튼을 누르고 내가 코드을 알고 싶은 부분에 마우스를 올려 놓으면, 해당 웹 코드로 자동으로 이동(파란색)합니다.

웹 코드 확인하기

아~~~ 내가 얻고자 하는 텍스트는 <li>로 시작해서  </li> 로 끝나는 코드로 되어있구나...라고 확인이 되면,,,

 

2. 웹 코드 크롤링 프로그램에 넣고 실행 

1) 웹페이지의 URL 정보를 입력하고,

2) 시작문구와 끝문구를 넣어주고, 체크박스 선택후

3) 크롤링 시작

크롤링 하기

 

3. 결과 확인

결과

 

참고로 무분별한 크롤링은 문제가 될수 있으니 이점은 조심해야 합니다.