웹 크롤링 정리

[ 크롤링 ]

인터넷에 존재하는 데이터를 컴퓨터 프로그램을 통해서 자동화된 방법을 사용해 수집하는 작업 // 스크랩핑
+
"분류"

= "크롤링"

웹 데이터를 자동으로 수집, 분류, 저장
프로그램 언어를 문법에 맞게 분석하는 것 == 웹페이지의 코드를 사용자가 원하는 형식으로 추출하여 정보를 생성 == "가공"
 = [ 파싱 ] -> 파서가 수행

[ Jsoup ]
자바로 만들어진 HTML Parser
HTML(마크업 요소)을 분석할수 있음
크롤링 가능여부, 설정사항을 ~~~(페이지주소)/robots.txt 로 볼 수 있음


[ HTML ]
~ML : 마크업 언어 -> <> 사용한다!
<>여는태그 </>닫는태그 쌍을이룸
<> 요소 element