4.1.4 정보의 바다, 웹 사이트 크롤링

이미 정리되어 공유되고 있는 외부 데이터뿐만 아니라, 뉴스 기사 제목을 모으거나 어떤 웹 사이트에서 원하는 정보를 자동으로 수집하고 싶다면 흔히 웹 크롤링(web crawling)을 하게 됩니다.

웹 크롤링은 컴퓨터가 웹 사이트에 접속해서 사람이 읽는 것처럼 내용을 훑고 필요한 정보만 뽑아 오는 자동화 방식인데, 겉으로 보기에는 상당히 전문적인 기술처럼 느낄 수 있습니다.

실제로 과거에는 크롤링을 하려면 파이썬(Python) 같은 프로그래밍 언어를 배우거나 엔지니어 도움을 받아야만 했습니다. 코드 한 줄을 쓰기 어려운 사람에게는 그 자체가 높은 장벽이었죠. 게다가 일부 웹 사이트에서는 크롤링을 허용하지 않거나 보안상 제약을 두기도 해서 기술적 고려 사항도 신경 써야 했습니다.

그런데 요즘은 이 모든 과정이 훨씬 더 쉬워졌습니다. 특히 챗GPT를 활용하면, 복잡한 코드를 직접 작성하지 않아도 ‘이러한 데이터를 수집하고 싶다’는 질문만 자연어로 입력하면 그에 맞는 코드를 자동으로 만들어 주는 흐름이 가능합니다.