본문으로 건너뛰기
목차 VORA VORA Guide

URL 크롤링

웹페이지 내용을 통째로 가져와요

URL 크롤링 도구란?

특정 웹페이지의 본문을 텍스트로 가져오는 도구에요.

URL을 입력하면 해당 웹페이지의 본문 내용을 텍스트 형태로 가져와주는 도구입니다.

단순 텍스트 추출을 넘어, 페이지 화면을 직접 보고 분석하는 비전 분석 기능도 제공해요. 다른 크롤링 도구에서는 찾기 어려운 기능이에요.

주요 기능

  • 빠른 분석: 일반 텍스트 크롤링 기능으로 페이지 본문을 빠르게 텍스트로 추출해요.
  • 비전 분석: 페이지를 텍스트가 아니라 화면 그대로 보고 분석해서, 중요한 정보를 누락 없이 정확하게 추출해요. 요청에 "비전분석"을 붙이면 사용할 수 있어요.

어떤 상황에서 사용할 수 있나요?

URL 크롤링 도구는 다음과 같은 상황에서 특히 유용합니다.

  • 웹페이지의 전체 내용을 텍스트로 받고 싶을 때
  • 여러 웹페이지의 내용을 통합 분석하고 싶을 때
  • 웹 콘텐츠를 데이터로 활용하고 싶을 때
  • 공유받은 링크의 내용을 파악하고 싶을 때

예를 들어, 사용자는 "https://www.example.com 이 웹페이지 내용 전체 긁어와줘", "https://example.com/article 이 페이지 내용 가져와줘", "https://en.wikipedia.org/wiki/AI 이 페이지 본문 추출해줘"처럼 자연스럽게 요청할 수 있습니다. 그러면 AI가 이 도구를 사용해 결과를 만들어줍니다.

어떻게 사용하나요?

사용 방법은 간단합니다. 입력창에 다음과 같은 형식으로 자연스럽게 요청해 주세요.

URL + [내용 가져오기 · 추출 · 크롤링 표현]

상황별 사용 예시는 다음과 같습니다.