URLクローリング
Webページの内容を、まるごと取得
URLクローリングツールとは？
特定のWebページの本文をテキストとして取得するツールです。
URLを入力すると、そのWebページの本文内容をテキスト形式で取得してくれるツールです。
単純なテキスト抽出にとどまらず、ページの画面を実際に見て分析するビジョン分析機能も提供します。他のクローリングツールにはあまりない機能です。
主な機能
- クイック分析: 一般的なテキストクローリング機能で、ページの本文を素早くテキストで抽出します。
- ビジョン分析: テキストではなく画面をそのまま見て分析し、重要な情報を漏れなく正確に抽出します。リクエストに「ビジョン分析」を付けるだけで使えます。
どんなときに使えますか？
URLクローリングツールは、こんなときに特に役立ちます。
- Webページの全内容をテキストで受け取りたいとき
- 複数のWebページの内容を統合分析したいとき
- Webコンテンツをデータとして活用したいとき
- 共有されたリンクの内容を把握したいとき
たとえば、「https://www.example.com このWebページの内容を全部取ってきて」「https://example.com/article このページの内容を取得して」「https://en.wikipedia.org/wiki/AI このページの本文を抽出して」といった自然な形でリクエストできます。すると、AIがこのツールを使って結果を生成します。
使い方
使い方は簡単です。入力欄に次のような形で自然にリクエストしてください。
URL + [内容取得・抽出・クローリングの表現]
シチュエーション別の使用例は次のとおりです。
- 全本文: 「https://www.example.com このWebページの内容を全部取ってきて」
- 記事抽出: 「https://example.com/article このページの内容を取得して」
- Wiki本文: 「https://en.wikipedia.org/wiki/AI このページの本文を抽出して」
- コンテンツ収集: 「https://example.com このサイトの内容をクローリングして」
- ビジョン分析: 「https://www.example.com このページの見出し内容をビジョン分析で教えて」