WaterCrawl

Описание

WaterCrawl — это современная платформа для веб-сканирования и извлечения контента, которая преобразует любой веб-сайт в структурированные данные, готовые для LLM. Созданная для разработчиков, она позволяет пользователям мгновенно сканировать любой сайт с помощью умных управляющих элементов для глубины, доменов и путей, точного извлечения контента с использованием пользовательских селекторов, которые фильтруют рекламу и нижние колонтитулы, а также рендеринга JavaScript для захвата динамического контента и создания скриншотов в формате PDF или JPG.

Помимо сканирования, WaterCrawl включает в себя веб-поисковую систему для получения результатов в реальном времени по всему интернету, автоматическую генерацию карты сайта для отображения всех URL на сайте и встроенную интеграцию с OpenAI для преобразования сырого HTML в структурированные, значимые данные. Она предлагает расширяемую систему плагинов, мониторинг статуса и производительности сканирования в реальном времени через Server-Sent Events и всестороннюю отчетность об ошибках. Проект является открытым исходным кодом под модифицированной лицензией MIT, коммерческое использование в качестве конкурирующей услуги требует разрешения.

Разработчики интегрируют WaterCrawl через чистый REST API с аутентификацией на основе JWT и поддержкой вебхуков, а также официальные SDK для Python, Go, Node.js, PHP и Rust. API поддерживает запуск одиночных или пакетных запросов на сканирование, настройку параметров паука и страниц, потоковую передачу статуса в реальном времени и загрузку результатов в формате JSON или Markdown, а также специализированные конечные точки поиска.

Бесплатный план предоставляет 1,000 кредитов страниц в месяц с прокси-серверами дата-центров и 7-дневным окном хранения данных.

Основные функции WaterCrawl

• Умные управляющие элементы сканирования для глубины, доменов и путей

• Точное извлечение контента с помощью пользовательских селекторов

• Рендеринг JavaScript и скриншоты в формате PDF или JPG

• Встроенная веб-поисковая система с результатами в реальном времени

• Автоматическая генерация карты сайта и отображение сайта

• Обработка на основе ИИ через интеграцию с OpenAI

• Открытый исходный код с расширяемой системой плагинов

• REST API, вебхуки и SDK для нескольких языков

Как использовать WaterCrawl?

1. 1

   Зарегистрируйтесь бесплатно: создайте учетную запись и получите 1,000 кредитов страниц в месяц.

2. 2

   Получите API-ключ: сгенерируйте командный API-ключ на панели управления.

3. 3

   Настройте сканирование: установите начальный URL, глубину, домены и параметры страниц.

4. 4

   Запустите и мониторьте: начните сканирование и отслеживайте прогресс в реальном времени через SSE.

5. 5

   Получите данные: загрузите результаты в формате JSON или Markdown или получите их через вебхук.

Варианты использования WaterCrawl

• Конвейеры данных LLM
• Агрегация контента
• Маркетинговые исследования
• Поисковые системы
• Мониторинг веб-сайтов

Часто задаваемые вопросы WaterCrawl

• Что такое WaterCrawl?

  WaterCrawl — это современная, открытая платформа для веб-сканирования и извлечения контента, которая преобразует веб-сайты в структурированные данные, готовые для LLM, созданная для разработчиков, создающих поисковые системы, инструменты для исследований и конвейеры данных.

• Может ли WaterCrawl обрабатывать страницы, рендеренные с помощью JavaScript?

  Да. WaterCrawl поддерживает рендеринг JavaScript с настраиваемыми временами ожидания для захвата динамического контента и может делать скриншоты в формате PDF или JPG.

• Как мне интегрировать WaterCrawl?

  WaterCrawl предоставляет хорошо документированный REST API с аутентификацией на основе JWT и поддержкой вебхуков, а также официальные SDK для Python, Go, Node.js, PHP и Rust.

• Является ли WaterCrawl открытым исходным кодом?

  Да. WaterCrawl выпущен под модифицированной лицензией MIT. Программное обеспечение может свободно использоваться, модифицироваться и распространяться, хотя коммерческое использование в качестве услуги, аналогичной watercrawl.dev, требует явного разрешения.

• Что включает бесплатный план?

  Бесплатный план включает 1,000 кредитов страниц в месяц, 100 кредитов страниц в день, максимальную глубину сканирования 2, прокси-серверы дата-центров, доступ к API и 7-дневное хранение данных.

• Какие форматы вывода поддерживаются?

  Результаты сканирования могут быть загружены в формате JSON или Markdown, а контент может быть извлечен в таких форматах, как HTML и обычный текст с возможностью включения или исключения ссылок.