Перейти к основному содержанию
Axios - это основанный на промисах HTTP-клиент для Node.js и браузера. Интеграция прокси Catproxy проста и требует лишь передачи объекта конфигурации proxy вместе с запросом.

Базовая настройка

Чтобы направлять запросы через наш шлюз, необходимо указать host, port и auth в объекте proxy.
Вам потребуется установить axios в проект: npm install axios
basic_setup.js

Практический пример: Парсинг данных сабреддита через Reddit API

Распространенная задача - сбор структурированных данных из публичных API. Давайте используем Axios для парсинга данных из JSON API Reddit на примере релевантного сабреддита: /r/webscraping. Reddit, как и многие другие сайты, может показывать разный контент или рекламу в зависимости от географии. Мы проверим “горячие” посты из США и Великобритании (GB), чтобы продемонстрировать эту возможность. В этом примере показано, как создать повторно используемую функцию для динамического изменения страны прокси для каждого запроса.
reddit_scraper.js

Ожидаемый результат

Запуск этого скрипта выдаст результат, аналогичный следующему:
Terminal
(Примечание: контент Reddit может незначительно отличаться между США и GB, но это демонстрирует техническую возможность) Этот пример показывает, как создать гибкий парсер с помощью Axios и Catproxy, позволяя повторно использовать логику парсинга, динамически изменяя параметры прокси для каждого целевого запроса.