requests - самый популярный способ выполнения HTTP-запросов в Python. Интеграция прокси Catproxy невероятно проста.
Базовая настройка
Чтобы использовать наши прокси, вам достаточно создать словарьproxies и передать его в запрос. Словарь должен содержать ключи http и https.
basic_setup.py
Практический пример: Парсинг цен на игры в Steam
Давайте решим реальную задачу: проверим цену популярной игры, например Counter-Strike 2, в разных регионах. Многие интернет-магазины используют региональное ценообразование, и прокси - единственный способ увидеть то, что видят локальные пользователи. В этом примере мы проверим цену в США и Турции, динамически изменяя параметр -country в имени пользователя.Для этого примера потребуются
requests и BeautifulSoup4. Установите их командой pip install requests beautifulsoup4.steam_scraper.py
Ожидаемый результат
Запуск этого скрипта выдаст результат, аналогичный следующему:Terminal