net/http путем настройки пользовательского http.Transport.
Базовая настройка
Ключ к использованию прокси с аутентификацией в Go - создание пользовательскогоhttp.Client с Transport, в котором установлено поле Proxy.
basic_setup.go
Пример из реальной практики: парсинг заголовков Hacker News
Давайте создадим простое, но эффективное приложение на Go для парсинга заголовков лучших историй с главной страницы Hacker News (news.ycombinator.com). Это классическая цель для парсинга.
Этот пример демонстрирует, как создать повторно используемую функцию для парсинга, что позволяет легко адаптировать ее для других целей. Мы будем работать с Hacker News так, как будто находимся в Великобритании (GB).
В этом примере используется пакет
goquery для удобного парсинга HTML, аналогичного jQuery. Установите его командой:
go get github.com/PuerkitoBio/goqueryhn_scraper.go
Как запустить
- Убедитесь, что у вас установлен Go.
- Установите пакет
goquery:go get github.com/PuerkitoBio/goquery - Сохраните код как
hn_scraper.go. - Запустите из терминала:
go run hn_scraper.go
Ожидаемый результат
Terminal