带重试和代理的 Requests 爬虫模板

用途 / 功能

需要批量抓取网页数据，且目标站点有反爬机制（如限制频率、封 IP）时使用。

简介

一个健壮的 HTTP 请求封装，支持自动重试、代理轮换和 User-Agent 池，防止反爬。

代码预览

使用说明

1. 安装依赖：pip install requests urllib3\n2. 按需修改 PROXY_POOL 和 USER_AGENTS 列表\n3. 创建 RobustRequester 实例，并调用 get/post 方法\n4. 可传入 headers、params、cookies 等参数，会自动合并或覆盖\n5. 默认启用重试和代理轮换，可通过构造参数调整

依赖环境

requests, urllib3