URL 发现与调度
按站点、栏目和更新时间管理采集边界。
WEB TEXT & DOCUMENT SCRAPING
公开网页与文档持续采集代理
面向 Scrapy、requests、Playwright、Selenium 与内部爬虫，以高带宽代理承载规模化采集，并按地区需求补充住宅代理。
Scrapy / requestsPlaywright / Selenium高带宽主链路住宅地区补充
文本与文档采集任务采集就绪
全网文本与文档方案123Proxy data network
新闻与博客ARTICLE
论坛与社区DISCUSSION
公开文档DOCUMENT
PDF 文件PDF
URL 队列FRONTIER
代理策略PROXY
解析节点WORKERS
主链路高带宽
地区补充住宅代理
数据结果结构化文本
高带宽大规模网页与文档
190+住宅国家和地区
SESSION连续地区会话
标准协议Scrapy / 浏览器接入
01 / 数据类型
HTML、浏览器页面与 PDF 文档
网页数量、文档体积、页面渲染和地区差异决定代理选择，不能只用单一请求成功率评价。
HTML 与文档下载
区分轻量网页、PDF 和其他公开文档的传输方式。
地区与本地内容
需要本地化结果时使用可指定国家或地区的住宅代理。
解析与去重
抽取正文、字段和文档关系，过滤重复与低质量内容。
02 / 采集任务
新闻、论坛、博客与公开文档
高带宽代理承载大规模网页和文档下载，住宅代理提供明确的国家或地区出口。
新闻与博客语料
按站点和时间持续发现、抓取并抽取公开文章。
论坛与公开讨论
保持主题、分页和回复关系，控制抓取节奏。
PDF 与公开文档
下载文档并保存来源、版本、格式和文本解析结果。
03 / 运行链路
URL 队列、代理策略与解析节点
轻量 HTML、浏览器页面和 PDF 文档使用独立队列与代理配置。
01
建立站点与 URL 边界
记录公开来源、栏目、更新时间和允许抓取范围。
02
按任务选择代理
大规模下载使用高带宽代理，地区内容使用住宅代理。
03
分层抓取与解析
HTML、浏览器页面和文档进入不同工作队列。
04
去重并保存来源
输出正文、字段、时间、来源和质量状态。
Data scraping architecture123Proxy network
URL 队列FRONTIER
代理策略ROUTE
解析节点WORKERS
文本语料OUTPUT
主链路高带宽代理
地区补充住宅代理
验收单位有效文档
04 / 推荐代理
高带宽代理下载，住宅代理定向
网页和文档主链路使用高带宽代理；本地化搜索、新闻和地区内容使用隧道住宅代理。
高带宽代理 IP
高带宽代理不限流量10Gbps+ 单项目能力住宅代理覆盖 190+ 国家和地区住宅代理支持地区与 SESSION
大规模下载高带宽代理 IP网页、PDF 与公开文档的主采集链路
地区定向隧道住宅代理鉴权指定国家或地区与 SESSION
成本口径项目制 + 按流量按任务拆分高带宽与住宅用量
接入方式HTTP(S) / SOCKS兼容 Scrapy、requests 与浏览器工具
05 / 运行指标
文本与文档运行指标
监控有效文档数、抓取与解析成功率、地区匹配率、重复率和来源字段完整性。
- 有效文档数
- 通过正文长度、语言和质量规则的文档数
- 抓取成功率
- 成功获取 HTML 或文件的 URL 比例
- 解析成功率
- 成功抽取正文和必要字段的文档比例
- 地区匹配率
- 需要定向时出口与目标国家或地区一致的比例
- 重复率
- URL、内容指纹或语义规则识别出的重复比例
- 来源完整性
- 保留 URL、时间、站点与版本信息的文档比例
项目带宽以聚合容量提供；目标响应、对象大小、并发、工作节点和存储会影响实际吞吐。
06 / 接入代码
Scrapy、requests 与 Playwright 代理配置
按站点、HTML、浏览器页面和文档下载队列配置标准代理。
按站点队列配置代理保留来源 URL 与抓取时间将抓取成功与解析成功分开统计
Python / Scrapy request接入示例
import scrapy
proxy = "http://user:pass@proxy.123proxy.cn:9000"
request = scrapy.Request(
"https://target.example/public-document",
meta={"proxy": proxy},
cb_kwargs={"source": "public-web"},
)07 / FAQ
技术与使用常见问题
代理选择、工具接入、下载性能、失败重试与数据完整性。
文本与文档任务为什么不只推荐住宅代理？
大规模网页和文档下载的主要瓶颈通常是带宽与总传输成本，因此高带宽代理更适合作为主链路。只有明确依赖国家或地区身份时才补充住宅代理。
住宅代理可以指定哪些位置？
隧道住宅代理覆盖 190+ 国家和地区，可在鉴权中指定国家或地区与 SESSION。具体可选位置以控制台为准。
遇到 403、429 或 503 应如何处理？
先读取响应和重试提示，按站点设置并发、延迟、指数退避与失败上限，再用代表性任务评估代理池。代理不应被用来绕过登录、验证码或访问控制。
页面需要 JavaScript 渲染怎么办？
可使用 Playwright 等浏览器工具并配置标准代理。浏览器会并行加载多种资源，应单独评估节点性能、页面完成时间和带宽。
PDF 和 HTML 应使用同一队列吗？
不建议。PDF 体积、超时和校验方式与 HTML 不同，应拆分队列并使用不同并发、超时和重试参数。
是否包含正文解析与去重？
标准代理方案不包含业务解析。正文抽取、语言识别、去重和质量过滤由客户数据管道负责，项目制服务需单独确认。
如何判断地区定向是否必要？
使用不同地区进行小规模对比，观察页面内容、搜索结果、可见字段或返回状态是否变化，再决定是否使用住宅代理。
分布式 Scrapy 集群如何配置代理？
各爬虫节点可接入同一项目网关，并按站点或队列使用不同 SESSION。并发、延迟、超时和重试应在爬虫侧按域名控制，最终以有效文档吞吐评估单项目容量。
如何控制抓取节奏？
按站点配置并发、延迟、超时和重试，遵守 robots、服务条款和合理访问边界，不应以代理绕过访问控制。
应如何保存数据来源？
建议为每个文档保留原始 URL、站点、抓取时间、内容版本、地区策略和处理状态，便于审计与数据治理。