持续吞吐
用项目级带宽承载大对象和长时间下载。
VIDEO & MULTIMODAL DATA SCRAPING
公开视频、音频与字幕批量下载代理
为 yt-dlp、cURL、requests 与内部下载器提供不限流量、10Gbps+ 单项目带宽和定制代理池。
yt-dlp / curl / requests重试 / Sticky Session不限流量10Gbps+ 单项目带宽
多模态下载任务下载就绪
视频与多模态数据方案123Proxy data network
视频对象MEDIA
音频轨道AUDIO
字幕文件SUBTITLE
公开元数据METADATA
任务清单MANIFEST
高带宽代理PROXY
下载节点WORKERS
项目带宽10Gbps+
流量方式不限流量
数据交付客户存储
10Gbps+单项目聚合能力
不限流量适合大对象下载
定制代理池按目标站点配置
可恢复重试与断点策略
01 / 数据类型
大文件、分片与失败重传
大对象、分片、字幕和元数据需要保持关联；失败重试还会放大流量和完成时间。
失败重试
为超时、连接中断和对象失效设计可恢复队列。
对象关联
保持视频、音频、字幕与元数据的任务关系。
成本可预测
不限流量减少数据规模增长带来的按 GB 压力。
02 / 采集任务
视频、音频、字幕与元数据
支持大文件持续下载、分片重试和媒体对象关联。
公开视频语料
批量下载公开视频对象及其公开描述信息。
字幕与音频语料
同步获取字幕、音轨和时间信息，保持对象关联。
短视频与片段
高对象数量与较小文件并存，需要稳定并发和去重。
03 / 运行链路
任务清单、下载节点与对象存储
代理网关连接下载节点，失败对象进入重试队列，完整媒体写入客户存储。
01
生成公开对象清单
记录来源、对象标识、媒体类型和期望文件。
02
按站点分配代理池
结合目标响应、地区和限速策略配置资源。
03
并行下载与断点恢复
下载节点执行超时、重试和分片恢复。
04
校验后写入存储
核对大小、格式、字幕和元数据关联。
Data scraping architecture123Proxy network
任务清单MANIFEST
代理池ROUTE
下载节点WORKERS
对象存储OUTPUT
主代理高带宽代理
计费优势不限流量
验收单位完整对象
04 / 推荐代理
视频下载主链路使用高带宽代理
不限流量代理承载媒体下载和失败重传；公开视频列表存在地区差异时，使用住宅代理发现页面。
高带宽代理 IP
不限流量，不按累计 GB 计费10Gbps+ 单项目带宽能力按目标站点定制代理池支持 HTTP(S) 与 SOCKS 接入
核心产品高带宽代理 IP不限流量、项目级带宽与定制代理池
项目带宽10Gbps+ 聚合能力支持多节点并行下载
接入方式HTTP(S) / SOCKS兼容现有采集程序与下载工具
地区页面住宅代理补充用于需要国家或地区身份的公开列表发现
05 / 运行指标
视频下载运行指标
监控完整对象数、有效吞吐、首轮成功率、重试流量和批次完成时间。
- 完整对象数
- 视频、音频、字幕和元数据全部校验通过
- 有效吞吐
- 成功落盘字节 / 实际运行时间
- 首轮成功率
- 无需重试即可完成的对象比例
- 重试流量
- 失败重传产生的额外传输量
- 对象关联
- 媒体、字幕与元数据是否正确绑定
- 批次完成时间
- 计划任务全部完成所需时间
项目带宽以聚合容量提供；目标响应、对象大小、并发、工作节点和存储会影响实际吞吐。
06 / 接入代码
yt-dlp、cURL 与 requests 代理配置
将高带宽代理配置到现有下载工具；需要出口连续性时使用项目 SESSION 参数。
按任务分配 SESSION显式设置重试与分片重试保存对象元数据与校验结果
yt-dlp / public media接入示例
yt-dlp \
--proxy "http://user:pass@proxy.123proxy.cn:9000" \
--write-info-json \
--write-subs \
--retries 8 \
--fragment-retries 20 \
"https://target.example/public-video"07 / FAQ
技术与使用常见问题
代理选择、工具接入、下载性能、失败重试与数据完整性。
yt-dlp 返回 429 或 403 怎么办？
先检查目标响应与 Retry-After，降低单站点并发并设置退避和失败上限；再按任务分配不同 SESSION，避免所有下载集中在同一出口。代理不能替代平台授权或绕过访问控制。
出现 ECONNRESET 或 fragment 下载中断怎么办？
为 yt-dlp 设置 --retries 与 --fragment-retries，并在任务层记录失败对象后重跑。若目标支持 Range，可再验证断点续传；持续失败时应检查目标响应、客户端连接和代理链路。
视频方案是否包含视频解析与下载程序？
核心交付是代理基础设施与容量方案。客户可继续使用现有下载工具或内部程序；需要项目制开发和数据交付时需单独确认范围。
为什么视频任务适合不限流量？
视频对象体积大，失败重传也会放大传输量。不限流量模式更适合长期、大规模下载并提高预算可预测性。
10Gbps+ 是单文件下载速度吗？
不是。它指单项目聚合容量。单文件速度取决于目标服务、连接、地区、对象大小和客户端性能。
可以下载任意平台内容吗？
不可以。只能处理依法可访问并具有合理使用依据的公开内容，同时应遵守目标平台条款、知识产权和隐私要求。
字幕、音频与元数据如何保持关联？
应在任务清单中使用稳定对象标识，并在写入存储前校验媒体、字幕、音轨和元数据关系。代理层不替代该业务逻辑。
什么时候需要住宅代理？
当公开视频列表、搜索结果或页面内容存在国家或地区差异时，可用住宅代理完成发现；大对象下载主链路仍优先高带宽代理。
下载过程中是否可以保持同一出口 IP？
可按项目配置使用 Sticky Session，尽量让同一下载任务保持出口连续性。实际保持时长和连接恢复行为应结合目标服务、下载器及项目参数测试。
如何做 PoC？
选择一组代表性视频、字幕和音频对象，记录对象大小、成功率、重试量、有效吞吐与完成时间。
是否支持断点续传？
代理协议可以承载支持 Range 的请求，但是否可断点续传取决于目标服务和下载工具。应在 PoC 中验证。