视频与多模态
大文件、分片与字幕需要持续吞吐和可靠重试。
AI DATA SCRAPING INFRASTRUCTURE
AI 数据采集的不限流量高带宽代理
为视频、图片、代码、文本与文档采集提供不限流量、10Gbps+ 单项目带宽和定制代理池。
requests / Scrapy / Playwrightyt-dlp / img2dataset不限流量10Gbps+ 单项目带宽
AI 数据任务管道带宽就绪
AI 数据方案123Proxy data network
视频与音频MULTIMODAL
图片数据集IMAGE CORPUS
公开代码CODE LLM
文本与文档WEB CORPUS
公开数据源SOURCE
123ProxyPROXY
采集集群WORKERS
项目带宽10Gbps+
计费方式不限流量
代理资源按目标定制
10Gbps+单项目带宽能力
不限流量长期任务成本可控
定制代理池按目标站点配置
7x24企业技术支持
01 / 数据类型
视频、图片、代码与文本，对应不同下载负载
高带宽代理承担大规模下载；内容依赖国家或地区时，补充隧道住宅代理。
图片数据集
海量小对象要求高并发、去重和失败补采。
公开代码数据
仓库对象、归档与历史版本同时消耗连接和带宽。
文本与文档
网页、PDF 与公开文档需要兼顾吞吐、地区和内容完整性。
02 / 采集任务
五类 AI 数据采集任务
选择数据类型，查看推荐代理、接入工具、下载链路和生产指标。
03 / 运行链路
公开数据源、代理网络、采集集群与客户存储
采集程序通过标准代理接入，由任务队列管理下载、重试、校验和写入。
01
定义数据边界
明确公开数据源、数据类型、使用权限与目标规模。
02
建立代表性样本
选择真实 URL，测量响应大小、成功率和重试。
03
设计代理与并发
按目标站点配置代理池、带宽和工作节点。
04
按有效产出扩容
监控写入存储的数据量，而不是只看请求峰值。
Data scraping architecture123Proxy network
公开数据SOURCE
代理网络ROUTE
采集集群WORKERS
客户存储OUTPUT
单项目容量10Gbps+
成本模型不限流量
交付边界代理基础设施
04 / 推荐代理
AI 数据采集主链路：高带宽代理 IP
大规模下载使用不限流量高带宽代理；需要国家或地区身份的页面发现任务补充隧道住宅代理。
高带宽代理 IP
不限流量，不按累计 GB 计费10Gbps+ 单项目带宽能力按目标站点定制代理池支持 HTTP(S) 与 SOCKS 接入
核心产品高带宽代理 IP不限流量、项目级带宽与定制代理池
项目带宽10Gbps+ 聚合能力支持多节点并行下载
接入方式HTTP(S) / SOCKS兼容现有采集程序与下载工具
地区补充隧道住宅代理需要指定国家或地区时按流量使用
05 / 运行指标
生产运行指标
同时监控有效数据吞吐、成功率、重试、完整性和批次完成时间。
- 有效数据吞吐
- 单位时间成功写入存储的数据量
- 任务成功率
- 成功对象数 / 计划对象数
- 重试放大
- 总请求量相对首次请求量的增幅
- 内容完整性
- 文件大小、校验值、字段与关联关系
- 完成周期
- 从任务开始到计划数据全部落盘
- 代理效率
- 有效数据量相对代理传输与工作节点成本
项目带宽以聚合容量提供；目标响应、对象大小、并发、工作节点和存储会影响实际吞吐。
06 / 接入代码
requests、Scrapy、Playwright 与下载器直接接入
将项目代理网关配置到现有采集程序，继续使用原有任务队列、解析和存储流程。
标准 HTTP(S) / SOCKS 接入显式设置超时、重试与断点策略按任务记录有效数据吞吐
Python / streaming download接入示例
import requests
proxy = "http://user:pass@proxy.123proxy.cn:9000"
proxies = {"http": proxy, "https": proxy}
with requests.get(
"https://target.example/public-object",
proxies=proxies,
timeout=60,
stream=True,
) as response:
response.raise_for_status()
with open("object.bin", "wb") as output:
for chunk in response.iter_content(1024 * 1024):
output.write(chunk)07 / FAQ
技术与使用常见问题
代理选择、工具接入、下载性能、失败重试与数据完整性。
高带宽代理适合哪些 AI 数据任务？
适合视频、音频、图片、代码归档、网页和公开文档等大规模下载任务，尤其适用于长期运行和传输量大的采集集群。
为什么所有场景都优先推荐高带宽代理？
视频、图片、代码归档和文档进入规模化下载后，带宽与按 GB 成本通常先成为瓶颈。高带宽代理用不限流量、项目级带宽与定制代理池解决这一层问题。
10Gbps+ 是否代表单个请求可以达到该速度？
不是。10Gbps+ 指单项目的聚合容量能力。单个请求速度受目标站点、对象大小、连接、地区、并发和客户端性能共同影响。
是否提供数据采集与交付服务？
可以按企业项目提供公开数据采集、解析、质量检查与交付。标准高带宽代理产品主要提供代理网络、代理池与项目带宽。
什么时候需要住宅代理？
当目标内容与国家或地区、住宅网络身份或本地化页面相关时，可补充隧道住宅代理。纯大规模下载仍应先评估高带宽代理。
如何开始容量测试？
准备代表性 URL、数据类型、平均对象大小、预计规模、完成周期、并发方式和现有工具，即可评估代理池与带宽。
是否支持浏览器采集？
支持标准代理协议，可用于 Playwright 等浏览器工具。浏览器会并行加载页面资源，应单独观察工作节点 CPU、内存、页面完成时间和带宽利用率。
合规边界如何处理？
仅应采集依法可访问且具有合理使用依据的公开数据，并遵守目标服务条款、知识产权、隐私和适用法律。