仓库与分支
按仓库、默认分支和更新时间组织公开项目清单。
PUBLIC CODE DATA SCRAPING
公开代码仓库与归档持续同步代理
面向 git clone、源码归档、GitHub REST / GraphQL API 与增量同步，以不限流量和项目级带宽支撑长期代码数据任务。
git clone / 源码归档REST / GraphQL API不限流量10Gbps+ 单项目带宽
公开代码同步任务同步就绪
公开代码数据方案123Proxy data network
公开仓库REPOSITORY
源码归档ARCHIVE
历史对象COMMITS
代码文件SOURCE
仓库清单MANIFEST
高带宽代理PROXY
同步节点WORKERS
项目带宽10Gbps+
传输方式不限流量
接入协议Git / HTTP
不限流量适合仓库长期同步
10Gbps+单项目聚合能力
定制代理池按代码来源配置
可恢复归档与对象级重试
01 / 数据类型
仓库、归档、历史与大文件对象
仓库发现、归档下载、历史对象和大文件具有不同传输特征，应拆分队列和验收口径。
归档与历史
区分源码归档、提交历史和大文件对象的下载策略。
增量同步
根据更新时间或对象标识同步变化，避免重复全量下载。
边界与许可
记录来源、许可证和公开访问依据，支持后续数据治理。
02 / 采集任务
代码仓库批量下载与增量同步
支持公开仓库、源码归档、提交历史和大文件对象的持续传输。
公开仓库镜像
批量同步公开仓库、默认分支和源码归档。
历史对象研究
获取提交、树和对象历史，保留时间与关联。
增量代码语料
按更新时间发现变化，只同步新增或变更对象。
03 / 运行链路
仓库清单、同步节点与代码存储
同步节点通过代理下载归档或 Git 对象，失败任务按仓库或对象重试。
01
建立公开仓库清单
记录来源、仓库标识、分支、更新时间和许可信息。
02
选择归档或 Git 策略
按是否需要历史、对象关系和大文件选择方式。
03
并行同步与对象重试
按来源限制并发，失败时重跑仓库或对象。
04
解析、去重与许可处理
网络下载完成后再进入代码清洗和数据治理。
Data scraping architecture123Proxy network
仓库清单MANIFEST
代理池ROUTE
同步节点WORKERS
代码存储OUTPUT
主代理高带宽代理
同步方式Git / HTTP
验收单位仓库 / 对象
04 / 推荐代理
代码归档与历史对象使用高带宽代理
不限流量适合长期仓库同步，定制代理池可按代码托管来源分配连接与带宽。
高带宽代理 IP
不限流量，不按累计 GB 计费10Gbps+ 单项目带宽能力按目标站点定制代理池支持 HTTP(S) 与 SOCKS 接入
核心产品高带宽代理 IP不限流量、项目级带宽与定制代理池
项目带宽10Gbps+ 聚合能力支持多节点并行下载
接入方式HTTP(S) / SOCKS兼容现有采集程序与下载工具
05 / 运行指标
代码同步运行指标
监控仓库完成率、引用与对象完整性、重试量、有效吞吐和增量延迟。
- 仓库成功率
- 按计划完成同步的公开仓库比例
- 对象完整性
- 引用、树、提交和文件对象是否齐全
- 有效传输
- 成功落盘的归档与对象字节数
- 增量效率
- 新增或变化对象相对总传输量的比例
- 失败恢复
- 超时、限速或中断后恢复成功的任务比例
- 许可记录率
- 具有来源和许可证字段的仓库比例
项目带宽以聚合容量提供；目标响应、对象大小、并发、工作节点和存储会影响实际吞吐。
06 / 接入代码
Git、REST 与 GraphQL 代理配置
源码归档和 API 请求使用 HTTP 代理，git clone 可通过 Git 代理配置接入。
按来源控制并发与重试归档和历史对象使用不同队列记录来源、时间与许可证
Git / public repository接入示例
git \
-c http.proxy="http://user:pass@proxy.123proxy.cn:9000" \
clone \
--filter=blob:none \
"https://target.example/public/repository.git"07 / FAQ
技术与使用常见问题
代理选择、工具接入、下载性能、失败重试与数据完整性。
git clone 出现 RPC failed、curl 56、EOF 或 SSL 错误怎么办？
先记录仓库大小和失败阶段，使用 --filter=blob:none、浅克隆或归档下载降低单任务体积，并在仓库粒度设置超时与重试。持续失败时应分别检查目标服务、Git 客户端与代理链路。
公开代码方案是否只支持 GitHub？
不是。页面面向依法可访问的公开代码托管、仓库归档和 HTTP 对象。具体目标应通过代表性仓库验证协议、限速和对象完整性。
可以采集私有仓库吗？
本方案不提供绕过访问控制的能力。私有仓库必须由客户拥有合法授权并自行提供合规凭据。
为什么代码任务需要不限流量？
长期同步仓库、归档、历史对象和大文件会产生持续传输，失败重试也会增加总量。不限流量更便于控制预算。
代理可以解决 GitHub API Token 限额吗？
不能。代理可以为网络请求提供不同出口，但账号或 Token 的 API 配额仍由代码托管平台控制。开发者应读取响应头、控制并发并按平台规则处理限额。
Git clone 和归档下载如何选择？
只需要当前源码时归档通常更轻；需要提交历史、分支和对象关系时使用 Git。应按数据目标拆分任务。
是否包含许可证识别和代码清洗？
不包含在标准代理方案内。许可证识别、敏感信息处理、代码解析、去重和质量过滤由客户数据管道负责。
10Gbps+ 是否适用于单个仓库？
它是单项目聚合容量，不代表单个仓库或连接可以达到该速度。吞吐来自多个来源和工作节点的整体并行。
如何进行增量同步？
应保存仓库更新时间、引用或对象标识，根据变化只调度新增任务，避免重复全量传输。
合规上需要保留哪些信息？
建议记录来源 URL、抓取时间、公开状态、许可证和处理规则，并遵守知识产权、隐私、目标服务条款与适用法律。