面向数据安全的分布式AI推理:面向AI时代推理用户自建AI算力成本过高、租用云端算力担心数据泄露风险的痛点需求,中国联通升级AINet网络能力,推出分布式边云协同训推方案。企业原始数据存于本地,模型中间数据存于云中心,通过智算IP广域网高效传输,实现云边算力整合与协同调度,满足AI训练/推理的算力与隐私需求。在边云协同训练场景下,企业侧部署轻量算卡,采用PP并行与云中心协同训练,样本和模型首尾层保留本地,确保数据不出园区。基于Llama2-13B实测,算效达97.7%。在边云协同推理场景下,企业侧部署轻量算卡,模型分割协同推理,通过本地处理技术保障Prompt隐私。基于DeepSeek-70B实测,算效99%,算效几乎0损失。