Skip to content

l878619717/9nfl

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

九数联邦学习整体解决方案

概述

数据是人工智能的基石,打破数据孤岛,实现数据共享是加速人工智能高速发展的必要条件。联邦学习,作为数据安全计算的业界前沿技术方案,在保护数据隐私的同时深度连接各个合作方,达到技术赋能、共创共赢的目标。

p1

p2

1 整体架构

  • 整个系统分为四个大模块
    • 整体调度与转发模块
    • 资源管理与调度模块
    • 数据求交模块
    • 训练器模块

architecture.png

2 整体调度与转发模块

  • 整体控制数据求交与训练的调度
  • 训练器的配对工作
  • 高效的流量转发

3 资源调度与管理模块

  • 使用k8s屏蔽底层资源差异
  • 使用k8s进行资源的动态调度

4 数据求交

  • 大规模多模态跨域数据整合
  • 异步分布式框架提升拼接效率

5 训练器

  • 分布式框架训练支持,提升系统的吞吐性能
  • 异常恢复、failover机制
  • 高效的网络传输协议设计

6 Mnist Demo

以mnist为例,提供数据求交和模型训练的demo

支持单机版与分布式版本的部署方式

联系我们

  • 欢迎通过issue和邮件组([email protected])联系我们
  • 我们正在积极寻求合作伙伴,希望获得9nFL企业级支持的公司和团队,可以联系([email protected]),与我们进一步的洽谈。

FAQ

LICNESE

9nFL使用apache2.0许可

致谢

9nFL由京东集团-京东零售-商业提升事业部荣誉出品,核心贡献团队包括质量部站外效果优化团队、算法服务化组、模型组、算法创新组等。

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 52.2%
  • C++ 40.1%
  • Shell 6.4%
  • Other 1.3%