Skip to main content

· One min read
Xuefeng Xu

简介​

FedPS

FedPS (Federated data Preprocessing with Sketching) 是一个专注于联邦学习下数据预处理的 Python 库。该库的设计旨在突出数据预处理在机器学习建模之前的关键性作用，并通过提供丰富而灵活的功能来实现联邦学习环境中的数据预处理任务。与此同时，FedPS 实现了知名的开源机器学习库 Scikit-learn 中几乎所有的数据预处理模块，为用户提供了一个结合了 Scikit-learn 成熟工具和联邦学习特色的全面解决方案。通过使用 FedPS，用户能够更有效地准备数据，为联邦学习模型的训练奠定坚实的基础。

仓库地址​

FedPS

· 2 min read
PrimiHub

开源隐私计算平台 PrimiHub v1.7.0 发布了！

新增特性​

  • 增加数据流通网络，支持公开数据与OpenMPC平台互通，降低陌生节点数据流通门槛；
  • 在我的资源下增加“可申请的资源”菜单，允许节点获取其他未连接节点公开数据集；
  • 联邦学习统计量支持最大、最小值、加和、范数、分位数、平均数、方差、并集、频繁项；
  • PIR支持自定义列作为查询关键字；
  • MPC LR任务配置中支持自定义某些列不参与计算。

优化​

  • 错误任务日志显示到具体出错位置，便于定位问题；
  • 联邦数据预处理添加参数限制条件，提示错误或不支持的参数信息；
  • 修复Sigmoid函数溢出问题；
  • 统一LOG格式，增加任务id，便于前端显示任务相关日志。

相关仓库​

· One min read
PrimiHub

开源隐私计算平台 PrimiHub v1.6.11 发布了！

新增特性​

  • 隐私求交增加TEE支持
  • 缺失值填充功能可根据字段类型自动匹配适用的填充方法，支持4种缺失值处理方法
  • 模型评估增加多种评估指标（分类、回归），支持ROC图展示
    1. 分类：Acc、Precision、Recall、F1、AUC、KS、ROC
    2. 回归：EV、MaxE、MAE、MSE、RMSE、MedAE、R2
  • 联邦数据预处理支持TargetEncoder特征编码
  • 支持python代码调用mpc联合统计功能，可在联邦学习中使用

优化​

  • 提升交互一致性：隐私求交、隐匿查询的交互统一
  • 隐私求交、隐匿查询结果支持在线预览

相关仓库​

· One min read
PrimiHub

开源隐私计算平台 PrimiHub v1.6.10 发布了！

新增特性​

  • 联邦学习新增数据预处理模块，支持pipeline调用
  • 任务启动通过process的形式，避免任务间的干扰
  • PrimiHub平台支持用户自定义python代码的执行（实验特性）
  • 页面端支持联邦线性回归模型
  • 增加部署节点地图展示
  • 增加页面取消任务运行

优化​

  • 修复多机部署时模型指标显示问题
  • 对psi输入原始数据做去重处理
  • PrimiHub 的 gcc 编译器版本支持gcc8以上
  • 优化模型指标页面端展示
  • 修复Window系统下文件UTF-8 BOM头问题

相关仓库​

· One min read
PrimiHub

开源隐私计算平台 PrimiHub v1.6.9 发布了！

新增特性​

  • 将PIR任务分为离线和在线两部分，生成查询数据库部分离线生成，在线部分从生成的离线数据库文件中加载，完成在线部分逻辑
  • 纵向联邦逻辑回归支持CKKS同态密文模式训练
  • 支持联邦线性回归模型

优化​

  • 将aby3代码从PrimiHub迁移到单独的库
  • 修复PSI结果集中文显示问题
  • kkrt16 PSI支持macos
  • 修复神经网络使用GPU设备训练和预测报错的问题
  • 修复web端PSI结果展示问题
  • 修复web端复制模型任务节点无法删除问题

相关仓库​

· One min read
PrimiHub

开源隐私计算平台 PrimiHub v1.6.8 发布了！

新增特性​

  • 联邦学习支持mysql数据库
  • 纵向LR支持多分类
  • PIR支持数据库查询

优化​

  • 修复页面发起联邦任务，未选择可信第三方运行报错，再次选择不运行问题
  • 更新页面纵向LR及横向LR自定义参数配置
  • 页面发起推理服务任务，增加任务类型，横向任务一方推理
  • 修复PIR结果中文显示乱码

相关仓库​

· 2 min read
PrimiHub

开源隐私计算平台 PrimiHub v1.6.7 发布了！

新增特性​

  • Python SDK增加获取任务状态
  • 横向联邦支持训练CNN图像分类任务
  • 支持通过页面创建联合统计任务
  • 横向联邦ROC指标聚合垂直平均计算
  • MPC增加联合统计功能
  • MPC通信方式改为gRPC

优化​

  • 修复联邦任务json文件中无'data_set'和'task_name'，使用Python SDK提交任务报错的bug
  • 修复docker提交横向联邦任务获取不到第三方ip地址的bug
  • 通过页面创建PIR任务，改为单选资源以及交互形式优化
  • 修复测试用例存储结果文件路径不一致的问题
  • 修复nodeid在配置文件中不生效的问题
  • 在数据集注册失败的情况下返回到前端具体注册失败信息

相关仓库​

· 2 min read
PrimiHub

开源隐私计算平台 PrimiHub v1.6.6 发布了！

新增特性​

  • 支持通过SDK提交联邦学习任务，包括建模、推理、纵向联邦数据预处理。
  • 增加轻量级的meta service服务， 开发调试时可以替代 primihub-platform，方便本地部署运行primihub
  • 操作界面去掉了中心节点，机构与机构之间需添加公钥及网关地址建立连接。创建各个任务不需要选择中心节点，可以直接选择已建立连接的可用机构，更符合实际应用场景
  • 增加数据集注册时用户自定义数据集中字段类型，修正自动识别出的数据集类型错误的问题
  • 支持横向LR多分类和基于PyTorch的横向神经网络模型

优化​

  • 对PSI加载数据集阶段，优化根据指定的列加载数据集替代加载所有数据集的流程
  • KKRT16 PSI通信采用GRPC，通信端口使用可配置的统一端口，不再采用每个任务随机获取可用端口的方式
  • 增加数据通信过程中重试功能，避免网络抖动导致整个任务的失败

相关仓库​

· One min read
PrimiHub

开源隐私计算平台 PrimiHub v1.6.5 发布了！

Feature​

  • 从json文件中读取任务配置
  • 将构建文件分割到模块目录中
  • 删除通知服务器，使用一个端口来提供服务
  • 支持CentOS系统编译

Bug fix​

  • 修复了使用同一数据集的多任务并发运行时从mysql读取数据集的错误
  • 修复了当数据集过大时注册数据集的超时问题
  • 修复了使用不正确的dctor释放游标指针的问题

相关仓库​

· One min read
PrimiHub

开源隐私计算平台 PrimiHub v1.6.2 发布了！

Feature​

  • 增加差异化私有水平FL算法： DP-SGD
  • 用gRPC通信协议取代ZMQ用于FL任务
  • 通过在各方之间传输ID来优化heter_xgb
  • 修复服务器数据集有重复项时的Pir故障
  • PSI支持一个数据集中的多列项目
  • 支持TLS用于grpc通信
  • 在Linux操作系统中启用了数据集的mysql驱动
  • 支持aarch64平台

相关仓库​

· 4 min read
Rick

隐私计算开源社区 PrimiHub 有奖征文开始啦！

数据安全是一个非常重要的话题，数据的存储、传输安全对于大部分软件研发领域的同学们已经比较熟悉了，硬盘加密、HTTPS 等已经是非常成熟的技术了。但诸如：同态加密、零知识证明等隐私计算底层技术，以及隐匿查询、隐私求交等技术的应用，不管从资料的丰富度、是否容易理解、应用难度上都相对有一些挑战。

· 10 min read
ppppbamzy

开源同态加密库 [HEhub][hehub] 发布｜首个由国内隐私计算团队研发的(全)同态加密算法库

PrimiHub slogan

时至今日，数据要素已经成为数字经济时代最重要的生产要素之一，成为众多企业和机构的核心资产，而数据价值的体现依赖于数据的安全流通和利用。隐私计算作为新兴技术为数据的安全流动提供了新的可能性，即使在数据融合、计算的过程中，也可以保证数据的隐私。在国内外隐私相关法律纷纷颁布、隐私计算产业不断发展的背景下，隐私计算技术的意义和价值已经日渐深入人心。