SNP干货分享：SAP数据脱敏的具体实施步骤
为什么谈sap数据脱敏？
sap进入中国市场超过30年，作为一个典型的德国思维的产品，我们很难找到另一个市值这么大的软件，在过去的几十年中，一直活的这么滋润，没有太多的挑战，而且软件本身的变化肉眼可见的不大。
但近年来，这个固有的套路不断的被挑战，背后的推手有很多，我个人理解较大有两个。一个是ai的技术，使得传统sap顾问不敢去想的一些功能，例如预测性分析，自然语言处理（nlp），图像识别，rpa，machine learning，ai驱动的业务流程优化等等，变成了可能，另一个是数据治理和隐私保护的日益重视。不管是法律法规还是大家的意识，都需要实现更先进的数据治理和隐私保护功能，以确保数据的质量、安全和合规性。
本篇是个知识分享篇，更多的是想借助团队刚刚完成的sap数据脱敏的项目，聊聊相关的业务需求，系统架构和技术实现的关键点。
sap数据脱敏的需求有哪些
这里不去谈什么高大上的定义和论述。更多的引述我们实际项目的需求。
第一个项目，一个体量庞大的德国s记跨国集团，需要把一块业务板块整体切割出去，属于carve out 项目。切出去的系统除了sap，还有若干个其他系统，sap是这些系统的骨干系统（backbone system）。项目的公司代码拆分部分，和第三方系统与sap集成部分，都需要有大量的业务数据来支撑测试。因此，项目组同事以生产机为源系统（source system），刷新（system refresh）了一个新的系统，其中只包含待切出业务板块的数据。以这个新系统为测试系统，提供给各路人马进行集成及测试工作。但这个德国企业严格遵循gdpr的要求，这个测试系统的数据必须对敏感数据进行脱敏操作。待处理的数据主要是员工的个人信息（包含姓名，生日，住址，银行信息，联系方式，个人薪资，个人合同等等）。
第二个项目，是日本的一家生产办公用品的a记公司。该公司需要升级sap系统，并集成更多的外围系统。与s记公司类似，a记公司也准备了包含生产机数据的测试系统。a记公司希望，除了员工数据，也希望对bp数据进行脱敏工作。
sap数据脱敏的工具
市场上有几款能完成sap数据脱敏的工具产品。下面主要是介绍是snp公司的tdo工具技术路径讲解和截图。
sap数据脱敏的关键要点 – 系统架构
考虑到方案的严谨性和运作的持续性，用源系统-控制机-目标系统的三位一体的架构更好。 架构可以参照一下图例：
中间的cockpit 控制机可以装在solman上，如果solman条件不具备，也可以装在源系统上。上述的功能点可以通过在安装过程中引入tr的方式来实现。在此过程中，也需要注意权限的管控。
sap数据脱敏的关键要点 – 敏感数据的池化数据（pool data）
举个例子说明这个要点。某员工的家庭住址信息需要脱敏，他的住址是上海市浦东新区金海路x弄x号，邮编201209。我们怎样做一个masking，用一个新的地址去替换呢？
我们不能用同一个地址强行付给所有的员工（或者bp），例如，北京市东长安街天安门广场。 这个不太严谨，而且后续的一些业务流程也需要要到地址信息。
我们也不能用太虚假或自相矛盾的一个masking 数据，例如，我们不能有一个地址是类似是天津市凯达格兰大道这样的。还例如，我们在脱敏员工姓名及性别数据时，不能太多的出现，姓名王金刚，性别女这样的数据。
脱敏的目标是，以假乱真。数据本身要合理严谨完整。
snp tdo中提供了pool table的模板及部分数据。模板参见下图列表
我们以第一个pool table，address data啊（地址信息）为例。我们可以运行程序上载sap中的pa0006表，或者but***表中的地址信息，可以在se16中直接维护这张表（/snp/cm05adrpool）内容。我们维护的结果如下（仅供示例之用）。
有了这张表，我们做data masking就有准星了。我们可以从这张表中，由程序随机挑选一条数据去替换员工的正式地址数据。当然在实际项目中，我们可以选择国家是否要替换，城市是否要替换。masking程序会带入这些选择条件在pool table中随机找到满足条件的记录来完成替换。
另外多说一句，这个随机替换，有random的实现，也有hash实现。这个是底层技术，不清楚这个算法的同学直接跳过。但结果是确定的，就是sap用户们不可能根据新的地址去猜到这个员工（或者bp）是谁，或者他的真实地址是哪一个。
大气环境监测/新时代网格化环境微型监测系统
DRAM结束下滑 各厂商未来计划各有不同
国产贴片功率电感那些你知道的事情
生产计划排程APS系统整体结构引领企业智能化生产
2020年通信业发展重点的8大数据
SNP干货分享：SAP数据脱敏的具体实施步骤
集成运放及其应用
2017年电视产业：目前普及度最高的液晶将进入历史
养鸡场环境监管系统
追杀乐视！ 小米米粉节与华为荣耀狂欢节联手做局？
汽车信息娱乐系统对电源供电的需求分析
电子管内的噪声及其削弱方法
电磁铁能不能做扬声器？
一名合格的PCB设计师需要做到这些
美国德州仪器公司发布2015第三季度财务业绩与股东回报
“十三五”期间，我国在量子科技领域取得了一系列重大进展
什么是SPX
浅谈预装式变电站预制舱凝露危害及预防措施
综合热分析仪是什么？怎么操作
关于智能LED照明中的Smart CC/CV的分析和介绍
sap进入中国市场超过30年，作为一个典型的德国思维的产品，我们很难找到另一个市值这么大的软件，在过去的几十年中，一直活的这么滋润，没有太多的挑战，而且软件本身的变化肉眼可见的不大。
但近年来，这个固有的套路不断的被挑战，背后的推手有很多，我个人理解较大有两个。一个是ai的技术，使得传统sap顾问不敢去想的一些功能，例如预测性分析，自然语言处理（nlp），图像识别，rpa，machine learning，ai驱动的业务流程优化等等，变成了可能，另一个是数据治理和隐私保护的日益重视。不管是法律法规还是大家的意识，都需要实现更先进的数据治理和隐私保护功能，以确保数据的质量、安全和合规性。
本篇是个知识分享篇，更多的是想借助团队刚刚完成的sap数据脱敏的项目，聊聊相关的业务需求，系统架构和技术实现的关键点。
sap数据脱敏的需求有哪些
这里不去谈什么高大上的定义和论述。更多的引述我们实际项目的需求。
第一个项目，一个体量庞大的德国s记跨国集团，需要把一块业务板块整体切割出去，属于carve out 项目。切出去的系统除了sap，还有若干个其他系统，sap是这些系统的骨干系统（backbone system）。项目的公司代码拆分部分，和第三方系统与sap集成部分，都需要有大量的业务数据来支撑测试。因此，项目组同事以生产机为源系统（source system），刷新（system refresh）了一个新的系统，其中只包含待切出业务板块的数据。以这个新系统为测试系统，提供给各路人马进行集成及测试工作。但这个德国企业严格遵循gdpr的要求，这个测试系统的数据必须对敏感数据进行脱敏操作。待处理的数据主要是员工的个人信息（包含姓名，生日，住址，银行信息，联系方式，个人薪资，个人合同等等）。
第二个项目，是日本的一家生产办公用品的a记公司。该公司需要升级sap系统，并集成更多的外围系统。与s记公司类似，a记公司也准备了包含生产机数据的测试系统。a记公司希望，除了员工数据，也希望对bp数据进行脱敏工作。
sap数据脱敏的工具
市场上有几款能完成sap数据脱敏的工具产品。下面主要是介绍是snp公司的tdo工具技术路径讲解和截图。
sap数据脱敏的关键要点 – 系统架构
考虑到方案的严谨性和运作的持续性，用源系统-控制机-目标系统的三位一体的架构更好。 架构可以参照一下图例：
中间的cockpit 控制机可以装在solman上，如果solman条件不具备，也可以装在源系统上。上述的功能点可以通过在安装过程中引入tr的方式来实现。在此过程中，也需要注意权限的管控。
sap数据脱敏的关键要点 – 敏感数据的池化数据（pool data）
举个例子说明这个要点。某员工的家庭住址信息需要脱敏，他的住址是上海市浦东新区金海路x弄x号，邮编201209。我们怎样做一个masking，用一个新的地址去替换呢？
我们不能用同一个地址强行付给所有的员工（或者bp），例如，北京市东长安街天安门广场。 这个不太严谨，而且后续的一些业务流程也需要要到地址信息。
我们也不能用太虚假或自相矛盾的一个masking 数据，例如，我们不能有一个地址是类似是天津市凯达格兰大道这样的。还例如，我们在脱敏员工姓名及性别数据时，不能太多的出现，姓名王金刚，性别女这样的数据。
脱敏的目标是，以假乱真。数据本身要合理严谨完整。
snp tdo中提供了pool table的模板及部分数据。模板参见下图列表
我们以第一个pool table，address data啊（地址信息）为例。我们可以运行程序上载sap中的pa0006表，或者but***表中的地址信息，可以在se16中直接维护这张表（/snp/cm05adrpool）内容。我们维护的结果如下（仅供示例之用）。
有了这张表，我们做data masking就有准星了。我们可以从这张表中，由程序随机挑选一条数据去替换员工的正式地址数据。当然在实际项目中，我们可以选择国家是否要替换，城市是否要替换。masking程序会带入这些选择条件在pool table中随机找到满足条件的记录来完成替换。
另外多说一句，这个随机替换，有random的实现，也有hash实现。这个是底层技术，不清楚这个算法的同学直接跳过。但结果是确定的，就是sap用户们不可能根据新的地址去猜到这个员工（或者bp）是谁，或者他的真实地址是哪一个。
大气环境监测/新时代网格化环境微型监测系统
DRAM结束下滑 各厂商未来计划各有不同
国产贴片功率电感那些你知道的事情
生产计划排程APS系统整体结构引领企业智能化生产
2020年通信业发展重点的8大数据
SNP干货分享：SAP数据脱敏的具体实施步骤
集成运放及其应用
2017年电视产业：目前普及度最高的液晶将进入历史
养鸡场环境监管系统
追杀乐视！ 小米米粉节与华为荣耀狂欢节联手做局？
汽车信息娱乐系统对电源供电的需求分析
电子管内的噪声及其削弱方法
电磁铁能不能做扬声器？
一名合格的PCB设计师需要做到这些
美国德州仪器公司发布2015第三季度财务业绩与股东回报
“十三五”期间，我国在量子科技领域取得了一系列重大进展
什么是SPX
浅谈预装式变电站预制舱凝露危害及预防措施
综合热分析仪是什么？怎么操作
关于智能LED照明中的Smart CC/CV的分析和介绍