删除重复行
一、功能简介
删除重复行用于按所选去重字段判断并删除重复的数据行。
系统通过用户所选的去重字段来判断数据有没有重复行：若去重字段选择「全选」，则按照所有字段判断是否有重复行。判断出重复行后，默认保留排在前面的第一行数据。
二、应用场景
- 处理脏数据：有的订单数据被触发了两次，一个订单存在两条数据，可通过删除重复行功能只保留一行；
- 保留部分数据：数据采集不均匀时（如每分钟采集 10~20 条），可通过删除重复行每分钟只保留一条数据；
- 去除重复行：对宽表中的用户数据进行去重，得到不重复的用户记录。
三、操作步骤
以「销售订单明细表」为主表，演示按「订单日期、客户名称、含税金额」删除重复订单：
- 进入「新建可视化数据表」页面，选择主表「销售订单明细表」；
- 点击 添加加工步骤，在功能节点面板中选择 删除重复行（位于「更多」菜单中），弹出配置界面；
- 选择去重字段，即判断是否重复的依据字段。例如选择「订单日期、客户名称、含税金额」三个字段，当这三个字段均相同时判定为同一个订单；
- 点击「确定」，系统即删除重复行，只保留每一组重复数据中的第一行。
四、配置说明
4.1 去重字段
选择作为判断重复依据的字段。选择不同的去重字段，结果不同：
- 只选择「地区」：各个地区只保留一条订单数据；
- 只选择「客户名称」：每个客户只保留一条订单数据；
- 全选：按所有字段判断，完全相同的行才被去重。
4.2 保留规则
判断哪些行重复后，系统默认保留排在前面的第一行数据。
五、使用建议
- 建议将「删除重复行」尽量放在最后一个步骤来做。因为在不同步骤做删除重复行，系统选择保留的第一行数据可能不同，放在最后可避免后续步骤对去重结果造成影响。