如何让采集器自动过滤重复数据
在正常情况下,在采集数据时,采集器会自动过滤重复数据,过滤条件是所有字段的数据都一样的话,就会被过滤。 重复数据有两种情况: 1. 数据重复 针对数据重复的情况,可以添加一个字段,设置自定义值,选择当前时间 2. 深入采集URL重复 如果在...
在正常情况下,在采集数据时,采集器会自动过滤重复数据,过滤条件是所有字段的数据都一样的话,就会被过滤。 重复数据有两种情况: 1. 数据重复 针对数据重复的情况,可以添加一个字段,设置自定义值,选择当前时间 2. 深入采集URL重复 如果在...