#数据去重

【阿里】Kafka 为什么出现重复数据，项目里怎么处理

阿里数仓实习一面真题。重复来自生产者重试、消费者位移提交与 rebalance 两个方向；项目里用幂等生产者、手动位移提交、下游幂等去重三板斧应对。