
公司真题库2026-07-20
【京东】实时数仓项目介绍:架构与技术选型
京东大数据开发一面真题。以电商实时数仓为例讲清 Kafka 分层、Flink 加工、ClickHouse/Doris 服务的架构全貌,以及每个选型背后的理由。
91学AI·6 阅读
共 6 篇文章

京东大数据开发一面真题。以电商实时数仓为例讲清 Kafka 分层、Flink 加工、ClickHouse/Doris 服务的架构全貌,以及每个选型背后的理由。

实时大屏设计核心是分层降载:Kafka 接流、Flink 做窗口预聚合、OLAP 存多粒度结果、缓存挡并发,让大屏查询只扫小数据量,秒级刷新生生不息。

实时数仓沿用 ODS-DWD-DWS-ADS 思路但层数要压浅,Kafka 存原始与明细,Flink 做清洗和汇总,CK/Doris 承接查询,点查走 Redis/HBase。

Lambda 用批层保准确、速度层保时效,代价是双链路口径和运维成本;Kappa 全流简化架构,但重算和大状态是硬伤。选型看实时占比和重算需求。


实时数仓主要解决传统数仓数据时效性低的问题,实时数仓通常会用在实时的OLAP分析,实时大屏展示,实时监控报警各个场景。虽然关于实时数仓架构及技术选型与传统的离线数仓会存在差异,但是关于数仓建设的基本方法论是一致的。接下来主要介绍Flink SQL从0到1搭建一个实时数仓的demo,涉及到数据采集、存储、计算、可视化整个流程。