FiveData - 大数据知识博客

数据仓库2022-10-23

数据开发流程规范及数据监控

在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会降低研发效率，增加成本与风险。

园陌·5 阅读

数据仓库2022-10-23

数据仓库指标体系搭建实战

业务视角业务分析场景指标、维度不明确；频繁的需求变更和反复迭代，数据报表臃肿，数据参差不齐；用户分析具体业务问题找数据、核对确认数据成本较高。

园陌·8 阅读

数据仓库2022-04-15

数仓规范建设指南

稳定业务按照标准的数据流向进行开发，即 ODS –> DWD –> DWS –> APP。非稳定业务或探索性需求，可以遵循 ODS -> DWD -> APP 或者 ODS -> DWD -> DWM ->APP 两个模型数据流。

园陌·3 阅读

数据仓库2022-04-15

数据仓库之数仓建模

在数据仓库领域，有两位大师，一位是“数据仓库”之父 Bill Inmon，一位是数据仓库权威专家 Ralph Kimball，两位大师每人都有一本经典著作，Inmon大师著作《数据仓库》及Kimball大师的《数仓工具箱》，两本书也代表了两种不同的数仓建设模式，这两种架构模式支撑了数据仓库以及商业智能近二十年的发展。今天我们就来聊下这两种建模方式——范式建模和维度建模。

园陌·2 阅读

数据仓库2022-04-15

数仓基本概念

我们在谈数仓之前，为了让大家有直观的认识，先来谈数仓架构，“架构”是什么？这个问题从来就没有一个准确的答案。这里我们引用一段话：在软件行业，一种被普遍接受的架构定义是指系统的一个或多个结构。结构中包括软件的构建（构建是指软件的设计与实现），构建的外部可以看到属性以及它们之间的相互关系。

园陌·2 阅读

数据仓库2022-04-15

基于OneData的数仓建设

一、指导思想二、数据调研三、架构设计四、指标体系搭建五、模型设计六、维度设计七、事实表设计八、其他规范

园陌·2 阅读

数据仓库2022-04-15

实时数仓建设核心

虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个，基本不考虑它们之间的关系，开发形式如下：

园陌·3 阅读

数据仓库2022-04-15

数据治理

数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，包括资产治理、数据质量监控、数据指标体系的建设等。

园陌·2 阅读

数据仓库2022-04-15

美团数据平台及数仓建设实践，超十万字总结

美团技术团队的博客质量非常高，里面有许多关于大数据的文章，具有很大的参考价值。

园陌·2 阅读

数据仓库2022-04-15

实时计算

实时计算一般都是针对海量数据进行的，并且要求为秒级。由于大数据兴起之初，Hadoop并没有给出实时计算解决方案，随后Storm，SparkStreaming，Flink等实时计算框架应运而生，而Kafka，ES的兴起使得实时计算领域的技术越来越完善，而随着物联网，机器学习等技术的推广，实时流式计算将在这些领域得到充分的应用。

园陌·3 阅读

数据仓库2022-04-15

基于Flink SQL从0到1构建一个实时数仓

实时数仓主要解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析，实时大屏展示，实时监控报警各个场景。虽然关于实时数仓架构及技术选型与传统的离线数仓会存在差异，但是关于数仓建设的基本方法论是一致的。接下来主要介绍Flink SQL从0到1搭建一个实时数仓的demo，涉及到数据采集、存储、计算、可视化整个流程。

园陌·2 阅读