一个故事
最近有一次我观察项目组中一位经验较浅的小伙伴写代码,发现:
- 快捷键用得少,缺乏一点去研究快捷键的意识
- 自动补全功能没有充分利用,基本靠记忆+手敲
- 使用mac笔记本自带的并不好用的键盘
这带来的结果就是手上的速度跟不上思维的速度。
在数据进入到数据平台之后,我们就可以正式开始构建数据应用了。一个常见的数据应用是数据报表和数据指标的开发。如何开发这样的数据应用呢?首先要决定的就是使用什么样的开发语言及如何构建开发环境。本文将结合我们的实践经验一起聊一聊这个话题。
在前文《数据仓库建模实践》中,我们提到了在确定DWD
层的构建原则之后,可以通过开发数据建模工具来辅助实现。这样的工具应该设计成什么样子呢?
一个理想的建模工具应该具备良好的易用性和灵活性。
在前面的文章《数据应用开发语言和环境》中我们建议使用SQL
来作为主要数据开发语言,并且,通常我们需要对标准的SQL
进行增强,以便可以更好的支持复杂的数据开发。一些典型的需要新增的特性可以是变量、控制语句、模板等。
增强SQL
固然是可以解决我们的数据开发问题,但是它也会给我们带来一些其他的不便。第一个烦恼可能就是,标准的SQL
可以在很多数据工具中运行,比如Superset
的SQL
查询器、Hive
的查询控制台等,而使用增强语法的SQL
编写的代码则不行。由于我们将标准的SQL
增强了,而SQL
周边生态工具却无法感知这样的增强,这时各种不便就随之而来了。
有了数据开发测试工具及DWD
模型,数据开发看起来可以顺利往前推进了。下一步是数据开发真正产生业务价值的过程,即指标计算。前面的基础建设其实都是为了指标计算能高效高质量的完成。本文将尝试分享一些关于指标计算的实践经验。
在前面的文章数据平台数据管理实践中,我们提到了基础数据层(也常被称为轻度汇总层)。这一层一般以DWB
的缩写来表示,其全称是Data Warehouse Basis
。DWB
这样的数据分层是业界常见的数据仓库分层实践,对指标计算有很好的参考意义。