有了数据开发测试工具及DWD模型，数据开发看起来可以顺利往前推进了。下一步是数据开发真正产生业务价值的过程，即指标计算。前面的基础建设其实都是为了指标计算能高效高质量的完成。本文将尝试分享一些关于指标计算的实践经验。
在前面的文章数据平台数据管理实践中，我们提到了基础数据层（也常被称为轻度汇总层）。这一层一般以DWB的缩写来表示，其全称是Data Warehouse Basis。DWB这样的数据分层是业界常见的数据仓库分层实践，对指标计算有很好的参考意义。
指标管理系统
在上一篇文章《指标计算实践》中，我们分析了指标开发过程，并给出了一些如何复用代码的建议。在一系列指标开发出来之后，如何管理好它们，使之容易访问，并方便的对外提供服务，这是数据平台建设中不得不解决的另一个问题。这里我们将这些问题统一称为指标管理问题。本文希望分享一些相关经验。
在数据平台中实现机器学习工程化
随着AI技术的使用日益广泛，在数据平台中进行机器学习建模分析成为了越来越常见的场景。
提到AI技术，不少人会直接联系到近几年特别火的基于人工神经网络的深度学习技术。其实，在企业业务中使用最广泛的还并不是深度学习，这是因为深度学习模型的应用领域常常是图像、音视频、自然语言处理等，而企业期望的应用领域多是销售、营销、客户关系管理等。另一方面，深度学习模型的可解释性比较差，难以从业务角度分析其合理性，这也限制了深度学习的应用。
一些常见的企业AI技术的应用场景示例如下：
数据平台中的OneID应用
数据平台的一个重要功能是数据集成。数据集成听起来是要从分布式走向单体，似乎不太符合当前技术领域要尽可能分布式的趋势。
但是，数据集成常常是必要的。这种必要性可能来自于企业战略上希望打破数据孤岛，也可能来自于某些数据分析需要跨业务线跨系统进行。
实现数据集成的一个重要问题是跨系统的数据关联。为什么这个问题如此重要？这还要从企业发展过程说起。
敏捷的下半场
上周的某一天，我在浏览IT新闻的时候，无意间被一篇来自阿里团队的文章刷屏了。关注的好几个平台都转发了名为“阿里 & 蚂蚁自研 IDE 研发框架 OpenSumi 正式开源”的文章。
OpenSumi定位是垂直领域的IDE研发框架。请注意，它本身不是IDE，而是一个辅助开发IDE的框架。除了内置常用的开发工具，如资源管理器、编辑器、调试、Git 面板、搜索面板等模块，重要的是，它可以支持开发者通过简单配置就搭建属于自己的本地或云端IDE产品。
OpenSumi的思路竟和我之前分享的“开发者工作台”的思路如出一辙。
A New ETL Language -- Easy SQL
A Guide to Write Elegant ETL
In the previous post, we talked about a new ETL language – Easy SQL. You may be very curious about how to write ETL in Easy SQL. Let’s take a peek at it today.
好代码的五个特质-CUPID
新的一期技术雷达如期发布，仔细阅读了这一期的所有条目，CUPID这一条尤其让我产生共鸣。
CUPID出自Daniel的一篇名为《CUPID—for joyful coding》的博文，即《CUPID-为了快乐编程》。CUPID是Composable/Unix philosophy/Predictable/Idiomatic/Domain based几个单词的缩写，有经验的同学一看就知道这是好代码的一些属性。知道Cupid这个单词的同学还能感受到这一组属性所蕴含的对于软件工程的热情。Cupid的中文是丘比特，是指古罗马的爱神，其意象是一个长有翅膀的小孩，拿着弓箭射向人们，以便人们可以相互爱上对方。
Neat Syntax Design of an ETL Language (Part 1)
Previous posts about Easy SQL
People like to use Scala because Scala provides powerful type inference and embraces various programming paradigms. People like to use Python because it’s clean, out-of-the-box, delicate and expressive. People like to use rust because rust provides modern language features and zero-cost abstract.
Neat Syntax Design of an ETL Language (Part 2)
Previous posts about Easy SQL
- A new ETL language – Easy SQL
- A guide to write elegant ETL
- Neat syntax design of an ETL language (part 1)
People like to use Scala because Scala provides powerful type inference and embraces various programming paradigms. People like to use Python because it’s clean, out-of-the-box, delicate and expressive. People like to use rust because rust provides modern language features and zero-cost abstract.