Bright LGM's Blog

Previous posts about Easy SQL

• A new ETL language – Easy SQL
• A guide to write elegant ETL
• Neat syntax design of an ETL language (part 1)
• Neat syntax design of an ETL language (part 2)

It’s always been a pain point to do ETL testing. But it more and more becomes a must after data being so widely used these days.

An ETL with more than 100 lines of code is common. The filter conditions, data transformation rules, join conditions and other logic there could be very complicated.

背景

在最近的一个项目上，我们再次碰到了需要处理长时任务的场景。事实上，随着要处理的业务问题越来越复杂，要集成的系统越来越多，在Web服务器端开发中，长时任务处理已经成为了一个普遍的问题。

以下场景均可看作长时任务场景：

• 在GitHub提交了一个PR，要分别向上百个相关用户单独发送邮件
• 用户上传了一个文件，需要扫描这个文件是不是带病毒
• 用户想以pdf格式下载某一个文档，需要先将文档转换为pdf格式

前段时间，咱们CTO八叉在极客时间做了一次关于用Smart Domain实现DDD的分享（点击这里回看）。一个新词Smart Domain进入大家的视野。

Smart Domain解析

Smart Domain是啥？为什么可以用Smart Domain实现DDD？本文尝试结合以往对DDD的学习和实践的经验，跟大家分享一下个人的理解。

八叉在分享中提到Smart Domain这个名字来源于Smart UI。我们都知道Smart UI是DDD中提到的一种反模式，只能用于解决简单问题。这里的命名略带反讽戏谑的意味。

前面的文章《我理解的Smart Domain与DDD》中，我们分析了 Smart Domain 的设计，尝试回答了为什么 Smart Domain 可以用于实现 DDD，并对Smart Domain和DDD进行了一些扩展性的讨论。

虽然 Smart Domain 作为一种设计范式，可以辅助我们实现 DDD。但是具体到真实项目中，建模这个过程还得结合实际的领域问题，深入思考，大量尝试，大声建模，才能得到好的模型。有哪些值得参考的案例呢？下面分享几个个人在项目中觉得还不错的建模实践。

随着数据在越来越多的企业中被应用，数据技术的发展可谓突飞猛进。不仅基于Hadoop的大数据生态在持续完善，我们也能看到很多新兴的分布式技术如潮水般涌现。以下是来自中国信通院《大数据白皮书（2020年）》整理的大数据技术体系图谱：

前文讨论了敏捷数据工程实践的相关概念。有哪些具体的敏捷数据工程实践呢？本文将分享“代码化一切”的实践。

代码化XX

在应用软件开发中，“代码化一切”被讨论得很多。常见的代码化XX有：

前文讨论了敏捷数据工程实践的相关概念。有哪些具体的敏捷数据工程实践呢？本文将分享“基于代码的复用”实践。

应用软件开发中的代码复用

在应用软件开发中，代码复用是一件显而易见的、开发人员几乎每天都在做的事情。良好的代码复用可以有效降低代码重复率，提高效率，并减少潜在的BUG。

前几天，我在跟一位做进口贸易的朋友聊天，发现一个很有意思的事情。

他们做的是国内的高端仪器进口的进口贸易业务。主要帮助销售国外产品的公司完成竞标、合同签订、物流、海关、进口贸易政策符合、维保等等事务。

我很疑惑，为什么会有这样的业务形态存在？为什么这些产品销售公司不自己处理这些事务，反而代理出去让其他公司赚钱呢？

DORN模型的重现

DORN模型是在单图像深度估计问题上效果非常好的模型，18年刚发布的时候，就同时在KITTI数据集和ScanNet数据集上面取得了Robust Vision挑战的第一名。

作为每天和AI模型打交道的开发者，深度学习模型在不同的框架之间转换一直是一个老生常谈的问题。为了让这个问题变得容易，大家做了很多这样的工作，像是微软推出的MMdnn工具，号称可以将模型在几乎所有的流行AI框架中转换，又比如Facebook和微软一起推出的ONNX不依赖具体框架的中间格式等。