0%

前几天,我在跟一位做进口贸易的朋友聊天,发现一个很有意思的事情。

他们做的是国内的高端仪器进口的进口贸易业务。主要帮助销售国外产品的公司完成竞标、合同签订、物流、海关、进口贸易政策符合、维保等等事务。

我很疑惑,为什么会有这样的业务形态存在?为什么这些产品销售公司不自己处理这些事务,反而代理出去让其他公司赚钱呢?

阅读全文 »

数据平台的一个重要功能是数据集成。数据集成听起来是要从分布式走向单体,似乎不太符合当前技术领域要尽可能分布式的趋势。

但是,数据集成常常是必要的。这种必要性可能来自于企业战略上希望打破数据孤岛,也可能来自于某些数据分析需要跨业务线跨系统进行。

实现数据集成的一个重要问题是跨系统的数据关联。为什么这个问题如此重要?这还要从企业发展过程说起。

阅读全文 »

我在一个机场,背上背着一个沉重的背包,等待在一个长长的队伍中。队伍缓慢地向前挪动,这是奔走在路上的旅客在等待安检的队伍。

每次在这样的时刻,身上背包的重量,都在提醒我需要肩负起的重量。

Mac电脑都用上Arm芯片啦!iPad都出Pro版本啦!基于平板电脑打造一个开发环境它不香么?

阅读全文 »

我们公司有两个网络,一个用于访问内部网络资源,简称为内部网络,另一个网络用于访问外部互联网资源,简称外部网络。

平时大家工作中以内部网络为主,为了方便使用,内部网络也开放了外部互联网的资源访问。由于公司内几乎所有人日常工作都使用这个网络,所以网络策略限制了外部互联网下载速度到500KB左右。而外部网络则没有任何下载速度限制。

最近在做机器学习的实验时,遇到了令人头疼的网络下载速度问题。

做实验的机器是一台台式机,以有线的方式接入内部网络,被分配了固定的ip地址。机器访问内部资源倒是比较快,但是访问互联网就速度受限了。

由于机器学习数据集或者模型文件都很大,常常是好几十GB,用内部网络下载常常要好几个小时,严重影响了效率。

阅读全文 »

随着AI技术的使用日益广泛,在数据平台中进行机器学习建模分析成为了越来越常见的场景。

提到AI技术,不少人会直接联系到近几年特别火的基于人工神经网络的深度学习技术。其实,在企业业务中使用最广泛的还并不是深度学习,这是因为深度学习模型的应用领域常常是图像、音视频、自然语言处理等,而企业期望的应用领域多是销售、营销、客户关系管理等。另一方面,深度学习模型的可解释性比较差,难以从业务角度分析其合理性,这也限制了深度学习的应用。

一些常见的企业AI技术的应用场景示例如下:

阅读全文 »

在上一篇文章《指标计算实践》中,我们分析了指标开发过程,并给出了一些如何复用代码的建议。在一系列指标开发出来之后,如何管理好它们,使之容易访问,并方便的对外提供服务,这是数据平台建设中不得不解决的另一个问题。这里我们将这些问题统一称为指标管理问题。本文希望分享一些相关经验。

阅读全文 »

Hexo博客有好几年了,Markdown的格式、简洁的风格、静态的特性、众多的插件,一直让我用起来很舒服。

不过,有个问题困扰了我很长时间,那就是,Hexo生成的博客的永久链接比较长,在社交平台上面分享不太方便。

有不少第三方的短链服务,有的还可以帮助追踪链接的点击次数等。比如:https://www.shorturl.at/ https://app.bitly.com/bbt2/ 等。

阅读全文 »

post structure

有了数据开发测试工具及DWD模型,数据开发看起来可以顺利往前推进了。下一步是数据开发真正产生业务价值的过程,即指标计算。前面的基础建设其实都是为了指标计算能高效高质量的完成。本文将尝试分享一些关于指标计算的实践经验。

在前面的文章数据平台数据管理实践中,我们提到了基础数据层(也常被称为轻度汇总层)。这一层一般以DWB的缩写来表示,其全称是Data Warehouse BasisDWB这样的数据分层是业界常见的数据仓库分层实践,对指标计算有很好的参考意义。

阅读全文 »

数据流水线

在数据平台中进行数据开发时,数据任务流水线是常用于组织各个计算任务的方式。

比如,我们要想完成一个指标计算。第一个数据任务是将数据接入到数据平台,接着,需要一个任务将数据进行初步的数据清洗形成DWD中的数据,然后,下一个任务可能是计算初级汇总数据存入DWB,再然后,需要一个数据任务计算得到最终的指标结果,还有一些后续任务,比如宽表构建,导出到外部数据库中进行大屏展示等。

这一系列的任务需要按照先后关系一步步的完成,于是它们就构成了数据任务流水线。

阅读全文 »

基于数据点的数据分析

在进行数据分析时,常常会有基于数据点的分析需求。

比如,当做好一个客户画像应用的时候,我们可以得到某个客户的所有标签。如何验证这些标签的准确性呢?一个常用的方法是找到这个客户所有的相关数据,然后基于这些数据去验证标签的准确性。这就是基于数据点的分析,这里的数据点是前面提到的“某个”客户。

同样,当开发完指标之后,也可以尝试找出当前指标粒度(比如经销店粒度)下的所有事实及维度数据,从而进行验证。这里的数据点是“某个”经销店。

阅读全文 »