课程分享｜吕本富：大数据及大数据分析

从内容上来说：

数据（data）在拉丁文里是“已知”的意思

数据（data）在英文中的一个解释是“一组事实的集合，从中可以分析出结论”。

总的说，凡是用某种载体记录下来的、能反映自然界和人类社会某种信息的，就可称之为数据。换句话说，数据是一个过程，包括三个过程：事实、分析、结论。

古人“结绳记事”，“结”是数据，绳子是存储。步入现代社会，信息的种类和数量越来越丰富，载体也越来越多。数字是数据，文字是数据，图像、音频、视频等都是数据。

越来越快——数据价值的有效时间急剧减少，要求越来越高的数据计算和使用能力

数据、信息、策略

不同的学派和实践者对于“管理”的本质可能有着完全迥异的理解，都认可：决策是管理的本质，而管理最核心的要素就是信息的收集与传递。

决策产生价值，决策的精确性来自信息对称程度，信息的对称程度来自数据挖掘和数据梳理。

在经济学中，所谓的“外部性”是一个人的行为对旁观者福利的影响。大数据令人惊奇的地方就在于其外部性，大数据分析的重要工作也就是挖掘数据的外部性。

大数据的主要来源

自然大数据——地球，自然界的大数据，这么多的卫星绕着地球转，每天能下载巨量的大空间数据。生命大数据、生物大数据，尤其是每一个人体的大数据也是一个重要的来源。

经济运行数据——各种交易类型数据

行为大数据——每天手机、笔记本都产生巨大的数字痕迹，既有物理数据，也有心理数据。

物联网大数据——各种工业设备和社会运行的数据。

商业—行为大数据：大数据世界中，大量利润是通过使用人工生成的信息得到的；

在数据复杂性方面，数据种类繁多，在编码方式、存储格式、应用特征等多个方面也存在多层次、多方面的差异性，结构化、半结构化、非结构化数据并存;

在数据价值方面，数据规模增大到一定程度之后，隐含于数据中的知识的价值也随之增大。

结构化与非结构化

inflated大数据是肥胖的。大数据的大不仅仅体现在数据记录的行数多，更体现在字段变量的列数多，这就为分析多因素之间的关联性带来了难度。

unstructured大数据是非结构化的。大数据的结构也是非常复杂的，既包括像交易额、时间等连续型变量，像性别、工作类型等离散型变量这样传统的结构化数据，更增添了如文本、社会关系网络，乃至语音、图像等大量新兴的非结构化数据，而这些非结构化数据蕴含的信息量往往更加巨大，但分析手段却略显单薄。

incomplete大数据是残缺的。在现实的世界里，由于用户登记的信息不全、计算机数据存储的错误等种种原因，数据缺失是常见的现象。

abnormal大数据是异常的。在现实的世界里，大数据里还有不少异常值（outlier）。比如某些连续型变量（如一个短期时间内的交易金额）的取之太大，某些离散型变量（如某个被选购的产品名称）里的某个水平值出现的次数太少。

数据库系统

在这样一个计算领先的时代当中，我们主要做的是结构化数据的挖掘。关系数据库之父埃德加在1970年提出一个关系模型，以关系代数为核心运算，用二维表形式表示实体和实体间的联系。

关系代数是关系数据库的形式化理论和约束，先有顶层设计和数据结构，后填入清洗后的数据。数据围绕结构转，数据围绕程序转。用户无需关心数据的获取、存储、分析以及提取过程。

随着数据库产业的膨大，人们对数据库已经不太满足了，于是把databases说成大数据，这便遇到了两个不可回避的挑战，第一个挑战是由于关系代数的形式化约束过于苛刻，无法表示现实数据;第二个挑战是随着数据量的增大，关系代数运算性能急剧下降。

因此，客户端服务器结构和云计算结构蓬勃产生，这时已经没有了关于代数那样严格的形式化约束，依靠的主要是规范、标准，所有媒体均以实体形式存在，甚至是软件，实体通过超链接产生联系。