大数据分析需求迫使数据存储范式发生巨大转变，从传统的基于块和文件的存储网络转向更具可扩展性的模型，如对象存储、横向扩展 NAS 和数据湖。
大数据分析需求迫使数据存储范式发生巨大转变，从传统的基于块和文件的存储网络转向更具可扩展性的模型，如对象存储、横向扩展 NAS 和数据湖。
这三种方案，两层循环效率是最低，而且随着数据量增大会有OOM的风险。
为了高效采集大数据，依据采集环境及数据类型选择适当的大数据采集方法及平台至关重要。下面介绍一些常用的大数据采集平台和工具。
固定投入更像基础建设，很难直接衡量每一块投入提升多少订单。因此只能做分类管理，对每一类渠道的基建投入，控制总量。而可变投入是直接和订单相关的，因此必须具体考核收益。如果投下去资源没有见到额外增长，就得复盘投入价值。
大数据是指无法在现有时间概念框架中用传统的数字技术工具进行感知、采集、管理、处理和服务的海量数据集合，具有容量大、产生速度快、类型繁多、信息价值大、冗余信息多四个特征。
绝大数公司建立数仓之初是没有考虑好数据治理怎么做的，因为数据部门刚开始成立，必然要有一些“数据驱动”的成果，而数据治理不能很好的体现这些业绩。所以，都是在业务发展的过程中，逐渐遇到了一些数据问题，才考虑做这件事的。
对于数据仓库项目而言，更需要的是一套策略，一套组合拳，不仅仅需要技术卓越、业务理解，还需要需求方、业务方在整体架构和流程上的配合。
