站长网 大数据 技术向:如何设计企业级大数据分析平台?

技术向:如何设计企业级大数据分析平台?

副标题#e# 传统企业的OLAP几乎都是基于关系型数据库,在面临“大数据”分析瓶颈,甚至实时数据分析的挑战时,在架构上如何应对?本文试拟出几个大数据OLAP平台的设计要点,意在抛砖引玉。 突破设计原则 建设企业的大数据管理平台(Big Data Management Plat

副标题#e#

技术向:如何设计企业级大数据分析平台?

传统企业的OLAP几乎都是基于关系型数据库,在面临“大数据”分析瓶颈,甚至实时数据分析的挑战时,在架构上如何应对?本文试拟出几个大数据OLAP平台的设计要点,意在抛砖引玉。

突破设计原则

建设企业的大数据管理平台(Big Data Management Platform),第一个面临的挑战来自历史数据结构,以及企业现有的数据库设计人员的观念、原则。数据关系、ACID在关系数据库几十年的统治时期是久得人心,不少开发人员都有过为文档、图片设计数据表,或将文档、图片序列化为二进制文件存入关系数据库的经历。在BDMP之上,我们需要对多种不同的格式的数据进行混合存储,这就必须意识到曾经的原则已经不再适用——One size dosen’t fit all,新的原则——One size fits a bunch.

以下是我列出的一些NoSQL数据库在设计上的模式:

文档数据库:数据结构是类JSON,可以使用嵌入(Embed)或文档引用(Reference)的方式来为两个不同的文档对象建立关系;

列簇数据库:基于查询进行设计,有宽行(Wild Rows)和窄行(Skinny Rows)的设计决策;

索引数据库:基于搜索进行设计,在设计时需要考虑对对每个字段内容的处理(Analysis)。

搜索和查询的区别在于,对返回内容的排序,搜索引擎侧重于文本分析和关键字权重的处理上,而查询通常只是对数据进行单列或多列排序返回即可。

数据存储的二八原则

不少企业在解决海量数据存储的问题上,要么是把关系数据库全部往Hadoop上一导入,要么是把以前的非结构化数据如日志、点击流往NoSQL数据库中写入,但最后往往发现前者还是无法解决大数据分析的性能瓶颈,后者也无法回答数据如何发挥业务价值的问题。

在数据的价值和使用上,其实也存在着二八原则:

20%的数据发挥着80%的业务价值;

80%的数据请求只针对20%的数据。

目前来看,不管是数据存储处理、分析还是挖掘,最完整和成熟的生态圈还是基于关系型数据库,比如报表、联机分析等工具;另外就是数据分析人员更偏重于查询分析语言如SQL、R、Python数据分析包而不是编程语言。

企业大数据平台建设的二八原则是,将20%最有价值的数据——以结构化的形式存储在关系型数据库中供业务人员进行查询和分析;而将80%的数据——以非结构化、原始形式存储在相对廉价的Hadoop等平台上,供有一定数据挖掘技术的数据分析师或数据工程师进行下一步数据处理。经过加工的数据可以以数据集市或数据模型的形式存储在NoSQL数据库中,这也是后面要讲到的“离线”与“在线”数据。

理解企业的数据处理需求

数据库到数据仓库,是事务型数据到分析型数据的转变,分析型数据需要包括的是:分析的主题、数据的维度和层次,以及数据的历史变化等等。而对大数据平台来说,对分析的需求会更细,包括:

查询:快速响应组合条件查询、模糊查询、标签

搜索:包括对非结构化文档的搜索、返回结果的排序

统计:实时反映变化,如电商平台的在线销售订单与发货计算出的库存显示

挖掘:支持挖掘算法、机器学习的训练集

针对不同的数据处理需求,可能需要设计不同的数据存储,还需要考虑如何快速地将数据复制到对应的存储点并进行合适的结构转换,以供分析人员快速响应业务的需求。

离线数据与在线数据

根据不同的企业业务,对“离线”的定义其实不一样,在这里离线数据特指在业务场景中适用于“历史数据”的部分。常见的历史数据查询分析一般来自于特定时间段,设计上需要考虑的是将数据存入历史库中时,建立时间索引。另一种情况是某种业务问题的定位或分析,在数据量巨大的情况下,基于Hadoop或Spark等框架编写分析算法并直接在平台上运行,可以大大节约数据导出导入、格式转换与各种分析工具对接的时间。

在线数据处理按照存储和分析的先后顺序,可分为批处理(先存储后分析)和流处理(先分析后存储)两类。Cassandra数据库的设计采用上数据追加写入模式,可以支持实时批处理;流式计算平台则有Apache Storm、Yahoo S4等开源框架,商业平台有Amazon Kenisis(部署在云端)。企业的实时分析需求往往有特定的应用场景,需要对业务和现行系统有深入的理解才能设计出一个合理的架构。

via:Silent River 作者:Justina Chen

End.

#p#副标题#e##p#分页标题#e#


感谢你耐心的看完,鞠躬ing。
一直最用心,行业最强音。
如果你觉得内容对你有帮助,希望你转载到朋友圈分享给更多的人。
传递知识,传递快乐。

回复对应数字,查看对应系列文章

1
数据可视化 ?5篇系列文章
2
推荐系统 ? ? 5篇系列文章
3
机器学习 ? ?5篇系列文章
4
随机森林和支持向量机 ? 5篇系列文章
5
成为数据科学家 ? ? 5篇系列文章
6
大数据面试题 ? ? ? 5篇系列文章
7
大数据工具 ? ? ? ? ?5篇系列文章
8
?大数据应用案例 ?5篇系列文章
9
新手上路,数据行业入门学习5篇系列文章
36大数据是一个专注大数据创业、大数据技术与分析、大数据入门学习的商业新媒体。分享大数据在电商、移动互联网APP、医疗及金融银行等领域的落地应用。


36大数据是百度大数据首席战略合作媒体。也是WeMedia自媒体联盟成员。


网站:36dsj.com

?读者QQ群②:190771709
投稿邮箱:dashuju36@qq.com
扫一扫二维码关注我们,订阅每日最新干货

技术向:如何设计企业级大数据分析平台?

点击下方
“阅读原文”查看更多
↓↓↓
本文来自网络,不代表站长网立场,转载请注明出处:https://www.zwzz.com.cn/html/shuju/2021/0527/7142.html

作者: dawei

【声明】:站长网内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。
联系我们

联系我们

0577-28828765

在线咨询: QQ交谈

邮箱: xwei067@foxmail.com

工作时间:周一至周五,9:00-17:30,节假日休息