公告
互动

主页 > 综合资讯 > 探秘丨热映大片背后的数据挑战

探秘丨热映大片背后的数据挑战

来源:网络资讯 作者:test2014 人气: 发布时间:2018-04-14 09:51

随着我国互联网、文化产业的快速发展,如今春节7天假期里不只有饺子和春晚,更有三五好友在电影院里共度的欢乐时光。

在刚刚过去的春节档,萌系风格的《捉妖记2》、无厘头搞笑的《唐人街探案2》、场面火爆的《红海行动》都是贺岁档国内影迷的热宠。根据统计,2018年春节7天全国总票房达到56.8亿,同比增长68%。而在这之中,新华三大数据所支撑的国内著名影视投资公司在7天内实现了3.7亿票房,同样刷新了历史记录。

作为该著名影视投资公司大数据的供应商,新华三是如何高效保障该公司的大数据挑战的呢?

探秘丨热映大片背后的数据挑战

首当其冲的挑战:全国近500家影院数据采集

探秘丨热映大片背后的数据挑战

该公司目前在全国的177座城市拥有近500家影院,3年内将突破1000家。面对数量如此庞大的分支机构及其每日产生的海量数据,如何通过窄带宽实现大面积、远距离的数据采集,如何应对全国高并发的数据入库压力,如何实现海量数据的在线清洗、转换合并,如何快速实现对数据的高效建模分析为业务决策提供支持是该公司大数据工程的首要挑战。因此,该项目中大数据系统首先要满足海量数据的实时采集存储和计算的需求。

与此同时,不同的观影喜好、不同的票价、不同的销售策略亦要求该公司拥有一套高效的大数据分析系统来实现精准用户画像、为影院动态排片,动态调整策略提供支持。

不仅如此,由于电影在春节、暑假、大片档期间观影人数会突发的成倍增长,春节甚至达到了近10倍的增长;因此,大数据系统还要求能应对各种突发观影热潮所带来的数据压力。

新华三大数据保障影视投资公司春节档数据压力

作为国内顶尖的大数据解决方案提供商,新华三采用新一代DataEngine数据引擎为该影视投资公司构建了一套高性能、高可靠的大数据平台。

在数据采集侧,通过DataEngine数据集成引擎,凭借其数十倍于其他数据集成工具的性能,可以在25000个业务并发的情况下实现远距离的数据采集和处理。同时,凭借业界创新的模板功能,只需要创建一家影院的数据ETL模板,剩余的500多家的影院的ETL任务,可直接通过模板复制的方式进行创建,避免了挨个影院手动创建ETL任务的繁琐操作,大大减少了项目实施的工作量,同时还方便客户对500多家影院的ETL任务批量管理。不仅如此,通过构建网络环境判断模板,数据补采模板,可实现在网络故障、设备故障恢复后的影院数据的自动补采,实现“无人值守“的目标,进一步降低用户的管理成本。

而在存储计算侧,新华三DataEngine存储计算引擎为客户搭建了两套大数据存储系统,分别满足非结构化和结构化数据的存储需求。同时,为了应对前端数据采集性能和后端数据入库性能之间的差异,新华三还在数据集成平台及存储平台之间使用优化的分布式消息队列,实现对数据的缓存,有效解决了高并发写入的数据库锁表等问题,大大降低了数据的入库压力。

在数据分析侧,新华三DataEngine商务智能引擎对接后端数据库的海量数据,对数据进行高效的分析和多样化的可视化展现,实现对业务和财务等多个系统的高效支撑。

新华三大数据完美保障了该影视投资公司2018春节档的大数据处理压力。

探秘丨热映大片背后的数据挑战

大数据量数据井喷在物联网、智慧城市、区域医疗、区域教育等行业同样存在,新华三大数据解决方案,完美实现高并发采集、计算、挖掘展现等功能,帮您解决数据之忧。



转载请注明:探秘丨热映大片背后的数据挑战
免责声明:本文内容仅代表作者个人观点,不代表本站支持其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

主办技术支持单位湄洲资讯网(www.mzdnews.com) 网站备案号: 闽ICP备12008397号-4

投诉受理邮箱:ade2@qq.com

湄洲资讯网以新思路谋求发展,分享当下网络新鲜资讯,倡导弘扬社会文化,提高全民生活文化知识,建设美丽幸福家园!