成为天翼云VIP客户免费试用天翼云数据湖探索,天翼云VIP客户免费申请注册地址:9i0i.cn/ctyun,天翼云VIP客户免费申请中文网址:天翼云VIP注册.来吧.我爱你
天翼云数据湖探索具有如下优势:
数据湖探索完全兼容Apache Spark、Apache Flink生态和接口,是集实时分析、离线分析、交互式分析为一体的Serverless大数据计算分析服务。线下应用可无缝平滑迁移上云,减少迁移工作量。采用批流融合高扩展性框架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数据处理需求。产品内核及架构深度优化,综合性能是传统MapReduce模型的百倍以上,SLA保障99.95%可用性。存算分离架构,存储资源和计算资源按需灵活配置,提高了资源利用率,降低了成本。
图1 DLI Serverless架构
与传统自建Hadoop集群相比,Serverless架构的数据湖探索还具有以下优势:
表1 数据湖探索与传统自建Hadoop集群对比的优势
优势 |
维度 |
数据湖探索 |
自建Hadoop系统 |
低成本 |
资金成本 |
按照实际扫描数据量或者CU时收费,可变成本,成本可节约50%。 |
长期占用资源,资源浪费严重,成本高。 |
弹性扩缩容能力 |
基于容器化Kubernetes,具有极致的弹性伸缩能力。 |
无。 |
|
免运维 |
运维成本 |
即开即用,Serverless架构。 |
需要较强的技术能力进行搭建、配置、运维。 |
高可用 |
具有跨AZ容灾能力。 |
无 |
|
高易用 |
学习成本 |
学习成本低,包含10年、上千个项目经验固化的调优参数。同时提供可视化智能调优界面。 |
学习成本高,需要了解上百个调优参数。 |
支持数据源 |
|
|
|
生态兼容 |
DLV、Tableau、Superset、永洪BI、帆软。 |
大数据生态工具。 |
|
自定义镜像 |
支持,满足业务多样性。 |
无。 |
|
工作流调度 |
DGC-DLF调度。 |
自建大数据生态的调度工具,如Airflow。 |
|
企业级多租户 |
基于表的权限管理,可以精细化到列权限。 |
基于文件的权限管理。 |
|
高性能 |
性能 |
基于软硬件一体化的深度垂直优化。 |
大数据开源版本性能。 |
海量日志分析
• 游戏运营数据分析
游戏公司不同部门日常通过游戏数据分析平台,分析每日新增日志获取所需指标,通过数据来辅助决策。例如:运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等,了解游戏当前状态及后续响应活动措施;投放部门通过平台获取新增玩家、活跃玩家的渠道来源,来决定下一周期重点投放哪些平台。
• 优势
o 高效的Spark编程模型:使用Spark Streaming直接从DIS中获取数据,进行数据清理等预处理操作。只需编写处理逻辑,无需关心多线程模型。
o 简单易用:直接使用标准SQL编写指标分析逻辑,无需关注背后复杂的分布式计算平台。
o 按需计费:日志分析按实效性要求按周期进行调度,每次调度之间存在大量空闲期。数据湖探索按需计费只在使用期间收费,成本较独占队列降低50%以上。
异构数据源联邦分析
• 车企数字化服务转型
面临市场新的竞争压力及出行服务不断变革,车企通过构建车联云平台和车机OS,将互联网应用与用车场景打通,完成车企数字化服务转型,从而为车主提供更好的智联出行体验,增加车企竞争力,促进销量增长。例如:通过对车辆日常指标数据(电池、发动机,轮胎胎压、安全气囊等健康状态)的采集和分析,及时将维保建议回馈给车主。
• 优势
o 多源数据分析免搬迁:关系型数据库RDS中存放车辆和车主基本信息,表格存储CloudTable中存放实时的车辆位置和健康状态信息,数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁,对多数据源进行联邦分析。
o 数据分级存储:车企需要保留全量历史数据支撑审计类等业务,低频进行访问。温冷数据存放在低成本的对象存储服务OBS上,高频访问的热数据存放在数据引擎中,降低整体存储成本。
o 告警快速敏捷触发服务器弹性伸缩:对CPU、内存、硬盘空间和带宽无特殊要求。
成为天翼云VIP客户免费试用天翼云数据湖探索,天翼云VIP客户免费申请注册地址:9i0i.cn/ctyun,天翼云VIP客户免费申请中文网址:天翼云VIP注册.来吧.我爱你