⼤大数据平台的应⽤用化、场景化及服务化实践

迟连义 | ⻘青云QingCloud ⼤大数据平台研发⼯工程师

►⻘青云QingCloud ⼤大数据平台架构

►⼤大数据产品云化瓶颈

►⻘青云QingCloud AppCenter 2.0 简介

►⼤大数据应⽤用 + AppCenter 2.0

Agenda

⻘青云QingCloud 企业级⼤大数据平台

Object Storage

HDFS

VM / Container

ZooKeeper

HBaseMongoDB

Storm Spark Hadoop MR&Hive

Kafka

Memcached Redis

ElasticSearch/ELK

Hue Management UI & Oozie

⼤大数据管理理平台

⼤大数据产品云化瓶颈

云化周期⻓长 产品间组合复杂产品特别多

►⾼高度抽象多种类型的分布式应⽤用，使云上交付与使⽤用应⽤用变

得简单及标准化

►⼀一个全新的云操作系统，贯穿资源与应⽤用的平台

AppCenter 2.0

功能与技术特性

►通过声明式模版定义前端⽤用户配置

► config.json

►应⽤用实例例基础架构、⽣生命周期管理理及⾃自定义监控告警 ► cluster.json.mustache

►多语⾔言翻译

► locale/en.json

► locale/zh-cn.json

模版化开发部署框架

上传配置⽂文件

►应⽤用间⾃自主感知，打破应⽤用间的孤⽴立，⼤大幅提⾼高系统的运维效率

►通过应⽤用的嵌套及组合，⼤大幅简化构建复杂系统的复杂度

►以应⽤用为粒度的可视化编排

应⽤用编排

►⼀一套框架同时⽀支持基于 KVM/Docker/

LXC 三种技术体系构建应⽤用，并提供完

整的应⽤用编排与管理理能⼒力力

►兼容 Kubernetes，Mesos 及 Docker

Swarm

► QingCloud SDN passthrough ⼤大幅提⾼高

容器器平台⽹网络效率

⽀支持虚拟化和容器器应⽤用

管理理、计费、财务、⽇日志、⼯工单等运维及运营功能

运维和运营管理理系统

⼤大数据平台 on AppCenter 2.0 What's Next? Kylin Flink TensorFlow Caffe Cassandra Flume Solr Neo4j Druid ......