19
Hadoop 在京东的应用
Embed Size (px)
DESCRIPTION
Hadoop 在京东的应用. 作者：唐红军 邮箱： [email protected]. 我的团队. 联系方式： [email protected]. 导航. 四纷 五落. - 历史状况. - 改进 - 第一代架构 - 挑战与解决方案. 众流 归海. - 变革 - 第二代架构 - 关键技术. 统一 分治. 历史状况. 现象 集群众多 规模小 版本不一 问题 资源不能合理分配 人力资源浪费 无法满足大数据对资源的要求. 导航. 四纷 五落. - 历史状况. - 改进 - 第一代架构 - 挑战与解决方案. 众流 - PowerPoint PPT Presentation
Citation preview
[email protected]
[email protected]
- - -- - - -
- - -- - - -
HDFSsqoopimpalahbaseMapred,hive,R,mahouthueoozie
- HDFSnamenode
- URLYOUNGFULL GC/,HdfshdfsZookeeperHbase///hdfs//
- hive
Jobtrackersmart
schedulerReduceNamenodecheckpointDatanodedatanode
-
- - -- - - -
/stormHbase
hadoop/Impala/spark
mysqlhbase/hdfsredis
- -----
-
-
-Geminifs3.0zxzxnkkakkkz/aa1axzzzznknknkknzknnBlockManagerBlockManagerHeartbeat
Block replicate checkBlock
managementDatanodeDatanodeDatanodeDatanodeNamenodeNamenodeNamenode1StorageNamespace
Thank you!19D39B7T. 028-65057196 F. 028-65057196E.
[email protected] www.jd.com
