xieyuchen@
方案联盟
•
11 ,
12
13
14
方案联盟
•
•
•
•
方案联盟
BI
…
-
方案联盟
BI
方案联盟
方案联盟
方案联盟
•
• Binlog
•
• 850+
• +
方案联盟
•
•
•
•
• 1100+
•
方案联盟
方案联盟
方案联盟
方案联盟
• ,
•
•
• 42P+
• 150K /
• 2500+ , 3
• 16K
方案联盟
ETL
方案联盟
方案联盟
•
•
• SLA
•
方案联盟
方案联盟
方案联盟
方案联盟
方案联盟
BI
方案联盟
BI -
方案联盟
BI -
方案联盟
2011 2012 2013 2014 2015 2016
“ ”
PHP
SQL
ETL
SQL
Hadoop
ETL
Binlog
YARN
Spark
Hadoop
&
SLA
OLAP
方案联盟
2011 2012 2013 2014 2015 2016
“ ”
PHP
SQL
ETL
SQL
Hadoop
ETL
Binlog
YARN
Spark
Hadoop
&
SLA
OLAP
方案联盟
2011 2012 2013 2014 2015 2016
“ ”
PHP
SQL
ETL
SQL
Hadoop
ETL
Binlog
YARN
Spark
Hadoop
&
SLA
OLAP
方案联盟
2011 2012 2013 2014 2015 2016
“ ”
PHP
SQL
ETL
SQL
Hadoop
ETL
Binlog
YARN
Spark
Hadoop
&
SLA
OLAP
方案联盟
2011 2012 2013 2014 2015 2016
“ ”
PHP
SQL
ETL
SQL
Hadoop
ETL
Binlog
YARN
Spark
Hadoop
&
SLA
OLAP
方案联盟
2011 2012 2013 2014 2015 2016
“ ”
PHP
SQL
ETL
SQL
Hadoop
ETL
Binlog
YARN
Spark
Hadoop
&
SLA
OLAP
方案联盟
• Hadoop NameSpace
•
• OLAP
方案联盟
Hadoop
•
• 15 , 500
• 9
• 15 6 1000 , 15 12
1500
• ,
方案联盟
Hadoop
• Hadoop
• ,
• Hadoop ,
• Hadoop
• App container
• DataNode
• HDFS pipeline
方案联盟
Hadoop
•
• , NameSpace
•
• YARN ,
• HDFS addBlock , client DataNode
pipeline. client .
• HDFS Balancer
• Balancer , Block /
方案联盟
Hadoop -
246
420
611
1110
1894
1985
2460
0
500
1000
1500
2000
2500
3000
cq
dx
rz
all
方案联盟
Hadoop
•
• ,
• ,
•
方案联盟
•
• Hadoop/Spark
• , ,
• ,
• / ,
• Spark , /
方案联盟
•
•
• , ,
•
• ipython notebook+spark zeppelin
• , bug / &
• ,
方案联盟
user code…
git push…
托管平台注册…Hadoop作业管理
Hadoop作业编译、执⾏…
方案联盟
方案联盟
OLAP
•
• , 50
• , 20
• TP99 < 3S
•
•
方案联盟
OLAP
•
• Presto / Hive / Spark on ORC File
• Hive grouping set HBase +
• Druid
• ElasticSearch
• Kylin
方案联盟
OLAP
•
• , , , ,
Kylin,
• Star Schema Benchmark, OLAP
,
• ,
方案联盟
Kylin - OLAP
方案联盟
StarSchemaBenchmark
方案联盟
OLAP
•
• Presto Druid
• BI 7
• 7 -> 1~2
• 3 , TP95% 1s ,
2
方案联盟
•
• ,
• ,
• ,
方案联盟
•
•
• ,
• ,
方案联盟
•
• &
• patch
•
• &
方案联盟
方案联盟
