Skip to content
/ mdrill Public
forked from alibaba/mdrill

阿里妈妈-adhoc-海量数据多维自助即席查询平台-mdrill

License

Notifications You must be signed in to change notification settings

aspcat/mdrill

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

51 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

项目简介

1:mdrill是阿里妈妈-adhoc-海量数据多维自助即席查询平台下的一个子项目。
2:mdrill旨在帮助用户在几秒到几十秒的时间内,分析百亿级别的任意维度组合的数据。
3:mdrill是一个分布式的在线分析查询系统,基于hadoop,lucene,solr,jstorm等开源系统作为实现,基于SQL的查询语法。 mdrill是一个能够对大量数据进行分布式处理的软件框架。mdrill是快速的高性能的,他的底层因使用了索引、列式存储、以及内存cache等技术,使得数据扫描的速度大为增加。mdrill是分布式的,它以并行的方式工作,通过并行处理加快处理速度。
4:基于mdrill应用的adhoc项目,使用了10台机器,存储了400亿的数据
  ==>每次扫描30亿的行数,响应时间在20秒~120秒左右(取决不同的查询条件与扫描的列数)。
  ==>对100亿数据进行count(*),耗时为2秒,单列sum耗时在25秒,按照日期分组求count和sum耗时47秒,按照用户id分组并且按照成交笔数排序去TopN 耗时 243秒。

发行日志

2013.7.24 version 0.18-beta 初始化版本
2013.8.07 version 0.18.1-beta bug fix see detail
2013.8.17 version 0.18.2-beta speed up see detail (推荐版本)

版本源码路径

https://github.com/alibaba/mdrill/tree/master/release

资源列表

mdrill Core contributors

jstorm Core contributors

其他

About

阿里妈妈-adhoc-海量数据多维自助即席查询平台-mdrill

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published