Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Apache Druid:一款高效的 OLAP 引擎 | 宇宙湾 #65

Open
asdf2014 opened this issue May 6, 2019 · 8 comments
Open

Apache Druid:一款高效的 OLAP 引擎 | 宇宙湾 #65

asdf2014 opened this issue May 6, 2019 · 8 comments

Comments

@asdf2014
Copy link
Owner

asdf2014 commented May 6, 2019

https://yuzhouwan.com/posts/5845/

基本概念概述 Apache Druid™ 是目前非常流行的高性能的,分布式列存储的 OLAP 框架(准确来说是 MOLAP)。它是一款可以快速(实时)访问大量的、很少变化的数据的系统。并被设计为,在面对代码部署、机器故障和生产系统的其他可能性问题时,依旧能 100% 地正常提供服务 特性分析事件流 Druid 支持对 event-driven 数据进行快速地高并发查询。还可以实时地摄入流式数据,并

@hoey94
Copy link

hoey94 commented Oct 11, 2019

能否略微指点一二怎么运行github的代码,https://github.com/apache/incubator-druid?files=1 我尝试拉下来了代码,apache antlr依赖下不下来,导致core模块报错

@asdf2014
Copy link
Owner Author

@Demo233
能否略微指点一二怎么运行github的代码,https://github.com/apache/incubator-druid?files=1 我尝试拉下来了代码,apache antlr依赖下不下来,导致core模块报错

最新的 mater 分支应该没问题的,是不是 maven 配置导致的,指定的仓库或者镜像有问题?

@hoey94
Copy link

hoey94 commented Oct 11, 2019

@asdf2014

@Demo233
能否略微指点一二怎么运行github的代码,https://github.com/apache/incubator-druid?files=1 我尝试拉下来了代码,apache antlr依赖下不下来,导致core模块报错

最新的 mater 分支应该没问题的,是不是 maven 配置导致的,指定的仓库或者镜像有问题?

感谢您百忙之中的回复!
我拉的是当前最新的一个tag:https://gitbox.apache.org/repos/asf?p=incubator-druid.git druid-0.16.0-incubating,我理解的是,这个版本应该比master更稳定。或者说,您更建议我用master?在0.16.0 tag中因为拉不下来jar包,使我无法用mvn package 成功完成编译。在编译core模块时报错,原因是缺少了依赖,在package org.apache.druid.math.expr;下使用了org.apache.druid.math.expr.antlr.* 的相关类,我尝试在中央仓库找,但是却找不到相关jar,只能找到io.druid.math.expr.*,我尝试引用了它但是并未成功。不清楚是不是因为项目在孵化阶段,所以没来得及将org.apache.druid.math.expr.antlr.*打包上传或更新到中央仓库?
除此之外我还拉不下来sigar-dist:zip:1.6.5.132,我在maven中央仓库找到了依赖,但是缺少了zip文件。
https://mvnrepository.com/artifact/org.hyperic/sigar-dist/1.6.5.132

@asdf2014
Copy link
Owner Author

@Demo233

@asdf2014

@Demo233
能否略微指点一二怎么运行github的代码,https://github.com/apache/incubator-druid?files=1 我尝试拉下来了代码,apache antlr依赖下不下来,导致core模块报错

最新的 mater 分支应该没问题的,是不是 maven 配置导致的,指定的仓库或者镜像有问题?

感谢您百忙之中的回复!
我拉的是当前最新的一个tag:https://gitbox.apache.org/repos/asf?p=incubator-druid.git druid-0.16.0-incubating,我理解的是,这个版本应该比master更稳定。或者说,您更建议我用master?在0.16.0 tag中因为拉不下来jar包,使我无法用mvn package 成功完成编译。在编译core模块时报错,原因是缺少了依赖,在package org.apache.druid.math.expr;下使用了org.apache.druid.math.expr.antlr.* 的相关类,我尝试在中央仓库找,但是却找不到相关jar,只能找到io.druid.math.expr.*,我尝试引用了它但是并未成功。不清楚是不是因为项目在孵化阶段,所以没来得及将org.apache.druid.math.expr.antlr.*打包上传或更新到中央仓库?
除此之外我还拉不下来sigar-dist:zip:1.6.5.132,我在maven中央仓库找到了依赖,但是缺少了zip文件。
https://mvnrepository.com/artifact/org.hyperic/sigar-dist/1.6.5.132

anltr 相关的类是本地编译出来的,和中央仓库没关系的。建议先了解下 anltr 相关知识,可以参考我的另一篇博客 https://yuzhouwan.com/posts/55501/

建议你将 maven 的 localRepository 目录下和 druid 相关的编译信息都清空掉,然后再重新编译,大致如下:

rm -rf /data/maven/repo/org/apache/druid/
mvn clean
mvn clean install -T 1C -DskipTests

@asdf2014
Copy link
Owner Author

@Demo233 老哥,问题有进展吗,方便分享一下不 😄

@Doslin
Copy link

Doslin commented Dec 1, 2019

  1. 大佬,在数据分析中使用Druid时,是使用Druid的JDBC更好还是,HTTP呢,如果是HTTP,有封装好的工具介绍吗,
    您更推荐哪种呢,可以谈谈你自己的看法吗
  2. 系统的数据量还挺大的

@asdf2014
Copy link
Owner Author

asdf2014 commented Dec 2, 2019

  1. 大佬,在数据分析中使用Druid时,是使用Druid的JDBC更好还是,HTTP呢,如果是HTTP,有封装好的工具介绍吗,
    您更推荐哪种呢,可以谈谈你自己的看法吗

可以试试 https://github.com/zapr-oss/druidry ,不是大佬。。

  1. 系统的数据量还挺大的

TB, PB or EB?

@Doslin
Copy link

Doslin commented Dec 2, 2019

  1. 大佬,在数据分析中使用Druid时,是使用Druid的JDBC更好还是,HTTP呢,如果是HTTP,有封装好的工具介绍吗,
    您更推荐哪种呢,可以谈谈你自己的看法吗

可以试试 https://github.com/zapr-oss/druidry ,不是大佬。。

  1. 系统的数据量还挺大的

TB, PB or EB?

TB级别

@asdf2014 asdf2014 pinned this issue Oct 27, 2020
Repository owner deleted a comment from Doslin Oct 29, 2020
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

3 participants