自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

砥砺前行的博客

大数据世界漫游

  • 博客(82)
  • 收藏
  • 关注

原创 史上最全从零搭建ELKB(Elasticsearch、Logstash、Kibana、Beat)分布式日志管理可视化平台之一

ELKB(Elasticsearch、Logstash、Kibana、Beat的组合)是一套开源的分布式日志管理方案。凭借其闭环的日志处理流程、高效的检索性能、线性的扩展能力、较低的运维成本等特点,ELKB在最近几年迅速崛起,成为实时日志处理开源领域的首要选择。详细资料可参考官网https://www.elastic.co/cn/start,本文不再赘述。

2023-03-03 10:30:24 1763 1

原创 antv g2plot可视化图表在vue中的使用之四:为图表添加事件

文章目录图表事件g2plot升级图表事件对图表进行个性化设置,包含基本的折线图的配置可参考g2plot官网教程(https://g2plot.antv.vision/zh/docs/manual/getting-started)不再赘述。下面以柱状图为例,也可在https://g2plot.antv.vision/zh/examples/column/basic在线修改查看实时效果。g2plot升级...

2020-10-16 16:46:25 3676 1

原创 antv g2plot可视化图表在vue中的使用之三:图表皮肤主题theme配置

文章目录参考资料参考资料https://www.yuque.com/antv/g2-docs/tutorial-theme 语雀AntV/G2 文档https://zhuanlan.zhihu.com/p/60812943 知乎antv 修改主题 背景色https://github.com/antvis/G2Plot/issues/1226

2020-09-22 16:28:39 4337

原创 antv g2plot可视化图表在vue中的使用之二:绘制折线图条形图柱状图

运行程序npm run serve修改首页绘制图型修改图例替换背景修改动效点击跳转

2020-09-21 10:27:45 7028 1

原创 antv g2plot可视化图表在vue中的使用之一:环境搭建

简介g2plot 是一套简单、易用、并具备一定扩展能力和组合能力的统计图表库,基于图形语法理论搭建而成,"g2plot"中的 g2 即意指图形语法 (the Gramma of Graphics),同时也致敬了 ggplot2。https://g2plot.antv.vision/zh/docs/manual/introductionAntV家族包括以下产品,可以在蚂蚁金服官方网站查看https://antv.vision/zh环境搭建关于Nodejs和vue环境的搭建可以参照前述文章https

2020-09-18 10:48:31 8249

原创 NodeJs+Vue+Element UI+Antd+Antv全栈开发可视化后台管理系统之一:搭建前端框架

文章目录简介Element UI安装@vue/cli快速上手运行程序修改首页新建页面后端接口参考资料简介全栈开发后台管理系统,包括前端界面和后端服务开发框架:NodeJs(Express) + Vue + Element UI本文前提是安装了Node.js>=8的版本。Nodejs安装可参考https://www.jianshu.com/p/13f45e24b1deElement UIElement UI是饿了么开发的一款Vue UI framework(https://element.

2020-09-16 10:35:03 2746

原创 Vue + Element UI + NodeJs(Express)全栈开发后台管理系统_笔记

文章目录说明Element UI简介安装@vue/cli快速上手运行程序npm run serve修改首页App.vue新建Vue页面后端接口index.js完整运行总结参考资料说明此文是针对“全栈之巅”,Nodejs全栈开发大佬的视频所做的笔记,加入了个人的一些理解,不完全模仿,适合新手Nodejs开发者入门,有点计算机基础的都可以直接上手,所见即所得。对于不了解或者没有接触过Nodejs的同学,此文尽量做到通俗易懂,可以直接搭建出完整的前后端框架,后续有复杂的功能可以在此基础上添加。至于Nodejs

2020-09-15 16:41:16 5788 7

原创 Vuepress+Nodejs+Webpack+Markdown搭建侧边栏博客系统或API文档

这里写自定义目录标题参考资料欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入参考...

2020-09-15 09:49:19 1037

原创 用两个栈实现一个队列

import java.util.Stack;public class MyQueue { public Stack<Integer> s1; public Stack<Integer> s2; public MyQueue(Stack<Integer> s1, Stack<Integer> s2) { ...

2019-04-16 16:45:10 159

原创 [LeetCode]102. Binary Tree Level Order Traversal

题目Given a binary tree, return the level order traversal of its nodes' values. (ie, from left to right, level by level).//按层遍历二叉树,返回二位数组,null值跳过。For example:Given binary tree [3,9,20,null,null,15,7...

2019-03-31 21:36:23 193

原创 二叉树的前序遍历、中序遍历、后序遍历、深度优先搜索、广度优先搜索

/** * Definition for a binary tree node. * public class TreeNode { * int val; * TreeNode left; * TreeNode right; * TreeNode(int x) { val = x; } * } */前序遍历(Pre-order)public v...

2019-03-31 20:06:36 1418

原创 [LeetCode]300. Longest Increasing Subsequence

题目https://leetcode.com/problems/longest-increasing-subsequence/Given an unsorted array of integers, find the length of longest increasing subsequence.//求无序数组的最长递增序列长度。Example:Input: [10,9,2,5,3...

2019-03-31 00:56:21 120

原创 [LeetCode]70. Climbing Stairs

题目You are climbing a stair case. It takes n steps to reach to the top.Each time you can either climb 1 or 2 steps. In how many distinct ways can you climb to the top?Note: Given n will be a posit...

2019-03-30 20:41:29 154

原创 [LeetCode]206.Reverse Linked List

文章目录题目Approach题目https://leetcode.com/problems/reverse-linked-list/Reverse a singly linked list.//反转一个链表Example:Input: 1->2->3->4->5->NULLOutput: 5->4->3->2->1->NU...

2019-03-29 09:42:57 200

原创 Java中的反射机制和动态代理

反射机制Java中的许多对象在运行时都会出现两种类型:编译时类型和运行时类型。如Person p = new Student();将会产生一个p变量,该变量的编译时类型为Person,运行时类型为Student。又如程序运行时接收到外部传入的一个对象,编译时类型为Object,运行时需要调用运行时的类型的方法。这种在编译时无法预知要使用哪个类型的情形,需要使用反射机制,即运行时获得类信息。通常...

2019-03-27 01:16:39 437

原创 Spark编程指南之十 :SparkSQL操作

读取文件val df = spark.read.format(“json”).load(“in/test.json”);df.printSchema()Columnsexprexpr(&amp;amp;amp;amp;amp;amp;amp;quot;&amp;amp;amp;amp;amp;amp;amp;quot;)中可以填入表达式来完成查询操作。Bucketing, Sorting and Partitioningdf.select与spark.sqlL

2019-03-10 22:03:08 570

原创 Spark编程指南之九:SparkSQL基础知识

简介SparkSQL是Spark处理结构化数据的一个模块,使用SQL或者Dataset API来与数据交互,两者使用的执行引擎是一样的。Dataset是分布式的数据集合,DataFrame是一种特殊的Dataset,好比关系型数据库中的表。Starting Point: SparkSessionimport org.apache.spark.sql.SparkSessionval spar...

2019-03-09 01:26:31 555

原创 Spark编程指南之八:共享变量、广播变量、累加器

Spark编程指南之三:共享变量问题:怎样统计到底有多少行i=i+1line,line.size并未返回到driver端。可以用来统计性能

2019-03-08 15:27:28 387

原创 Spark编程指南之七:RDD持久化及缓存

RDD持久化及缓存多次action时缓存RDDStorageLevel源码解读cache和persist的区别是什么?对于迭代算法,缓存和持久化是一个重要的工具。RDD持久化存储级别如何选择:Spark的存储级别是为了在内存使用和CPU效率之间提供不同的权衡,具体选择哪个存储级别,可以从以下方面考虑:如果RDDs数据适合默认存储级别(MEMORY_ONLY),那么就是用默认存储级别...

2019-03-06 23:01:17 496

原创 Spark编程指南之六:RDD Partition分区

文章目录RDD Partition属性partitionspartitions.sizepartitionerRDD的初始分区spark.default.parallelism通过RDD产生方式计算RDD分区数有多少个分区是合适的?Spark分区器HashPartitionerRangePartitioner代码示例数据量很大时,单个节点无法完全存储和计算,需要分割成多个数据块Block,Spa...

2019-03-06 11:08:09 1142

原创 大数据环境搭建之Flume环境搭建步骤详解

整体介绍收集、聚集、移动实时收集,通常与Storm和Spark集成使用,只能运行在Linux。数据源在Windows可以将目录挂载到Linux上(NFS)。环境准备三台Linux机器、JDK1.6以上https://flume.apache.org/download.htmlhttps://archive.apache.org/dist/flume/ 下载apache-flume-1.6...

2019-02-28 13:58:56 2400

原创 CentOS7安装Nginx

文章目录使用yum命令安装查看安装命令Nginx的默认路径启动NginxWeb访问使用yum命令安装yum install -y nginx查看安装命令whereis nginxnginx: /usr/sbin/nginx /usr/lib64/nginx /etc/nginx /usr/share/nginx /usr/share/man/man8/nginx.8.gz /usr/...

2019-02-26 14:14:06 226

原创 Storm实时流处理原理与实践之二:Storm分布式集群部署启动及Web界面查看

文章目录整体介绍环境准备安装配置解压安装包配置文件storm.yaml配置环境变量同步到其他机器启动集群启动Zookeeper启动Nimbus配置整体介绍前一篇介绍了Storm的基本概念和系统架构,本文将搭建Storm集群环境,并运行Storm自带的示例程序。环境准备三台Linux机器、JDK1.8以上、Hadoop、Zookeeper集群环境、Storm1.0.6从官网下载apache...

2019-01-27 14:05:06 568

原创 HBase基本原理与系统架构

文章目录数据模型(Data Model)HBase基本原理:数据模型系统架构Zookeeper分区Region物理模型读取流程Region分割数据模型(Data Model)HBase中的表也有行和列,但是跟关系数据库中不同HBase基本原理:数据模型命名空间namespace对一组表进行逻辑分组,类似schemaRowKey 可以水平分区,需要进行设计,会影响排序HBase特有的...

2019-01-20 00:52:02 293

原创 大数据环境搭建之HBase完全分布式环境搭建步骤详解

文章目录整体介绍环境准备安装配置解压安装包配置文件hbase-env.shhbase-site.xml配置环境变量配置Region Server配置Backup Master同步到其他机器启动集群整体介绍前一篇文章搭建了伪分布式环境,本文将搭建HBase集群环境。HBase运行在Hadoop之上,此处使用三台Linux机器搭建完全分布式环境。环境准备三台Linux机器、JDK1.8以上、H...

2019-01-19 15:28:51 348

原创 Kafka编程指南之三:生产者API实战

文章目录搭建环境producer.send(record);consumerString String问答20181223什么是中间件?设计topic和分区的时候没有考虑到吞吐量?主要API?消息保留期传统的消息传递方法有哪些?消息队列对比三种语义前一篇文章用控制台命令实践了Kafka的消息生产和消费,接下来用Java编写生产者和消费者程序。生产者先声明一个ProducerRecord对象,包...

2019-01-14 01:26:00 505

原创 Kafka编程指南之二:消息的物理存放路径

kafka编程指南之二:消息的存放路径上一篇中Topic:firsttopic PartitionCount:3 ReplicationFactor:2 Configs:Topic: firsttopic Partition: 0 Leader: 1 Replicas: 1,2 Isr: 1,2Topic: firsttopic Partition: 1 Leader: 2 Replica...

2019-01-13 01:42:18 3114

原创 Python安装Anaconda开发环境

文章目录安装环境下载安装包修改安装包镜像服务器目录Python运行Python IDE PyCharm交互式界面jupyterPython工具包安装Python适用于数据分析和机器学习领域的开发,Python的第三方工具包已达到10万多,为方便使用工具包及Python版本管理,本文使用Anaconda来作为Python的开发环境安装。另外,使用PyCharm作为开发编辑器。Python在金融领域...

2019-01-13 01:24:57 255

原创 Storm实时流处理原理与实践之一:Storm基本概念

文章目录简介Storm流处理概念Storm架构简介Apache Storm是一个分布式的实时计算框架,用于实时分析、机器学习、连续计算、分布式RPC、ETL等等。Storm的topology消费数据流,对数据流做各种复杂处理,可以分区并在各个阶段stage对流做计算。Storm内在的并发机制使得可以达到高吞吐量和低延时。Storm流处理概念Storm需要掌握以下几个概念:Topology...

2019-01-09 01:38:53 534

原创 设计模式原理及大数据实践之一:手写一个单例模式

单例模式错误的例子

2019-01-06 18:25:49 1610

原创 Spark编程指南之五:Spark集群相关参数配置

spark集群相关配置

2019-01-02 09:44:08 751

原创 kafka编程指南之一:控制台生产者和消费者

文章目录启动Kafka创建Topic(kafka-topics.sh --create)启动生产者(kafka-console-producer.sh)启动消费者(kafka-console-consumer.sh)发送消息查看Topic情况describe列出所有的topic - - list描述一个topic情况 - -describe启动Kafka按前一篇文章大数据环境搭建之Kaf...

2019-01-02 02:15:05 2838

原创 Spark编程指南之四:Spark分布式集群模式的运行时系统架构

文章目录官方集群模式介绍Cluster Manager有哪些?StandaloneApache MesosHadoop YARNKubernetesStandalone模式架构与作业执行流程申请资源分配资源注册发送任务执行任务参考链接官方集群模式介绍Spark官方网站https://spark.apache.org的Deploying菜单下给出了集群模式的简单介绍(可查看https://spar...

2018-12-31 11:58:44 205

原创 大数据环境搭建之Kafka完全分布式环境搭建步骤详解

文章目录环境准备解压安装配置文件服务启动1、启动分布式集群的zookeeper2、启动Kafka服务伪分布式搭建完毕之后,只要稍作修改就可以变为完全分布式。环境准备Linux:CentOSZookeeper:Kafak内置了zookeeperKafka: Scala 2.11-kafka_2.11-1.0.0.tgz(asc,sha512)下载链接https://kafka.apach...

2018-12-23 13:10:17 525

原创 Spark编程指南之三:RDD基本概念

RDD是什么?RDD(Resilient Distributed Dataset),弹性分布式数据集,是Spark的核心数据结构抽象。它是弹性的,具有容错能力,能够重新计算失败结点。它是分布式的,数据分布在多个结点上。它是一个数据集,可以从外部加载数据,可以是文本文件,JSON,数据库等。RDD有哪些特性?内存计算、延迟计算、容错性、不可变性、逻辑分区、持久化策略、数据本地性。RDD...

2018-12-20 00:55:12 155

原创 Spark编程指南之二:向Spark算子传递函数

为鹅鹅鹅

2018-12-18 22:26:23 514

原创 HBase Shell基本操作

文章目录启动hbase shell查看数据库列表list创建一个表,包括一个列簇查看某一张表的介绍desc插入数据put获取数据get禁用启用表删除表启动hbase shellhbase shell查看数据库列表list末尾不需要加分号,直接回车hbase(main):001:0&amp;amp;amp;amp;gt; listTABLE ...

2018-12-18 10:45:50 300

原创 JVM内存模型详解

2018-12-17 22:33:57 104

原创 JAVA的垃圾回收机制(GC)

什么是垃圾回收?如何判断对象是否存活?有几种算法?

2018-12-17 22:16:10 1036

原创 JAVA类文件Class内部结构

文章目录JAVA的平台无关性怎么实现的?JAVA的类文件结构?魔数与版本常量池访问标志类索引父类索引与接口索引集合字段表集合方法表集合属性表集合Class文件的基础单位是什么?方法里的JAVA代码编译成字节码后存放在哪里?子类方法表会不会有父类的方法?参考资料JAVA的平台无关性怎么实现的?字节码是构成平台无关系的基石。JAVA在刚刚诞生时就提出"Write Once, Run Anywher...

2018-12-17 00:53:31 155

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除