Skip to content

tzmvp/Golang_logCollect

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

13 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

海量日志收集服务logCollect

项目架构图

项目架构图

说明

logAgent从通过tailf从Etcd中获取要收集的日志信息从业务服务器读取日志信息,发往Kafka

logTransfer负责从Kafka读取日志,写入到Elasticsearch中

通过Kibana进行日志检索

最后通过Web界面控制Etcd管理日志配置


logAgent

logAgent架构

logAgent主要实现的功能

  • 可以自行配置要收集的日志文件

  • 从Etcd中获取日志收集项

  • 读取日志文件

  • 写入到Kafka中

  • logAgent可以同时运行多个日志收集任务

  • 实现实时配置项变更

  • 根据当前服务器的IP地址获取配置项

博客讲解

Golang实战之海量日志收集系统(一)项目背景介绍

Golang实战之海量日志收集系统(二)收集应用程序日志到Kafka中

Golang实战之海量日志收集系统(三)简单版本logAgent的实现

Golang实战之海量日志收集系统(四)etcd介绍与使用etcd获取配置信息

Golang实战之海量日志收集系统(五)根据etcd配置项创建多个tailTask

Golang实战之海量日志收集系统(六)监视etcd配置项的变更

logTransfer

项目架构图:

logTransfer架构

项目逻辑图:

logTransfer架构

logTransfer主要实现的功能

  • 将日志数据写入到Kafka中

  • 将消费的数据落地到Elastciseartch中

  • 通过Kibana进行展示

博客讲解

Golang实战之海量日志收集系统(七)logTransfer之从kafka中获取日志信息

Golang实战之海量日志收集系统(八)logTransfer之将日志入库到Elasticsearch并通过Kibana进行展示

logBeegoWeb

http:https://localhost:8080/index

项目管理:

项目申请:

日志列表:

日志申请:

About

基于Golang的海量日志收集服务logCollect

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Go 100.0%