Elasticsearchにテストデータを流してLogFormatや動作確認をMacのDocker上で行うことを目的としたもの
makelogsとapache-loggen辺りは入れておいたほうが楽
- elasitc/makelogs: Elasticsearchに直接データを流し込むことができる
- apache-loggen: Apache httpdのアクセスログのダミーデータを生成できる。JSON出力も可能
- jqでJSONをLTSVに変換する@tkuchikiの日記: 実運用のログフォーマットはJSONよりLTSVにすることが多いので、apache-loggenをLTSVにしたいときのメモ
- elastic/example: Apache/Nginx/Twitter等のダミーログデータ等と�その使い方がLogstashやKibanaのダッシュボードデータとともに掲載されている
# Elastic Stackを起動
$ git clone [email protected]:st1t/my-elastic-stack.git
$ cd my-elastic-stack/
$ docker-compose up
# テストデータ投入
$ makelogs
Generating 14000 events from 2018-12-24T00:00:00Z to 2018-12-26T23:59:59Z
creating index template for "logstash-*"
indexing [================================================================================] 100% 0.0s
created 14000 events in 56 seconds.
$ curl localhost:9200/_cat/indices
green open .kibana_1 EQGH1AsiSMmZiMZRZLHW-g 1 0 4 0 22.5kb 22.5kb
green open logstash-0 BL6WClfsTRqau8ZwJDB9aw 1 0 14005 0 82.3mb 82.3mb
$
# Kibana上からも確認
$ open https://localhost:5601$ bash reset.sh
$ docker-compose up -dcat ~/Desktop/app.json | sed -e 's%"source":%"app_source":%g' -e 's%"trace":%"app_trace":%g' >> mount/filebeat/import/app.json