ELK(Elasticsearch+Logstash+Kibana) Apacheのグラフ化まで

ホーム > 業務日誌 > スタッフ別 > > ELK(Elasticsearch+Logstash+Kibana) Apacheのグラフ化まで

JSON形式のデータからなんでもグラフにして遊んじゃおう!

今回はElasticsearch, Logstash, Kibanaを使ってローカルにデータ分析基盤を簡単に作りたいと思います。

 

役割

  • Logstash(データ抽出・転送) ⇒ Elasticsearch(分析基盤) ⇒ Kibana(表示)

こんな役割と流れになっています。ElasticsearchはMySQLなどのRDBMSみたいなものと考えて貰ってOKです!クエリのように、インデックスされたデータの抽出も出来ますよ。

 

 

環境

  • ESXi
  • CentOS7
  • CPU2, メモリ10GB

 

Apache WEBサーバのインストールと設定

 

Apacheのインストール

 

ログフォーマットの登録

 

 

バーチャルホストの設定

環境に合わせて下さいね。

 

 

公開ディレクトリの作成

 

反映させましょう!

 

http://yuutest.local/

何回かアクセスしてログを作っておいて下さいね。

 

 

 

 

Elasticsearchのインストール

 

リポジトリの設定

 

インストール

 

 

ElasticSearchの設定

 

 

 

Kibana設定

 

 

Elasticsearch Systemdカスタマイズ

 

Elasticsearchの対応

 

Elasticsearchの起動

 

 

ステータスの対応

Elasticsearchはメモリが足りないなどで、ステータスを確認して下さい。

 

 

Elasticsearch+Logstash+Kibana 起動・自動起動設定

 

 

 

起動・ポート状況確認

 

 

Logstashのコンフィグ設定

 

パーミッション設定

しなくてもデフォルトで読めるとは思います。

 

 

設定を読み込ませる

 

インデックス状況の確認

yuutest.local-(^-^)がインデックスされていますね。

 

実際にはこんな風にJSON形式でインデックスされています。

 

 

 

 

Kibanaにアクセスしよう

 

 

可視化ツールのKibanaにアクセスしましょうね。

http://サーバIP:9200/

 

  • Index pattern
    yuutest.local*
  • Time Fileter field name
    @timestamp

上記を入力して、【Create】をクリックしましょうね。

 

 

【Visualize】をクリックします。

 

 

 

 

【Create a visualization】をクリックしましょう。

 

 

 

【Vertical Bar】をクリックしましょう。

 

 

 

 

 

【yuutest.local*】とインデックス名をクリックします。

 

 

 

グラフのY軸設定を行います、【Y-Axis】をクリックして下さいね。

 

 

 

 

 

 

Y軸とX軸の設定をしよう

 

Y-Axis

  • Aggregation:Count
  • Custom Label:webAccess

 

X-Axis

  • Aggregation:Data Histogram
  • Field:@timestamp
  • Interval:Auto
  • Custom Label:Time

 

入力が終わったら、右上部のApply Changesで設定を反映しよう。

 

 

 

 

グラフが表示されました。

 

 

 

WEBサイトにアクセスし、次にKibanaのDiscoverにアクセスしましょう。リアルタイムにKibanaで確認出来れば、LogstashからElasticsearchを通してJSONデータを取得出来ていることがわかります。

 

JSON形式でデータベース化すれば、工夫次第であらゆるものを分析・可視化できるので、わくわく楽しんで下さいね。

 

お疲れ様です。

 

金広 優 (エンジニア)

この記事を書いた人:金広 優 (エンジニア)

システムガーディアン爆弾処理班。アクセス負荷対策やNginxへの移行案件が多いこの頃。IBM Cloud、AWSなどを扱ったクラウド、オフィスや商業施設のネットワーク構築案件が多くなっています。

この記事に関してのお問い合わせ
御連絡・ご返信は原則2営業日以内を予定しております。
お急ぎの場合は、お手数ですが下記電話でもご対応をしております。

システムガーディアン株式会社
受付時間:平日9:00~18:00
受付担当:坪郷(つぼごう)・加藤
電話:03-6758-9166