WO2014049804A1

WO2014049804A1 - 分散システムにおけるシステム動作トレース方法

Info

Publication number: WO2014049804A1
Application number: PCT/JP2012/075002
Authority: WO
Inventors: 山本　秀典; 恭福本; 外岡　秀樹
Original assignee: 株式会社日立製作所
Priority date: 2012-09-28
Filing date: 2012-09-28
Publication date: 2014-04-03
Also published as: JPWO2014049804A1; EP2902908A4; US20150169288A1; EP2902908A1

Abstract

　導入範囲・時期、準拠規格、ベンダ等の異なるシステムにおいて個々に蓄積及び管理されるログデータに対して、統一のインデックスを付与することは困難である。このため蓄積されたログデータからデータ及び動作の流れを追跡することは負荷がかかる。またログに出力されるデータの粒度も異なると、全てのログをユーザに提示しても、ユーザによっては理解困難もしくは不要なデータまで含まれる可能性がある。　(1)部分的な紐付け情報の組合せにより、ノード及びシステムを跨いでログをシーケンスに紐付ける。(2)アプリケーションデータの定義情報、システムの構成情報、等を参照して、送受信データ単位、アプリデータ単位、システム間データ単位、等のユーザの視点に基づく粒度での情報提示を行う。

Description

分散システムにおけるシステム動作トレース方法

　本発明は、スマートグリッドまたは電力等の分野において、ネットワークを介して相互接続した、複数の独立したノードにより構成され異なる主体のシステム間でも相互接続される分散システムを対象とする。このような分散システムにおいて、各々のノードにおける処理実行に伴い発生するログデータのフォーマット、取得方法等が異なるシステム範囲を跨いでのデータ及び動作の流れのトレースの方法に関する。

　コンピュータ・システムの運用管理（障害分析または異常現象など）を目的として、コンピュータの稼動状況を示すログ情報を収集する技術は各種開発されている。例えば特許文献１では、コンピュータの稼動状況を示すログ情報が記録されたログ情報記録部と、前記ログ情報記録部に記録されたログ情報から該ログ情報が記録された時刻と所定の文字列とを抽出し、所定の時刻形式に変換された時刻と所定のフォーマットに変換された所定の文字列とを含む汎用ログを作成する汎用ログ作成手段と、前記汎用ログ作成手段により作成された汎用ログを、前記所定の時刻形式に変換された時刻の順に記録する汎用ログ記録手段と、前記汎用ログ記録手段により記録された汎用ログを有する汎用ログ記録部と、前記汎用ログ記録部に記録された汎用ログに対応するログ情報の長さと該ログ情報中に現れる語の出現頻度とを含む特徴情報を前記ログ情報記録部から抽出する特徴情報抽出手段と、前記特徴情報抽出手段により抽出されたログ情報を図形化して前記ログ情報と共に前記所定の時刻形式に変換された時刻の順に表示する表示手段とを備えたことを特徴とするログ情報解析装置が提案されている。

特開２００１－３５６９３９号公報

　本発明が対象とするのは、スマートグリッド等の分野における分散システムであり、導入範囲・時期、準拠規格、ベンダ等の異なる１つ以上のシステムが相互に接続及び連携し、システムを跨いでのデータ及び動作の流れ起こり得るシステムである。ここでは個々に蓄積及び管理されるログデータに対して、統一のインデックスを付与することは困難である。このため蓄積されたログデータからデータ及び動作の流れを追跡することは負荷がかかる。またログに出力されるデータの粒度も異なると、全てのログをユーザに提示しても、ユーザによっては理解困難もしくは不要なデータまで含まれる可能性がある。

　しかしながら、上記特許文献１に開示された技術では、時刻をインデックスとして異種のログ情報を順に表示することを行っているが、本発明が対象とするシステムでは個々のログを出力、収集する計算機間で時刻が同期しているとは限らない、また例え時刻同期処理を行っても時刻同期の粒度よりもログ発生の時刻粒度の方が細かいために、ログデータ間の統一インデックスとして時刻は使用できない。

　本発明は、上述した課題を考慮したものであって、導入範囲・時期、準拠規格、ベンダ等の異なる１つ以上のシステムが相互に接続及び連携し、システムを跨いでのデータ及び動作の流れ起こり得るシステムにおいて、システム内またはシステム間でのデータ及び動作の流れのユーザによる追跡を容易化させ、またユーザ視点に基づく粒度での情報提示を行うための、分散システムにおけるシステム動作トレース方法を提供することを目的とする。

　上記課題を解決するため、本発明は以下の構成を備える。即ち、ネットワークを介して相互接続した、複数の独立したノードにより構成され、導入範囲・時期、準拠規格、処理内容、処理対象レイヤ等が異なるハードウェアまたはソフトウェアを導入し、処理実行に伴い前記ハードウェアまたはソフトウェアの仕様、データ形式に従い、ログデータを出力、蓄積する、１つ以上のノード、前記ノードにて出力するログデータを収集、蓄積、一括管理する１つ以上の運用サーバ、該ログデータの参照やその他ユーザによる操作を行うための１つ以上のユーザ端末を含める、分散システムにおいて、前記分散システムを構成する１つ以上のノードにおいて処理実行に伴い出力されるログデータを、運用サーバに収集、蓄積するステップと、前記ユーザ端末が、ユーザ操作に従って、前記１つ以上の運用サーバからログデータを取得するステップと、前記ユーザ端末が前記１つ以上の運用サーバから取得したログデータを、ログデータ間で紐付けを行い、順番に並べるステップと、前記ユーザ端末が、前記紐付け及び順番に並べたログデータをユーザに対して表示するステップを含む。

　本発明によれば、互いに独立したノード間であっても必要なログだけを取得し参照することができる。これにより、スマートグリッドや電力等の分野において、導入範囲、導入時期、複数のシステムが相互接続する複雑化したシステムの運用者は、障害解析や稼動レポート作成時にシステム内の動作把握が容易となり、ひいては管理・保守のコスト低減、等に寄与する。

分散システムにおけるシステム動作トレース方法の利用形態の概要を示す図である。分散システムの概要を示す図である。分散システムを構成する各々のノードにて発生、蓄積される個々のログデータを紐付ける方法の概要を示す図である。運用サーバ（ログデータの蓄積、管理、システム情報の管理、等を行う）のモジュール構成を示す図である。ユーザ端末（ログデータに対する紐付け作成、表示、ユーザインタフェース提供、等を行う）のモジュール構成を示す図である。ログデータのデータフォーマットの一例を示す図である。ログデータの取得及び紐付け作成の処理の流れを示すフローチャートである。紐付け後のログデータの表示の処理の流れを示すフローチャートである。ログデータのシーケンスの表示方法を示す図である。

　図１は、本発明による分散システムにおけるシステム動作トレース方法の利用形態の概要を示す図である。

　システム１（０１０２）、システム２（０１０３）等の２つ以上のシステムが連携して動作する分散システムにおいて、システム１（０１０２）における処理ノード（０１１３、０１１４）におけるプログラム（０１２３、０１２４）の動作に伴い出力されるログデータ（０１３１、０１３２）、蓄積ノード０１１５におけるＤＢアクセス０１２５に伴い出力されるログデータ０１３３またはシステム２（０１０３）における処理ノード０１１７におけるプログラム０１２７の動作に伴い出力されるログデータ０１３４は、出力直後は各ノード（０１１３、０１１４、０１１５、０１１７）にて蓄積される。所定のタイミングにて自身が所属するシステムの運用サーバ（システム１であれば０１１２、システム２であれば０１１６）に収集され、ログ蓄積ＤＢ（０１２２、０１２６）に蓄積、管理される。

　ユーザ０１０１がユーザ端末０１１１のユーザインタフェース０１２１を用いて操作すると、運用サーバ（０１１２、０１２６）からログデータを取得して、順番に並べて表示するためのシーケンス用配列０１３５に該ログデータを格納し、ユーザインタフェース０１２１を介して表示する。

　なお、本実施例にて対象とするログデータは、例えば、メッセージ送信及び受信、ＤＢアクセス（読み、書き）等の処理ログ、処理開始・中継のトリガーとなるオペレータ操作ログ、オペレータ業務記録等、またマスタ／スレーブ切替ログ、運転モード（オンライン、テスト、待機、等）切替ログ等の処理に関連するログである。

　図２は、本発明の適用先である分散システムの概要を示す図である。

　図１で説明したとおりシステム１（０１０２）とシステム２（０１０３）とが連携することで分散システムを構成している。主な構成要素は、現場機器（0221など）、制御コントローラ（0207）、フィールドネットワーク（0215）、広域ネットワーク（0213）、ゲートウェイサーバ（0205）、LAN（0212など）、ファイアウォールサーバ（0204）、アプリケーションサーバ（0203）、運用サーバ（0112）、ユーザ端末（0208）である。
現場機器は、制御系の現場に配置される機器である。制御コントローラは、フィールドネットワーク０２１５を介して現場機器０２２１、０２２２を制御する機器である。ゲートウェイサーバは、広域ネットワーク０２１３を介してコントローラ０２０７と相互接続し、システム１（０１０２）における広域ネットワーク０２１３へのゲートウェイである。ファイアウォールサーバは、システム１（０１０２）内のＬＡＮ０２１２及び０２１１との間のファイアウォールとなるサーバである。アプリケーションサーバは、ＬＡＮ０２１１に接続し、データの蓄積や業務アプリケーションの実行等を行うサーバである。運用サーバは、システム１（０１０２）内のログデータの蓄積、システム構成情報の管理等を行うサーバである。ユーザ端末は、ユーザ０１０１がログデータ参照等を行うための端末である。システム２（0103）については、システム1と同様の構成を備える。

　ここで、図１で説明した構成と図２で説明した構成の関係を説明する。図１における処理ノード（０１１３、０１１４）または蓄積ノード０１１５は、図２におけるコントローラ０２０７、ゲートウェイサーバ０２０５、サーバ０２０４、サーバ０２０３に該当する。

　ユーザ端末０１１１の主なハードウェア構成は、処理装置（ＣＰＵ）０２３１、記憶装置（メモリ、ハードディスク）０２３２、通信装置０２３３からなる。

　運用サーバ０１１２、サーバ０２０３、ゲートウェイサーバ０２０５、コントローラ０２０７も同様に処理装置（ＣＰＵ）、記憶装置（メモリ、ハードディスク）、通信装置を備える。

　図３は、本発明における分散システムを構成する各々のノードにて発生、蓄積される個々のログデータを紐付ける方法の概要を示す図である。

　コントローラ０２０７にてアプリケーションプログラムが送信したメッセージデータは、広域ネットワーク０２１３、ゲートウェイサーバ０２０５、ＬＡＮ０２１２、サーバ０２０４、ＬＡＮ０２１１、サーバ０２０３、ＬＡＮ０２１１、サーバ０２０４、ＬＡＮ０２１２、ゲートウェイサーバ０２０６、広域ネットワーク０２１４、ＬＡＮ０２１６を経由してサーバ０２０８へと伝達される。この際のデータの流れが図中に記載した線（０３０１）である。このデータの流れ０３０１に伴い各ノードにおける処理０３０２（(1)～(8)）は、異なる通信レイヤ（L1～L7）にて実行されるとともにログデータ０３１１が出力される。

　前記データの流れ０３０１に伴い出力されるログデータ０３１１のヘッダ情報０３１２に含まれる情報を参照してログデータ間の紐付けを行う。例えば、処理(1)と(2)のログデータは「経路ＩＤ（通信経路を識別する情報）」により紐付け、処理(2)と(3)のログデータは「ＴＩＤ（スレッドＩＤ）」により紐付け、処理(4)と(5)のログデータは「ＰＩＤ（プロセスＩＤ）」により紐付け、処理(5)と(6)のログデータは「ＤＮ（データ名称）」により紐付け、処理(6)と(7)のログデータは「ＰＩＤ（プロセスＩＤ）」により紐付ける。前記により個々のログデータを順次紐付けていくことで、前記コントローラ０２０７からサーバ０２０８までのデータの流れ０３０１に伴うログデータを抽出して順番に並べることができる。ここで同一ノード内のログは時刻情報に基づいて順番に紐付け、異なるノード間はあるノードにおけるメッセージの送信ログの次に該メッセージを受信したノードにおける受信ログを紐付ける。

　図４は、運用サーバのモジュール構成を説明する図である。運用サーバは、システム内で収集するログデータの蓄積、管理、システム情報の管理、等を行う。

　運用サーバ０１１２には、ログデータの収集、蓄積、管理及びユーザ端末０１１１への提供を行うミドルウェア０４０１、ログデータを蓄積するためのログデータ蓄積ＤＢ０４０２が導入される。

　ミドルウェア０４０１の主な構成要素は、データ通信部０４１５を介してシステム内の処理ノード（０１１３、０１１４、０１１５）や蓄積ノード０１１５等から各ノードにて発生するログデータを受け取り、ログデータ蓄積ＤＢ０４０２に蓄積するログデータ収集・蓄積部０４１１、ログデータ蓄積ＤＢ０４０２に蓄積されるログデータを管理するログデータ管理部０４１２、データ通信部０４１５を介してユーザ端末０１１１からの検索要求を受付け、ログデータ蓄積ＤＢ０４０２に対して該要求に対する検索実施及び該当ログデータの取出しを行うログデータ検索・取出し部０４１３、アプリケーションデータ定義情報０４２１、システム構成情報０４２２を管理し、データ通信部０４１５を介してユーザ端末０１１１からのアプリケーションデータ定義情報０４２１、システム構成情報０４２２に関する問合せに応答するシステム情報管理部０４１４、通信媒体０２１１を介して他のノードとの間で通信処理を行うデータ通信部０４１５である。

　図５は、ユーザ端末のモジュール構成を説明する図である。ユーザ端末は、システム内で収集するログデータに対する紐付け作成、表示、ユーザインタフェース提供、等を行う。

　ユーザ端末０１１１には、ログデータの取得及び表示データ作成、表示、等を行うミドルウェア０５０１、運用サーバ０１１２より取得し加工したログデータを一時格納するための一時データ格納領域０５０２、ユーザに対する情報提示及び操作を提供するユーザインタフェース０１２１が導入される。

　ミドルウェア０５０１の主な構成要素は、ユーザインタフェース実行管理部０５１４を介して、ユーザインタフェース０１２１を用いてユーザ０１０１が指定した範囲、条件に基づいて、データ通信部０５１５を介して運用サーバ０１１２に対してログデータの検索処理を行うログデータ検索部０５１１、ログデータ検索部０５１１から検索結果であるログデータを取得して、ログデータ間の紐付け抽出及び該紐付けに基づくシーケンス用配列の作成を行うログデータ紐付け作成部０５１２、ログデータ紐付け作成部０５１２が作成したログデータのシーケンス用配列を取得し、データ通信部０５１５を介して運用サーバ０１１２から取得するアプリケーションデータ定義情報、システム構成情報等を参照して、ユーザインタフェース０１２１にて表示するデータを作成する表示データ作成部０５１３、表示データ作成部０５１３が作成したデータの表示、ユーザによる入力の受付け等を実施するためにユーザインタフェース０１２１を制御するユーザインタフェース実行管理部０５１４、通信媒体０２１１を介して運用サーバ０１１２との間で通信処理を行うデータ通信部０５１５である。なおログデータ紐付け作成部０５１２、表示データ作成部０５１３は処理の過程で中間データ等を必要に応じて一時データ格納領域０５０２に格納する。

　図６は、本発明における分散システム内で使用される、ログデータのデータフォーマットの一例を示す図である。

　ログデータフォーマット０６０１の主な構成要素は、ヘッダ情報０６１１、ログデータ本体０６１２である。ヘッダ情報０６１１はログデータ本体０６１２に格納されるログデータを補足するための情報であり、一例として、発生時刻０６２１、データサイズ０６２２、プロセスID０６２３、スレッドID０６２４、送信元情報０６２５、宛先情報０６２６、経路情報０６２７、プロトコル情報０６２８、データ識別情報０６２９、業務識別情報０６２０、等を含める。これらの情報は全てを含められるとは限らず、ログデータの発生源である各ノードの各処理にて出力可能な情報を含める。なお前記０６２１～０６２０以外の情報が含められる場合もある。ログデータ本体０６１２には、各ノードの各処理にて発生するログデータ自体が格納される。

　図７は、ログデータの取得及び紐付け作成の処理の流れを示すフローチャートである。　

　ステップ０７０１において、ユーザ端末０１１１にてユーザ０１０１による参照するログデータの範囲、条件等の指定を受け付ける。ここでは時刻の範囲、対象計算機の範囲やログデータの種別、検索の手順、等の条件、等を指定する。ステップ０７０２において、ステップ０７０１にて受け付けた範囲、条件等に従って運用サーバ０１１２へのログデータの検索を実施する。ステップ０７０３において、ステップ０７０２の結果、該当するログデータを有する運用サーバ０１１２から該当するログデータを取得する。ステップ０７０４において、全ての該当するログデータを有する運用サーバ０１１２からのログデータ取得を完了していなければ、ステップ０７０２、ステップ０７０３の処理を繰り返す。ステップ０７０４において、全ての該当するログデータを有する運用サーバ０１１２からのログデータ取得を完了していれば、ステップ０７０５において、ステップ０７０４までに取得したログデータの中から、ユーザがユーザ端末０２０８にて、起点として指定するノード、時刻、処理等の条件に該当するログデータを選出する。起点となるのは処理や業務等の開始箇所でのログまたはユーザが参照したい最初の箇所のログである。
ステップ０７０６において、個々のログデータのヘッダ情報を参照する。ステップ０７０７において、ステップ０７０６の結果、一意となる識別情報がある場合、ステップ０７０８において、前記一意となる識別情報を用いて、紐付け可能なログデータを抽出し、シーケンス用の配列に格納する。ステップ０７０７において、ステップ０７０６の結果、一意となる識別情報が無い場合、ステップ０７０９において、シーケンス用配列に格納した最後のログデータと、その他の未格納のログデータの中で次に配列に格納すべきログデータとの間で内容の突合せを行う。

　ステップ０７１０において、ステップ０７０９の結果、紐付け可能なログデータがある場合、ステップ０７１１において、該当するログデータを抽出し、シーケンス用の配列に格納する。ステップ０７１０において、ステップ０７０９の結果、紐付け可能なログデータが無い場合、ステップ０７１２において、関連データを参照し、シーケンス用配列に格納した最後のログデータと、その他の未格納のログデータの中で次に配列に格納すべきログデータとの間の関係を抽出する。

　ステップ０７１３において、ステップ０７１２の結果、紐付け可能なログデータがある場合、ステップ０７１４において、該当するログデータを抽出し、シーケンス用の配列に格納する。ステップ０７１３において、ステップ０７１２の結果、紐付け可能なログデータが無い場合、何もしない。ステップ０７１５において、ステップ０７０４までに取得した全てのログデータに対して確認が完了した場合、ステップ０７１６において、ログデータのシーケンス用配列を完成させ、該シーケンス用配列の表示処理を行う。ステップ０７１５において、ステップ０７０４までに取得した全てのログデータに対して確認が完了していない場合、ステップ０７０６～ステップ０７１４の処理を繰り返す。

　前記ログデータ間の紐付けにおいて、一意となる識別情報としては、プロセスＩＤ、スレッドＩＤ等の情報が挙げられる。ログデータ間の内容突合せに用いるのは、送信処理におけるログデータに含まれる宛先情報、送信元情報及び通番と受信処理におけるログデータに含まれる宛先情報、送信元情報及び通番とである。またログデータの関係を抽出するための参照する関連情報として、マスタ／スレーブ切替ログ、運転モード切替ログ等である。例えば多重系を構成して並行稼動している複数の計算機においては、マスタである計算機のログでーたのみを抽出、紐付ける。また運転モードが同一である１つ以上の計算機に限定してログデータの抽出、紐付けを行う、等の処理を実施する。

　図８は、ユーザ端末での、紐付け後のログデータの表示の処理の流れを示すフローチャートである。

　ステップ０８０１において、図７で示したフローチャートに従って、ログデータのシーケンス用配列を完成させる。ステップ０８０２において、ユーザ端末０１１１におけるユーザ０１０１の指定として、アプリケーションデータ表示を行う場合、ステップ０８０３において、アプリケーションデータ定義情報を参照する。ステップ０８０４において、ステップ０８０３のアプリケーションデータ定義情報と、ステップ０８０１にて作成したログデータのシーケンス用配列とを照合する。ステップ０８０５において、ステップ０８０４の結果、ログデータのシーケンス用配列からアプリケーションデータの範囲として、アプリケーションデータを構成する個々のログデータを抽出した場合、ステップ０８０６において、ステップ０８０５のアプリケーションデータの範囲に含まれるログデータを統合して、アプリケーションデータとしてのレコードを作成する。ステップ０８０５において、ステップ０８０４の結果、ログデータのシーケンス用配列からアプリケーションデータの範囲として、アプリケーションデータを構成する個々のログデータを抽出しなかった場合、何もしない。ステップ０８０７において、ログデータのシーケンス用配列の照合を完了していない場合、ステップ０８０４～ステップ０８０６の処理を繰り返す。ステップ０８０７において、ログデータのシーケンス用配列の照合を完了した場合、ステップ０８０８において、ユーザ端末０１１１におけるユーザ０１０１の指定として、システム間データ表示を行う場合、ステップ０８０９において、システム構成情報を参照する。ステップ０８１０において、ステップ０８０９のシステム構成情報と、ステップ０８０１にて作成したログデータのシーケンス用配列とを照合する。ステップ０８１１において、ステップ０８１０の結果として、ログデータの間引きを実施する。ステップ０８１２において、ログデータのシーケンス用配列の照合を完了していない場合、ステップ０８１０、ステップ０８１１の処理を繰り返す。ステップ０８１２において、ログデータのシーケンス用配列の照合を完了した場合、ステップ０８１３において、ユーザインタフェースを介して、ステップ０８１２までに作成したデータの表示処理を行う。

　図９は、ユーザ端末での、ログデータのシーケンスの表示方法を示す図である。

　０９０１は図７の処理により作成したログデータのシーケンス用配列を示した表示であり、０９０２は０９０１に含まれる個々のログデータをアプリケーションデータの粒度にして並べた表示であり、０９０３はシステム間でのやり取りとして見えるログデータの表示である。図中の(1)～(8)は図３における(1)～(8)に該当する。

　アプリケーションデータ表示０９０２を作成する際には、アプリケーションデータ定義情報として、アプリケーションデータのフォーマット、サイズ、識別情報等を参照して、シーケンス用配列０９０１に含まれるログデータ０９１１からアプリケーションデータに該当する複数のログデータを抽出、統合して並べ直す（０９１２）。ここでは０９１１におけるログデータ(2)-1～(2)-mより０９１２におけるログデータ(2)を作成し、０９１１におけるログデータ(3)-1～(3)-nより０９１２におけるログデータ(3)を作成している。

　システム間データ表示０９０３を作成する際には、システム構成情報として、ノード役割（アプリケーション処理ノード、ゲートウェイ、等）、通信経路等の情報を参照して、シーケンス用配列０９０１に含まれるログデータ０９１１から間引きを行い、システムの粒度でのログデータ０９１３を作成する。例えばここではデータの発信元及び最終的な到達先のログデータのみを表示している。

0102：システム１、0103：システム２、0112：運用サーバ、0113：処理ノード、0203：アプリケーションサーバ、0207：コントローラ、0208：ユーザ端末、0215：フィールドネットワーク、0221：現場機器。

Claims

　複数のシステムで発生するログデータを共通に管理するログ管理方法であって、
　前記システムに接続する処理ノードが、当該処理ノードでの処理に関する情報をヘッダ情報に書き込んでログを出力するログ出力ステップと、
　前記処理ノードから前記ログを取得するログ取得ステップと、
　複数の前記取得したログのヘッダ情報から前記処理に関する情報を参照する参照ステップと、
　前記参照した前記処理に関する情報に従って、前記複数のログの順序を決定する順序決定ステップと、
　を備えることを特徴とするログ管理方法。
　請求項１に記載のログ管理方法において、
　前記処理に関する情報は、処理を一意に特定する情報と、当該処理の順番が規定された情報であり、
　前記順序決定ステップは、前記処理の順番が規定された情報に基づいて前記複数のログの順序を決定することを特徴とするログ管理方法。
　請求項２に記載のログ管理方法において、
　前記順序決定ステップは、前記処理に関する情報にログを一意に特定できる情報がある場合は、当該情報に基づいてログの順序を決定し、前記処理に関する情報にログを一意に特定できる情報が無い場合は、複数のログの間で内容をつき合わせることで、前記ログの順序を決定することを特徴とするログ管理方法。
　ネットワークを介して相互接続した、複数の独立したノードにより構成され、導入範囲・時期、準拠規格、処理内容、処理対象レイヤ等が異なるハードウェアまたはソフトウェアを導入し、処理実行に伴い前記ハードウェアまたはソフトウェアの仕様、データ形式に従い、ログデータを出力、蓄積する、１つ以上のノード、前記ノードにて出力するログデータを収集、蓄積、一括管理する１つ以上の運用サーバ、該ログデータの参照やその他ユーザによる操作を行うための１つ以上のユーザ端末を含める、分散システムにおいて、前記分散システムを構成する１つ以上のノードにおいて処理実行に伴い出力されるログデータを、運用サーバに収集、蓄積するステップと、前記ユーザ端末が、ユーザ操作に従って、前記１つ以上の運用サーバからログデータを取得するステップと、前記ユーザ端末が前記１つ以上の運用サーバから取得したログデータを、ログデータ間で紐付けを行い、順番に並べるステップと、前記ユーザ端末が、前記紐付け及び順番に並べたログデータをユーザに対して表示するステップを含むことを特徴とする、分散システムにおけるシステム動作トレース方法。
　請求項４に記載のシステム動作トレース方法において、
　分散システムを構成する１つ以上のノードにおいて処理実行に伴い出力されるログデータは、該当する処理に関連する情報を含めるログデータ本体と、該ログデータ本体を補足説明する各種の情報を含めるヘッダ情報とで構成されることを特徴とする、分散システムにおけるシステム動作トレース方法。
　請求項４に記載のシステム動作トレース方法において、
　分散システムを構成する１つ以上のノードにおいて処理実行に伴い出力されるログデータは出力直後は該ノードにて蓄積しておき、所定のタイミングにて前記ノードに蓄積されているログデータを一括して運用サーバに送信し、該運用サーバにて蓄積、管理することを特徴とする、分散システムにおけるシステム動作トレース方法。
　請求項４に記載のシステム動作トレース方法において、
　ユーザ端末が１つ以上の運用サーバからログデータを取得する際に、ユーザ指定により取得先の運用サーバ、またログデータの時刻範囲、種別等の条件を特定して検索することを特徴とする、分散システムにおけるシステム動作トレース方法。
　請求項４に記載のシステム動作トレース方法において、
　ユーザ端末が１つ以上の運用サーバから取得したログデータを、ログデータ間で紐付けを行い、順番に並べる際に、ログデータ間で一意の識別情報がログデータのヘッダ情報等から抽出される場合、該一意の識別情報を用いてログデータ間の紐付けを実施することを特徴とする、分散システムにおけるシステム動作トレース方法。
　請求項４乃至請求項８のいずれか一項に記載のシステム動作トレース方法において、
　ユーザ端末が１つ以上の運用サーバから取得したログデータを、ログデータ間で紐付けを行い、順番に並べる際に、ログデータのヘッダ情報等の内容の突合せを行い、同一事象に関するログデータであることが確認できる場合、該ログデータ間の紐付けを実施することを特徴とする、分散システムにおけるシステム動作トレース方法。
　請求項４乃至請求項９のいずれか一項に記載のシステム動作トレース方法において、
　ユーザ端末が１つ以上の運用サーバから取得したログデータを、ログデータ間で紐付けを行い、順番に並べる際に、関連データを参照して、ログデータ間の関係を抽出、発見して、該ログデータ間の紐付けを実施することを特徴とする、分散システムにおけるシステム動作トレース方法。
　請求項４に記載のシステム動作トレース方法において、
　ユーザ端末が、紐付け及び順番に並べたログデータをユーザに対して表示する際に、アプリケーションデータ定義情報を参照して、前記紐付け順番に並べたログデータのうち、１つのアプリケーションデータに該当する１つ以上のログデータを統合して１つのレコードとして、紐付け及び順番に並べることを再度実施することを特徴とする、分散システムにおけるシステム動作トレース方法。
　請求項４乃至請求項１１に記載のシステム動作トレース方法において、
　ユーザ端末が、紐付け及び順番に並べたログデータをユーザに対して表示する際に、システム構成情報を参照して、前記紐付け順番に並べたログデータのうち、ユーザが指定する粒度での表示となるように前記紐付け及び順番に並べたログデータの間引きを行うことを特徴とする、分散システムにおけるシステム動作トレース方法。