JP6730437B2

JP6730437B2 - Transfer device and network system

Info

Publication number: JP6730437B2
Application number: JP2018535971A
Authority: JP
Inventors: 直輝谷田; 大明石; 藤嶋　堅三郎; 堅三郎藤嶋; 雄次對馬; 悠樹宮崎
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2016-08-24
Filing date: 2016-08-24
Publication date: 2020-07-29
Anticipated expiration: 2036-08-24
Also published as: WO2018037495A1; JPWO2018037495A1

Description

本発明は、データの転送制御に関する。 The present invention relates to data transfer control.

クラウドコンピューティングの普及によって、ネットワークを介してデータを利用する機会が増えている。 With the spread of cloud computing, there are increasing opportunities to use data via networks.

ネットワーク帯域が制限されている場合、データへのアクセス時間がかかり、利用者の快適性が損なわれるという問題がある。また、同一のデータに対して繰り返し、アクセスが行われることによって、システム全体の通信量が増加し、ネットワーク帯域を圧迫するという問題もある。 When the network bandwidth is limited, there is a problem that it takes time to access the data and the comfort of the user is impaired. In addition, the same data is repeatedly accessed, so that the communication volume of the entire system increases, and the network bandwidth is pressed.

本技術分野の背景技術として、特許文献１に記載の技術が知られている。特許文献１には、通信データを転送する際に、ｐｅｒｓｉｓｔｅｎｔｓｅｇｍｅｎｔｓｔｏｒｅに保存されているセグメントをｒｅｆｅｒｅｎｃｅに置き換えて転送することが記載されている。 As a background art of this technical field, the technique described in Patent Document 1 is known. Patent Document 1 describes that, when transferring communication data, the segments stored in the persistent segment store are replaced with the reference and transferred.

また、特許文献２には、「ネットワークの利用度が利用度閾値に達したまたはこれを超過したときに、暗号化ハッシュ関数を適用して通信トラフィックにハッシュ・ダイジェストを組み込み、データの完全性点検およびデータの重複排除を提供し、これによって、送信側ネットワーク・デバイスと受信側ネットワーク・デバイスとの間で伝送されるデータの量を低減する」ことが開示されている。 Further, Japanese Patent Application Laid-Open No. 2004-242242 describes, "When the usage of a network reaches or exceeds a usage threshold, a cryptographic hash function is applied to incorporate a hash digest into communication traffic to check data integrity. And providing deduplication of data, thereby reducing the amount of data transmitted between the sending network device and the receiving network device."

米国特許出願公開第２０１３／０２４６５０８号明細書U.S. Patent Application Publication No. 2013/0246508 特表２０１６−５１７５５１号公報Japanese Patent Publication No. 2016-517551

しかし、ｐｅｒｓｉｓｔｅｎｔｓｅｇｍｅｎｔｓｔｏｒｅが大きい場合、主記憶装置に格納できないため、二次記憶装置に保存されるｐｅｒｓｉｓｔｅｎｔｓｅｇｍｅｎｔｓｔｏｒｅからセグメントを検索する必要がある。一般に、二次記憶装置はアクセス速度が遅いため、通信データの転送速度が遅くなる。 However, if the persistent segment store is large, it cannot be stored in the main storage device, so it is necessary to retrieve the segment from the persistent segment store stored in the secondary storage device. Generally, since the secondary storage device has a low access speed, the transfer speed of communication data becomes slow.

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、端末間で送受信されるデータを転送する転送装置であって、プロセッサ、前記プロセッサに接続される主記憶装置、前記プロセッサに接続される副記憶装置、及び前記プロセッサに接続されるネットワークインタフェースを備え、前記端末間のデータの転送処理を制御する転送制御部を有し、ネットワークを介して他の転送装置と接続され、前記副記憶装置は、データを分割することによって生成されるデータブロックであって、前記端末間で過去に送信されたデータブロックを管理するデータブロック情報を格納し、前記主記憶装置は、前記データブロック情報に格納される前記データブロックを検索するための検索インデックスと、前記データブロックを一時的に保存するバッファとを格納し、前記検索インデックスは、前記データブロックから算出された比較値及び前記データブロック情報に格納される前記データブロックへアクセスするためのポインタ値の組から構成される要素を複数含み、前記データブロック情報は、前記ポインタ値及び前記データブロックから構成されるエントリを複数含み、前記転送制御部は、前記端末からデータを受信した場合、前記受信したデータから前記データブロックを生成するための分割処理を実行し、前記分割処理によって生成された第１データブロックから、前記検索インデックスを参照するための検索値及び参照値を算出し、前記参照値に基づいて、前記検索インデックスに含まれる複数の要素の中から参照する少なくとも一つの要素を特定し、前記特定された少なくとも一つの要素に含まれる前記比較値と前記検索値とを比較することによって、前記第１データブロックが前記データブロック情報に格納されているか否かを判定し、前記第１データブロックが前記データブロック情報に格納されていると判定された場合、前記第１データブロックの識別情報を前記他の転送装置に送信し、前記バッファに前記データブロックを保存し、前記他の転送装置から当該第１データブロックの転送完了を通知する応答を受信した後、前記バッファから前記第１データブロックを削除し、前記第１データブロックが前記データブロック情報に格納されていないと判定された場合、前記第１データブロックの識別情報及び前記第１データブロックを前記他の転送装置に送信し、前記バッファに前記データブロックを保存し、前記他の転送装置から当該第１データブロックの転送完了を通知する応答を受信した後、前記データブロック情報に前記第１データブロックを格納し、前記バッファから前記第１データブロックを削除し、前記第１データブロックの識別情報を送信した前記他の転送装置から、前記第１データブロックの送信を要求するデータブロック要求を受信した場合、前記バッファに保存される前記第１データブロックを前記他の転送装置に送信することを特徴とする。 A typical example of the invention disclosed in the present application is as follows. That is, an transfer device for transferring the data between the terminals, a processor, a main memory coupled to the processor, secondary storage device coupled to the processor, and a network interface connected to the processor A transfer control unit that controls a transfer process of data between the terminals, is connected to another transfer device via a network, and the secondary storage device is a data block generated by dividing the data. There is stored data block information for managing data blocks transmitted in the past between the terminals, the main storage device, a search index for searching the data block stored in the data block information , And a buffer for temporarily storing the data block, wherein the search index is a set of a comparison value calculated from the data block and a pointer value for accessing the data block stored in the data block information. And the data block information includes a plurality of entries including the pointer value and the data block, and the transfer control unit, when receiving data from the terminal, receives the received data. Performing a division process for generating the data block from the first data block, calculating a search value and a reference value for referring to the search index from the first data block generated by the division process, and based on the reference value. By specifying at least one element to be referenced from a plurality of elements included in the search index, and by comparing the comparison value and the search value included in the specified at least one element, If it is determined whether the first data block is stored in the data block information, and if it is determined that the first data block is stored in the data block information, the identification information of the first data block is determined. The first data block is transmitted from the buffer after the response is transmitted to the other transfer device , the data block is stored in the buffer, and the transfer completion notification of the first data block is received from the other transfer device. Is deleted and it is determined that the first data block is not stored in the data block information, the identification information of the first data block and the first data block are transmitted to the other transfer device, and The data block is stored in a buffer, and the first data block of the first data block is saved from the other transfer device. The other that stores the first data block in the data block information, deletes the first data block from the buffer, and transmits identification information of the first data block after receiving a response notifying transfer completion When the data block request for transmitting the first data block is received from the transfer device, the first data block stored in the buffer is transmitted to the other transfer device .

本発明によれば、検索インデックスを用いることによって、データブロックの検索を高速に行うことができる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。 According to the present invention, the search of the data block can be performed at high speed by using the search index. Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.

実施例１のネットワークシステムの構成例を示す図である。1 is a diagram showing a configuration example of a network system of Example 1. FIG. 実施例１の転送装置のハードウェア構成及びソフトウェア構成の一例を示す図である。FIG. 3 is a diagram showing an example of a hardware configuration and a software configuration of a transfer device of the first embodiment. 実施例１の転送装置のソフトウェア構成の論理的な接続関係を示す図である。5 is a diagram showing a logical connection relationship of a software configuration of the transfer device according to the first embodiment. FIG. 実施例１の転送装置がＬＡＮを介して送受信するＴＣＰパケットのフォーマットの一例を示す図である。FIG. 3 is a diagram showing an example of a format of a TCP packet which the transfer device according to the first embodiment sends and receives via a LAN. 実施例１の転送装置がＷＡＮを介して送受信するＴＣＰパケットのフォーマットの一例を示す図である。FIG. 5 is a diagram showing an example of a format of a TCP packet transmitted and received by the transfer device of the first embodiment via the WAN. 実施例１のフロー情報の一例を示す図である。FIG. 8 is a diagram showing an example of flow information of the first embodiment. 実施例１の送信検索インデックスの一例を示す図である。FIG. 5 is a diagram showing an example of a transmission search index according to the first embodiment. 実施例１の送信データブロック情報の一例を示す図である。FIG. 6 is a diagram showing an example of transmission data block information according to the first embodiment. 実施例１のデータ転送処理の流れを説明するシーケンス図である。6 is a sequence diagram illustrating a flow of data transfer processing according to the first embodiment. FIG. 実施例１のデータ転送処理の流れを説明するシーケンス図である。6 is a sequence diagram illustrating a flow of data transfer processing according to the first embodiment. FIG. 実施例１のデータ転送処理の流れを説明するシーケンス図である。6 is a sequence diagram illustrating a flow of data transfer processing according to the first embodiment. FIG. 実施例１の転送制御部がＬＡＮからデータを受信した場合に実行する処理を説明するフローチャートである。6 is a flowchart illustrating a process executed when the transfer control unit according to the first embodiment receives data from a LAN. 実施例１の転送制御部がデータ分割部から応答を受け取った場合に実行する処理を説明するフローチャートである。6 is a flowchart illustrating a process executed by the transfer control unit according to the first embodiment when a response is received from the data dividing unit. 実施例１の転送制御部がタイマに設定された時間が経過した場合に実行する処理を説明するフローチャートである。6 is a flowchart illustrating a process executed by the transfer control unit according to the first embodiment when a time set in a timer has elapsed. 実施例１の転送制御部が他の転送装置から応答を受信した場合に実行する処理を説明するフローチャートである。7 is a flowchart illustrating a process executed by the transfer control unit according to the first embodiment when a response is received from another transfer device. 実施例１のデータ分割部が実行する処理を説明するフローチャートである。6 is a flowchart illustrating a process executed by the data dividing unit according to the first embodiment. 実施例１の重複排除部が転送制御部によって呼び出された場合に実行する処理を説明するフローチャートである。6 is a flowchart illustrating a process executed when the deduplication unit according to the first embodiment is called by the transfer control unit. 実施例１の重複排除部が転送制御部から更新指示を受け付けた場合に実行する処理を説明するフローチャートである。9 is a flowchart illustrating a process executed when the deduplication unit according to the first embodiment receives an update instruction from the transfer control unit. 実施例１の転送制御部がＷＡＮからデータを受信した場合に実行する処理を説明するフローチャートである。6 is a flowchart illustrating a process executed by the transfer control unit according to the first embodiment when data is received from a WAN. 実施例１の重複復元部が転送制御部によって呼び出された場合に実行する処理を説明するフローチャートである。7 is a flowchart illustrating a process executed when the duplication restoration unit according to the first embodiment is called by the transfer control unit. 実施例１の重複排除部が実行する処理の具体例を示す図である。FIG. 6 is a diagram illustrating a specific example of processing executed by a deduplication unit according to the first embodiment. 実施例２の転送装置のハードウェア構成及びソフトウェア構成の一例を示す図である。FIG. 9 is a diagram illustrating an example of a hardware configuration and a software configuration of a transfer device according to a second embodiment. 実施例２の転送装置のソフトウェア構成の論理的な接続関係を示す図である。FIG. 9 is a diagram showing a logical connection relationship of a software configuration of a transfer device according to a second embodiment. 実施例２のフロー情報の一例を示す図である。FIG. 9 is a diagram showing an example of flow information of Example 2; 実施例２のデータの分割方法の概念を示す図である。FIG. 10 is a diagram showing a concept of a data dividing method according to the second embodiment. 実施例２の副検索インデックスの一例を示す図である。FIG. 9 is a diagram showing an example of a sub-search index of the second embodiment. 実施例２の転送制御部がＬＡＮからデータを受信した場合に実行する処理を説明するフローチャートである。11 is a flowchart illustrating a process executed by the transfer control unit according to the second embodiment when data is received from a LAN. 実施例２の重複排除部が転送制御部から副データブロックの検出指示を受け付けた場合に実行する処理を説明するフローチャートである。10 is a flowchart illustrating a process executed when the deduplication unit according to the second embodiment receives a sub data block detection instruction from the transfer control unit. 実施例２の重複排除部が転送制御部によって呼び出された場合に実行する処理を説明するフローチャートである。9 is a flowchart illustrating a process executed when the deduplication unit according to the second embodiment is called by the transfer control unit.

以下、添付図面を参照して本発明の実施例を説明する。各図において共通の構成については同一の参照符号が付されている。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In each figure, the same reference numerals are given to common configurations.

実施例１では、本発明の基本的な一例として、転送装置が、二次記憶装置に格納されるデータブロック情報からデータブロックを高速に検索する転送制御方法を説明する。これによって、データの高速な転送を実現できる。本実施例では、ＴＣＰ／ＩＰ通信におけるデータ転送を一例として示す。ただし、本発明は、データ転送に用いる通信プロトコルに限定されない。 In the first embodiment, as a basic example of the present invention, a transfer control method in which a transfer device searches a data block at high speed from data block information stored in a secondary storage device will be described. As a result, high-speed data transfer can be realized. In this embodiment, data transfer in TCP/IP communication is shown as an example. However, the present invention is not limited to the communication protocol used for data transfer.

図１は、実施例１のネットワークシステムの構成例を示す図である。 FIG. 1 is a diagram illustrating a configuration example of a network system according to the first embodiment.

ネットワークシステムは、複数の端末１００、複数の転送装置１１０、及び各装置を接続するネットワークから構成される。なお、本発明は、ネットワークシステムに含まれる装置及びネットワークの数には限定されない。 The network system includes a plurality of terminals 100, a plurality of transfer devices 110, and a network connecting the devices. The present invention is not limited to the number of devices and networks included in the network system.

端末１００及び転送装置１１０は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）１４０を介して互いに接続される。また、複数の転送装置１１０は、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）を介して互いに接続される。各ネットワークの接続方式は、無線及び有線のいずれもよい。ＬＡＮ１４０及びＷＡＮ１２０には、中継装置１３０が一つ以上含まれる。 The terminal 100 and the transfer device 110 are connected to each other via a LAN (Local Area Network) 140. Further, the plurality of transfer devices 110 are connected to each other via a WAN (Wide Area Network). The connection method of each network may be wireless or wired. One or more relay devices 130 are included in the LAN 140 and the WAN 120.

なお、各装置を接続するネットワークの種別に限定されず、専用回線及びインターネット等のネットワークでもよい。また、端末１００及び転送装置１１０は、直接接続されてもよい。複数の転送装置１１０は、直接接続されてもよい。 The type of network that connects each device is not limited, and a network such as a dedicated line or the Internet may be used. Further, the terminal 100 and the transfer device 110 may be directly connected. The plurality of transfer devices 110 may be directly connected.

図１では、二つの端末１００−１、１００−２が、ＬＡＮ１４０−１、１４０−２、転送装置１１０−１、１１０−２、及びＷＡＮ１２０を介して、互いに通信を行う。 In FIG. 1, two terminals 100-1 and 100-2 communicate with each other via LANs 140-1 and 140-2, transfer devices 110-1 and 110-2, and WAN 120.

端末１００は、通信を行う装置である。端末１００は、物理計算機及びプロキシ装置等が考えられる。端末１００は、図示しない演算装置、主記憶装置、及びネットワークインタフェースを有する。なお、端末１００は、仮想計算機を用いて実現してもよい。 The terminal 100 is a device that performs communication. The terminal 100 may be a physical computer, a proxy device, or the like. The terminal 100 has a computing device, a main storage device, and a network interface, which are not shown. The terminal 100 may be realized by using a virtual computer.

中継装置１３０は、ＬＡＮ１４０及びＷＡＮ１２０等のネットワークを構成する装置であり、スイッチ、ルータ、及びゲートウェイ装置等が考えられる。中継装置１３０は、図示しない演算装置、主記憶装置、及びネットワークインタフェースを有する。 The relay device 130 is a device that constitutes a network such as the LAN 140 and the WAN 120, and may be a switch, a router, a gateway device, or the like. The relay device 130 has a calculation device, a main storage device, and a network interface, which are not shown.

転送装置１１０は、端末１００間のＴＣＰ通信の終端及び中継を行う装置であり、端末１００間で送受信されるデータを転送する。本実施例の転送装置１１０は、フロー単位で通信を制御するものとする。 The transfer device 110 is a device that terminates and relays TCP communication between the terminals 100, and transfers data transmitted and received between the terminals 100. The transfer device 110 of the present embodiment controls communication on a flow-by-flow basis.

端末１００−１と端末１００−２との間のＴＣＰ通信１５０において、転送装置１１０−１は、ＴＣＰ通信１５０を終端し、ＬＡＮ１４０−１を介して端末１００−１との間でＴＣＰ通信１５１を行う。なお、ＴＣＰ通信１５１では、転送装置１１０−１は、ＴＣＰ通信１５０において端末１００−２が用いるＩＰアドレス及びポート番号を、転送装置１１０−１のＩＰアドレス及びポート番号として用いる。同様に、ＴＣＰ通信１５０において、転送装置１１０−２は、ＴＣＰ通信１５０を終端し、ＬＡＮ１４０−２を介して端末１００−２とＴＣＰ通信１５３を行う。ＴＣＰ通信１５３では、転送装置１１０−２は、ＴＣＰ通信１５０において端末１００−１が用いるＩＰアドレス及びポート番号を、転送装置１１０−２のＩＰアドレス及びポート番号として用いる。 In the TCP communication 150 between the terminal 100-1 and the terminal 100-2, the transfer device 110-1 terminates the TCP communication 150 and establishes the TCP communication 151 with the terminal 100-1 via the LAN 140-1. To do. In the TCP communication 151, the transfer device 110-1 uses the IP address and port number used by the terminal 100-2 in the TCP communication 150 as the IP address and port number of the transfer device 110-1. Similarly, in the TCP communication 150, the transfer device 110-2 terminates the TCP communication 150 and performs TCP communication 153 with the terminal 100-2 via the LAN 140-2. In the TCP communication 153, the transfer device 110-2 uses the IP address and port number used by the terminal 100-1 in the TCP communication 150 as the IP address and port number of the transfer device 110-2.

また、転送装置１１０−１及び転送装置１１０−２は、ＷＡＮ１２０を介して、ＴＣＰ通信１５２を行う。ＴＣＰ通信１５２では、転送装置１１０−１は、端末１００−１のＩＰアドレス及びポート番号を用い、また、転送装置１１０−２は、端末１００−２のＩＰアドレス及びポート番号を用いる。 Further, the transfer devices 110-1 and 110-2 perform TCP communication 152 via the WAN 120. In the TCP communication 152, the transfer device 110-1 uses the IP address and port number of the terminal 100-1, and the transfer device 110-2 uses the IP address and port number of the terminal 100-2.

前述のようなＴＣＰ通信によって、端末１００−１及び端末１００−２は、端末１００間で直接通信するＴＣＰ通信１５０を行っている場合と同様の動作を行う。 By the TCP communication as described above, the terminal 100-1 and the terminal 100-2 perform the same operation as in the case of performing the TCP communication 150 in which the terminals 100 directly communicate with each other.

また、本実施例の転送装置１１０は、重複したデータの転送を排除するように通信を制御する。具体的には、転送装置１１０は、送信したデータ及び受信したデータを格納する情報を管理する。転送元の端末１００から過去に送信されたデータと同一のデータを受信した場合、転送装置１１０は当該データの識別情報を送信する。データの識別情報を受信した場合、転送装置１１０は、当該データの識別情報に一致するデータを情報から読み出し、転送先の端末１００に読み出されたデータを送信する。 Further, the transfer device 110 of the present embodiment controls communication so as to eliminate transfer of duplicated data. Specifically, the transfer device 110 manages information that stores transmitted data and received data. When the same data as the data transmitted in the past is received from the transfer source terminal 100, the transfer device 110 transmits the identification information of the data. When the identification information of the data is received, the transfer device 110 reads the data that matches the identification information of the data from the information, and transmits the read data to the terminal 100 of the transfer destination.

前述したようなデータの転送制御を行うことによって、ＷＡＮ１２０へのデータ転送量が削減される。したがって、通信コストの削減及び端末１００間の通信速度の高速化を実現できる。 By controlling the transfer of data as described above, the amount of data transferred to the WAN 120 is reduced. Therefore, it is possible to reduce the communication cost and increase the communication speed between the terminals 100.

以下の説明では、ネットワークシステム内で過去に送信されたデータと同一のデータの転送を排除する処理を「重複排除」とも記載する。また、以下の説明では、ネットワークシステム内で過去に送信されたデータを転送装置１１０が管理する情報から取得する処理を「重複復元」とも記載する。 In the following description, the process of eliminating the transfer of the same data as the data transmitted in the past in the network system is also referred to as “duplication elimination”. Further, in the following description, the process of acquiring the data transmitted in the network system in the past from the information managed by the transfer device 110 is also referred to as “duplication restoration”.

図２は、実施例１の転送装置１１０のハードウェア構成及びソフトウェア構成の一例を示す図である。図３は、実施例１の転送装置１１０のソフトウェア構成の論理的な接続関係を示す図である。 FIG. 2 is a diagram illustrating an example of a hardware configuration and a software configuration of the transfer device 110 according to the first embodiment. FIG. 3 is a diagram illustrating a logical connection relationship of the software configuration of the transfer device 110 according to the first embodiment.

転送装置１１０は、演算装置２０１、主記憶装置２０２、二次記憶装置２０３、及び複数のネットワークインタフェース２０４を有する。転送装置１１０が有するハードウェアは、システムバス２０５を介して互いに接続され、システムバス２０５を介して互いに通信を行う。 The transfer device 110 includes an arithmetic device 201, a main storage device 202, a secondary storage device 203, and a plurality of network interfaces 204. The hardware included in the transfer device 110 is connected to each other via the system bus 205 and communicates with each other via the system bus 205.

なお、転送装置１１０が有する各ハードウェアの数は二つ以上でもよい。また、各ハードウェアは、複数のシステムバス２０５を介して、互いに接続されてもよい。また、各ハードウェアは、直接接続されてもよい。 The number of pieces of hardware included in the transfer device 110 may be two or more. Further, each hardware may be connected to each other via a plurality of system buses 205. Further, each hardware may be directly connected.

なお、前述したハードウェアは、仮想的なハードウェアを用いて実現してもよい。例えば、一つのネットワークインタフェース２０４上に複数の論理的なネットワークインタフェースを構成し、論理的なネットワークインタフェースを用いることもできる。 The above-mentioned hardware may be realized by using virtual hardware. For example, it is possible to configure a plurality of logical network interfaces on one network interface 204 and use the logical network interfaces.

なお、転送装置１１０は、入出力装置を有してもよい。入出力装置には、キーボード、マウス、タッチパネル、及びディスプレイ等が含まれる。 The transfer device 110 may include an input/output device. The input/output device includes a keyboard, a mouse, a touch panel, a display and the like.

演算装置２０１は、主記憶装置２０２に格納されるプログラムを実行する。演算装置２０１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）及びＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等が考えられる。演算装置２０１がプログラムを実行することによって転送装置１１０が有する機能を実現できる。以下の説明では、機能部（モジュール）を主語に処理を説明する場合、演算装置２０１が当該機能部を実現するプログラムを実行していることを示す。 The arithmetic unit 201 executes a program stored in the main storage device 202. The arithmetic device 201 may be a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like. The functions of the transfer device 110 can be realized by the arithmetic device 201 executing the program. In the following description, when a process is described using a functional unit (module) as a subject, it indicates that the arithmetic device 201 is executing a program that implements the functional unit.

主記憶装置２０２は、演算装置２０１が実行するプログラム及び当該プログラムによって使用される情報を格納する。主記憶装置２０２は、また、プログラムが使用するワークエリア及びバッファ等の一時記憶領域を含む。主記憶装置２０２は、メモリ等が考えられる。 The main storage device 202 stores a program executed by the arithmetic device 201 and information used by the program. The main storage device 202 also includes a temporary storage area such as a work area and a buffer used by the program. The main storage device 202 may be a memory or the like.

二次記憶装置２０３は、永続的にデータを格納する。また、二次記憶装置２０３は、主記憶装置２０２に格納できないデータを格納する一時記憶領域を含む。二次記憶装置２０３は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）及びＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等が考えられる。 The secondary storage device 203 stores data permanently. The secondary storage device 203 also includes a temporary storage area for storing data that cannot be stored in the main storage device 202. The secondary storage device 203 may be an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like.

主記憶装置２０２に格納されるプログラム及び情報は、二次記憶装置２０３に格納されてもよい。この場合、演算装置２０１は、二次記憶装置２０３から、プログラム及び情報を読み出し、主記憶装置２０２にプログラム及び情報をロードする。 The programs and information stored in the main storage device 202 may be stored in the secondary storage device 203. In this case, the arithmetic device 201 reads the program and information from the secondary storage device 203 and loads the program and information into the main storage device 202.

ネットワークインタフェース２０４は、ネットワークと接続するためのインタフェースである。本実施例では、転送装置１１０は、ネットワークインタフェース２０４−１を介してＬＡＮ１４０と接続し、また、ネットワークインタフェース２０４−２を介してＷＡＮ１２０と接続する。 The network interface 204 is an interface for connecting to a network. In this embodiment, the transfer device 110 is connected to the LAN 140 via the network interface 204-1 and is connected to the WAN 120 via the network interface 204-2.

ここで、主記憶装置２０２及び二次記憶装置２０３に格納されるプログラム及び情報に吹いて説明する。 Here, the programs and information stored in the main storage device 202 and the secondary storage device 203 will be described.

主記憶装置２０２は、プログラムとして、重複排除部２１１、重複復元部２１２、転送制御部２１３、プロトコル処理部２１４、及びデータ分割部２１５を実現するプログラムを格納する。主記憶装置２０２は、情報として、フロー情報２１７、送信検索インデックス２１８、及び受信検索インデックス２１９を格納する。また、主記憶装置２０２は、一時記憶領域としてデータブロックバッファ２１６を含む。 The main storage device 202 stores, as programs, programs that implement the deduplication unit 211, the duplication restoration unit 212, the transfer control unit 213, the protocol processing unit 214, and the data division unit 215. The main storage device 202 stores the flow information 217, the transmission search index 218, and the reception search index 219 as information. The main storage device 202 also includes a data block buffer 216 as a temporary storage area.

二次記憶装置２０３は、送信データブロック情報２２０及び受信データブロック情報２２１を格納する。 The secondary storage device 203 stores the transmission data block information 220 and the reception data block information 221.

フロー情報２１７は、フローを管理するための情報である。フロー情報２１７の詳細は、図６を用いて説明する。 The flow information 217 is information for managing flows. Details of the flow information 217 will be described with reference to FIG.

送信データブロック情報２２０は、重複排除を行う場合に使用されるデータブロックを格納する。受信データブロック情報２２１は、重複復元を行う場合に使用されるデータブロックを格納する。送信データブロック情報２２０及び受信データブロック情報２２１の詳細は、図８を用いて説明する。 The transmission data block information 220 stores a data block used when deduplication is performed. The received data block information 221 stores a data block used when duplication restoration is performed. Details of the transmission data block information 220 and the reception data block information 221 will be described with reference to FIG.

送信検索インデックス２１８は、送信データブロック情報２２０に格納されるデータブロックを検索する場合に使用されるインデックスである。受信検索インデックス２１９は、受信データブロック情報２２１に格納されるデータブロックを検索する場合に使用されるインデックスである。送信検索インデックス２１８及び受信検索インデックス２１９の詳細は、図７を用いて説明する。 The transmission search index 218 is an index used when searching for a data block stored in the transmission data block information 220. The reception search index 219 is an index used when searching for a data block stored in the reception data block information 221. Details of the transmission search index 218 and the reception search index 219 will be described with reference to FIG. 7.

データブロックバッファ２１６は、データブロックを一時的に格納する記憶領域である。 The data block buffer 216 is a storage area for temporarily storing data blocks.

転送制御部２１３は、転送装置１１０全体を制御する。転送制御部２１３は、内部変数として更新フラグを保持する。転送制御部２１３は、ネットワークインタフェース２０４−１を介してＬＡＮ１４０からデータを受信した場合、重複排除部２１１及びデータ分割部２１５等と連携して、重複排除を行い、ネットワークインタフェース２０４−２を介してＷＡＮ１２０にデータを転送する。転送制御部２１３は、ネットワークインタフェース２０４−２を介してＷＡＮ１２０からデータを受信した場合、重複復元部２１２等と連携して、重複復元を行い、ネットワークインタフェース２０４−１を介してＬＡＮ１４０にデータを転送する。転送制御部２１３が実行する処理の詳細は後述する。 The transfer control unit 213 controls the entire transfer device 110. The transfer control unit 213 holds the update flag as an internal variable. When the transfer control unit 213 receives data from the LAN 140 via the network interface 204-1, the transfer control unit 213 cooperates with the deduplication unit 211, the data division unit 215, and the like to perform deduplication, and via the network interface 204-2. Transfer the data to WAN 120. When the transfer control unit 213 receives data from the WAN 120 via the network interface 204-2, the transfer control unit 213 cooperates with the duplication restoration unit 212 or the like to perform duplication restoration and transfers the data to the LAN 140 via the network interface 204-1. To do. Details of the processing executed by the transfer control unit 213 will be described later.

プロトコル処理部２１４は、ネットワークインタフェース２０４を管理し、所定の通信プロトコルに基づく通信処理を実行する。本実施例の通信プロトコルは、ＴＣＰ／ＩＰプロトコルである。また、プロトコル処理部２１４は、アプリケーション等に対して通信を行うためのＡＰＩ（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ）を提供する。例えば、プロトコル処理部２１４は、送信アドレス及び送信ポート、並びに受信アドレス及び受信ポートを転送制御部２１３に通知する。また、プロトコル処理部２１４は、ネットワークインタフェース２０４を介してデータを受信した場合、転送制御部２１３にデータを出力し、転送制御部２１３からデータを受信した場合、ネットワークインタフェース２０４を介してデータをネットワークに送信する。 The protocol processing unit 214 manages the network interface 204 and executes communication processing based on a predetermined communication protocol. The communication protocol of this embodiment is the TCP/IP protocol. Further, the protocol processing unit 214 provides an API (Application Programming Interface) for communicating with an application or the like. For example, the protocol processing unit 214 notifies the transfer control unit 213 of the transmission address and the transmission port, and the reception address and the reception port. Further, when the protocol processing unit 214 receives data via the network interface 204, it outputs the data to the transfer control unit 213, and when the data is received from the transfer control unit 213, the protocol processing unit 214 sends the data via the network interface 204 to the network. Send to.

なお、プロトコル処理部２１４は、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）に含まれるＴＣＰ／ＩＰ機能として実現されてもよいし、専用のプログラムとして実現されてもよい。 The protocol processing unit 214 may be realized as a TCP/IP function included in an OS (Operating System) or may be realized as a dedicated program.

データ分割部２１５は、所定の分割方法（プロトコル）に基づいて、データを分割することによって複数のデータブロックを生成する。データ分割部２１５が実行する処理の詳細は後述する。 The data division unit 215 generates a plurality of data blocks by dividing the data based on a predetermined division method (protocol). Details of the processing executed by the data dividing unit 215 will be described later.

重複排除部２１１は、送信検索インデックス２１８を用いて重複排除を行う。また、重複排除部２１１は、送信検索インデックス２１８及び送信データブロック情報２２０を管理する。重複排除部２１１が実行する処理の詳細は後述する。 The deduplication unit 211 uses the transmission search index 218 to perform deduplication. The deduplication unit 211 also manages the transmission search index 218 and the transmission data block information 220. Details of the processing executed by the deduplication unit 211 will be described later.

重複復元部２１２は、受信検索インデックス２１９を用いて重複復元を行う。また、重複復元部２１２は、受信検索インデックス２１９及び受信データブロック情報２２１を管理する。重複復元部２１２が実行する処理の詳細は後述する。 The duplication restoration unit 212 performs duplication restoration using the reception search index 219. Further, the duplication restoration unit 212 manages the reception search index 219 and the reception data block information 221. Details of the processing executed by the duplication restoration unit 212 will be described later.

なお、重複排除部２１１は、第１ハッシュ関数及び第２ハッシュ関数を保持する。ハッシュ関数は、例えば、ｍｄ５及びｓｈａ１等が考えられる。 The deduplication unit 211 holds the first hash function and the second hash function. As the hash function, for example, md5 and sha1 can be considered.

なお、前述した各機能部は、複数の機能部を一つの機能部に集約してもよいし、また、一つの機能部を複数の機能部に分割してもよい。例えば、重複排除部２１１、重複復元部２１２、及びデータ分割部２１５を、転送制御部２１３に集約してもよい。 It should be noted that each of the functional units described above may have a plurality of functional units integrated into one functional unit, or one functional unit may be divided into a plurality of functional units. For example, the deduplication unit 211, the duplication restoration unit 212, and the data division unit 215 may be integrated in the transfer control unit 213.

なお、前述した各機能部は、ソフトウェアとして実現されているが、こられの機能の一部又は全てを演算装置２０１及びネットワークインタフェース２０４等のハードウェアを用いて実現されてもよい。 Although each functional unit described above is realized as software, some or all of these functions may be realized by using hardware such as the arithmetic unit 201 and the network interface 204.

本実施例では、送信検索インデックス２１８及び受信検索インデックス２１９を主記憶装置２０２に格納することによって、データブロックの検索処理を高速に行うことができる。また、後述するように、送信検索インデックス２１８及び受信検索インデックス２１９のデータ構造を工夫することによって、検索処理の高速化及び検索精度の向上を実現できる。 In this embodiment, by storing the transmission search index 218 and the reception search index 219 in the main storage device 202, the data block search processing can be performed at high speed. Further, as will be described later, by devising the data structure of the transmission search index 218 and the reception search index 219, it is possible to realize the speedup of the search process and the improvement of the search accuracy.

次に、図４及び図５を用いてＴＣＰ通信に使用されるＴＣＰパケットについて説明する。 Next, a TCP packet used for TCP communication will be described with reference to FIGS. 4 and 5.

図４は、実施例１の転送装置１１０がＬＡＮ１４０を介して送受信するＴＣＰパケット４００のフォーマットの一例を示す図である。 FIG. 4 is a diagram illustrating an example of a format of the TCP packet 400 transmitted and received by the transfer device 110 according to the first embodiment via the LAN 140.

ＴＣＰパケット４００は、ＭＡＣヘッダ４１０、ＩＰヘッダ４２０、ＩＰオプションヘッダ４３０、ＴＣＰヘッダ４４０、ＴＣＰオプションヘッダ４５０、及びＴＣＰペイロード４６０を含む。 The TCP packet 400 includes a MAC header 410, an IP header 420, an IP option header 430, a TCP header 440, a TCP option header 450, and a TCP payload 460.

ＭＡＣヘッダ４１０は、ＤＭＡＣ４１１、ＳＭＡＣ４１２、ＴＰＩＤ４１３、ＴＣＩ４１４、及びＴｙｐｅ４１５を含む。ＤＭＡＣ４１１は、宛先ＭＡＣアドレスを表す。ＳＭＡＣ４１２は、送信元ＭＡＣアドレスを表す。ＴＰＩＤ４１３は、タグ付きフレームであること及びタグの種類を表す。ＴＣＩ４１４は、タグの情報を表す。Ｔｙｐｅ４１５は、ＭＡＣフレームタイプを表す。 The MAC header 410 includes a DMAC 411, a SMAC 412, a TPID 413, a TCI 414, and a Type 415. The DMAC 411 represents the destination MAC address. The SMAC 412 represents the source MAC address. The TPID 413 represents that the frame is a tagged frame and the tag type. The TCI 414 represents tag information. Type 415 represents a MAC frame type.

ＴＣＩ４１４は、さらに、ＰＣＰ４１６、ＣＦＩ４１７、及びＶＩＤ４１８を含む。ＰＣＰ４１６は優先度を表す。ＣＦＩ４１７は、ＭＡＣアドレスが正規フォーマットであるかを表す。ＶＩＤ４１８は、ＶＬＡＮのＩＤを表す。なお、ＶＬＡＮが使用されていないネットワークの場合、ＴＰＩＤ４１３及びＴＣＩ４１４は存在しない。この場合、転送装置１１０は、ＶＩＤ４１８が「０」であるものとして処理を行う。 The TCI 414 further includes PCP 416, CFI 417, and VID 418. PCP416 represents a priority. The CFI 417 represents whether the MAC address is in a regular format. The VID 418 represents a VLAN ID. In the case of a network where VLAN is not used, the TPID 413 and TCI 414 do not exist. In this case, the transfer device 110 performs processing assuming that the VID 418 is “0”.

ＩＰヘッダ４２０は、ＩＰｌｅｎｇｔｈ４２１、ｐｒｏｔｏｃｏｌ４２２、ＳＩＰ４２３、及びＤＩＰ４２４を含む。ＩＰｌｅｎｇｔｈ４２１は、ＭＡＣヘッダ４１０を除くパケット長を表す。ｐｒｏｔｏｃｏｌ４２２は、プロトコル番号を表す。ＳＩＰ４２３は、送信元ＩＰアドレスを表す。ＤＩＰ４２４は、宛先ＩＰアドレスを表す。 The IP header 420 includes an IP length 421, a protocol 422, a SIP 423, and a DIP 424. The IP length 421 represents the packet length excluding the MAC header 410. protocol 422 represents a protocol number. SIP423 represents a source IP address. DIP424 represents a destination IP address.

ＩＰオプションヘッダ４３０は、０又は複数のＩＰオプション情報４３１を含む。 The IP option header 430 includes 0 or a plurality of IP option information 431.

ＴＣＰヘッダ４４０は、ｓｒｃ．ｐｏｒｔ４４１、ｄｓｔ．ｐｏｒｔ４４２、ＳＥＱ４４３、ＡＣＫ４４４、ｆｌａｇ４４５、ｔｃｐｈｌｅｎ４４６、及びｗｉｎ＿ｓｉｚｅ４４７を含む。ｓｒｃ．ｐｏｒｔ４４１は、送信元ポート番号を表す。ｄｓｔ．ｐｏｒｔ４４２は、宛先ポート番号を表す。ＳＥＱ４４３は、送信シーケンス番号を表す。ＡＣＫ４４４は、受信シーケンス番号を表す。ｆｌａｇ４４５は、ＴＣＰフラグ番号を表す。ｔｃｐｈｌｅｎ４４６は、ＴＣＰのヘッダ長を表す。ｗｉｎ＿ｓｉｚｅ４４７は、対向装置へ通知する広告ウインドウサイズを表す。 The TCP header 440 is the src. port 441, dst. It includes a port 442, a SEQ 443, an ACK 444, a flag 445, a tcp hlen 446, and a win_size 447. src. The port 441 represents the transmission source port number. dst. The port 442 represents the destination port number. SEQ443 represents a transmission sequence number. The ACK 444 represents the reception sequence number. The flag 445 represents a TCP flag number. tcp hlen 446 represents the TCP header length. win_size 447 represents the advertisement window size notified to the opposite device.

ＴＣＰオプションヘッダ４５０は、０又は複数のオプションを含む。例えば、ｏｐｔｉｏｎｋｉｎｄ４５１、ｏｐｔｉｏｎｌｅｎｇｔｈ４５２、及びオプション情報４５３等のオプションが含まれる。ｏｐｔｉｏｎｋｉｎｄ４５１は、オプションの種別を表す。ｏｐｔｉｏｎｌｅｎｇｔｈ４５２は、オプション長を表す。オプション情報４５３は、オプションの種類に応じた情報を表す。 The TCP option header 450 includes 0 or more options. For example, options such as an option kind 451, an option length 452, and option information 453 are included. The option kind 451 represents the type of option. The option length 452 represents an option length. The option information 453 represents information according to the type of option.

図５は、実施例１の転送装置１１０がＷＡＮ１２０を介して送受信するＴＣＰパケット５００のフォーマットの一例を示す図である。 FIG. 5 is a diagram illustrating an example of a format of a TCP packet 500 transmitted and received by the transfer device 110 of the first embodiment via the WAN 120.

ＴＣＰパケット５００は、ＴＣＰパケット４００と同様にＭＡＣヘッダ４１０、ＩＰヘッダ４２０、ＩＰオプションヘッダ４３０、ＴＣＰヘッダ４４０、及びＴＣＰオプションヘッダ４５０を含む。さらに、ＴＣＰパケット５００は、符号化されたデータ部分に対応するＤｅｄｕｐヘッダ５１０及びＤｅｄｕｐペイロード５２０の組を一つ以上含む。 Like the TCP packet 400, the TCP packet 500 includes a MAC header 410, an IP header 420, an IP option header 430, a TCP header 440, and a TCP option header 450. Further, the TCP packet 500 includes one or more sets of the Dedupe header 510 and the Dedupe payload 520 corresponding to the encoded data portion.

ＴＣＰパケット５００に含まれるＭＡＣヘッダ４１０、ＩＰヘッダ４２０、ＴＣＰヘッダ４４０、及びＴＣＰオプションヘッダ４５０は、ＴＣＰパケット４００に含まれるものと同一である。ＴＣＰパケット５００に含まれるＩＰオプションヘッダ４３０には、オプション情報の一つとしてＤｅｄｕｐ５０１を含む。Ｄｅｄｕｐ５０１は、転送装置１１０によって重複排除が行われたパケットであることを表す。 The MAC header 410, the IP header 420, the TCP header 440, and the TCP option header 450 included in the TCP packet 500 are the same as those included in the TCP packet 400. The IP option header 430 included in the TCP packet 500 includes Dedupe 501 as one of the option information. Dedup 501 indicates that the packet has been deduplicated by the transfer device 110.

Ｄｅｄｕｐヘッダ５１０は、ｄｅｄｕｐ．ｔｙｐｅ５１１、ｄｅｄｕｐ．ｄａｔａ＿ｌｅｎ５１２、ｄｅｄｕｐ．ｈａｓｈ１５１３、及びｄｅｄｕｐ．ｈａｓｈ２５１４を含む。Ｄｅｄｕｐヘッダ５１０に含まれる各情報のデータサイズは、一例であって、必要に応じてデータサイズを変更できる。 The Dedup header 510 includes the Dedup. type 511, dedup. data_len 512, dedup. hash1 513, and dedup. including hash2 514. The data size of each information included in the Dedup header 510 is an example, and the data size can be changed as necessary.

ｄｅｄｕｐ．ｔｙｐｅ５１１は、Ｄｅｄｕｐペイロード５２０の種類を表す。ｄｅｄｕｐ．ｄａｔａ＿ｌｅｎ５１２は、Ｄｅｄｕｐペイロード５２０の長さを表す。ｄｅｄｕｐ．ｈａｓｈ１５１３及びｄｅｄｕｐ．ｈａｓｈ２５１４は、データブロックを検索するために用いるハッシュ値を表す。本実施例では、ｄｅｄｕｐ．ｈａｓｈ１５１３及びｄｅｄｕｐ．ｈａｓｈ２５１４が、データブロックの識別情報として用いられる。 dedup. The type 511 represents the type of the Dedup payload 520. dedup. The data_len 512 represents the length of the Dedup payload 520. dedup. hash1 513 and dedup. hash2 514 represents a hash value used to search the data block. In this embodiment, dedup. hash1 513 and dedup. hash2 514 is used as the identification information of the data block.

なお、ｄｅｄｕｐ．ｔｙｐｅ５１１には「１」、「２」、「３」のいずれかが設定される。「１」は、データブロックの識別情報のみを含むＴＣＰパケット５００であることを示す。「２」は、データブロック及びデータブロックの識別情報を含むＴＣＰパケット５００であることを示す。「３」は、分割されなかったデータを含むＴＣＰパケット５００であることを示す。 In addition, dedup. Any one of “1”, “2”, and “3” is set in the type 511. “1” indicates that the TCP packet 500 includes only the identification information of the data block. “2” indicates that the TCP packet 500 includes a data block and data block identification information. “3” indicates that the TCP packet 500 includes data that has not been divided.

Ｄｅｄｕｐペイロード５２０は、Ｄｅｄｕｐ．ｔｙｐｅ５１１の値に応じて、データブロック又はＬＡＮ１４０から受信したデータ等が格納される。なお、データブロックの識別情報を送信する場合、空のＤｅｄｕｐペイロード５２０が付与されてもよいし、Ｄｅｄｕｐペイロード５２０が付与されなくてもよい。 The Dedup payload 520 is the Dedup. Depending on the value of type 511, a data block, data received from the LAN 140, or the like is stored. When transmitting the identification information of the data block, an empty Dedupa payload 520 may be added or the Dedupa payload 520 may not be added.

次に、図６、図７、及び図８を用いて、転送装置１１０が管理する情報等について説明する。 Next, information and the like managed by the transfer device 110 will be described with reference to FIGS. 6, 7, and 8.

図６は、実施例１のフロー情報２１７の一例を示す図である。 FIG. 6 is a diagram illustrating an example of the flow information 217 according to the first embodiment.

フロー情報２１７は、フローを管理する情報を格納するエントリを含む。エントリは、フローＩＤ６０１、ＶＬＡＮ６０２、ＬＡＮ−ＩＰ６０３、ＷＡＮ−ＩＰ６０４、ＬＡＮ−ＰＯＲＴ６０５、ＷＡＮ−ＰＯＲＴ６０６、バッファ６０７、及びタイマ６０８から構成される。 The flow information 217 includes an entry that stores information that manages a flow. The entry includes a flow ID 601, a VLAN 602, a LAN-IP 603, a WAN-IP 604, a LAN-PORT 605, a WAN-PORT 606, a buffer 607, and a timer 608.

フローＩＤ６０１は、フローを一意に識別するための識別情報である。ＶＬＡＮ６０２は、フローが属するＶＬＡＮの識別情報である。ＬＡＮ−ＩＰ６０３及びＬＡＮ−ＰＯＲＴ６０５は、ＬＡＮ１４０を介して接続される端末１００のＩＰアドレス及びポート番号である。ＷＡＮ−ＩＰ６０４及びＷＡＮ−ＰＯＲＴ６０６は、ＷＡＮ１２０を介して接続される端末１００のＩＰアドレス及びポート番号である。バッファ６０７は、ＬＡＮ１４０から受信したデータをＷＡＮ１２０に転送する場合に、一時的にデータを格納するための領域である。タイマ６０８は、データ転送に用いるタイマ値である。 The flow ID 601 is identification information for uniquely identifying a flow. The VLAN 602 is identification information of the VLAN to which the flow belongs. LAN-IP 603 and LAN-PORT 605 are the IP address and port number of the terminal 100 connected via the LAN 140. WAN-IP 604 and WAN-PORT 606 are the IP address and port number of the terminal 100 connected via the WAN 120. The buffer 607 is an area for temporarily storing data when the data received from the LAN 140 is transferred to the WAN 120. The timer 608 is a timer value used for data transfer.

図７は、実施例１の送信検索インデックス２１８の一例を示す図である。なお、受信検索インデックス２１９のデータ構造は、送信検索インデックス２１８と同一であるため、説明を省略する。 FIG. 7 is a diagram illustrating an example of the transmission search index 218 according to the first embodiment. Since the data structure of the reception search index 219 is the same as that of the transmission search index 218, the description thereof will be omitted.

送信検索インデックス２１８は、２次元配列のデータ構造である。図７では、Ｎ行４列の２次元配列となっている。なお、行及び列の数は一例であって、任意の値に設定できる。 The transmission search index 218 has a two-dimensional array data structure. In FIG. 7, it is a two-dimensional array having N rows and 4 columns. The number of rows and columns is an example, and can be set to any value.

２次元配列の一つの要素７０１には、ハッシュ値Ｘ及びポインタ値Ｐが含まれる。ハッシュ値Ｘは、ハッシュ関数にデータブロックを入力することによって算出されるハッシュ値である。ハッシュ値Ｘは、データブロックが送信データブロック情報２２０に格納されているか否かを判定する場合に使用される。ポインタ値は、送信データブロック情報２２０内のデータブロックをアクセスするための値である。ポインタ値には、後述するファイル名８０１の値が設定される。 One element 701 of the two-dimensional array includes a hash value X and a pointer value P. The hash value X is a hash value calculated by inputting a data block into the hash function. The hash value X is used when determining whether the data block is stored in the transmission data block information 220. The pointer value is a value for accessing the data block in the transmission data block information 220. The value of the file name 801 described later is set as the pointer value.

後述するように、重複排除部２１１は、二つのハッシュ関数を用いて、送信検索インデックス２１８を参照する。 As described later, the deduplication unit 211 refers to the transmission search index 218 using the two hash functions.

図８は、実施例１の送信データブロック情報２２０の一例を示す図である。なお、受信データブロック情報２２１のデータ構造は、送信データブロック情報２２０と同一であるため、説明を省略する。 FIG. 8 is a diagram illustrating an example of the transmission data block information 220 according to the first embodiment. The data structure of the reception data block information 221 is the same as that of the transmission data block information 220, and thus the description thereof is omitted.

送信データブロック情報２２０は、データブロックを格納するエントリを含む。エントリは、ファイル名８０１及びデータブロック８０２から構成される。本実施例では、個々のデータブロックがファイルとして管理される。 The transmission data block information 220 includes an entry that stores a data block. The entry includes a file name 801 and a data block 802. In this embodiment, each data block is managed as a file.

ファイル名８０１は、データブロックを管理するファイルの識別情報である。本実施例では、ファイルの識別情報に数値を用いる。データブロック８０２は、データブロックそのものである。 The file name 801 is identification information of a file that manages a data block. In this embodiment, a numerical value is used as the identification information of the file. The data block 802 is the data block itself.

次に、図９Ａ、図９Ｂ、及び図９Ｃを用いて、データ転送処理の一連の流れについて説明する。以下では、一例として、端末１００−１から端末１００−２へデータを転送する場合のデータ転送処理について説明する。なお、端末１００−２から端末１００−２へデータを転送する場合も同様の処理となる。 Next, a series of flow of the data transfer process will be described with reference to FIGS. 9A, 9B, and 9C. Hereinafter, as an example, a data transfer process when data is transferred from the terminal 100-1 to the terminal 100-2 will be described. The same processing is performed when data is transferred from the terminal 100-2 to the terminal 100-2.

図９Ａ、図９Ｂ、及び図９Ｃは、実施例１のデータ転送処理の流れを説明するシーケンス図である。なお、ＴＣＰ通信における確認応答等のＴＣＰレイヤの処理については省略している。 9A, 9B, and 9C are sequence diagrams illustrating the flow of data transfer processing according to the first embodiment. Note that processing of the TCP layer such as confirmation response in TCP communication is omitted.

図９Ａは、転送装置１１０−１及び転送装置１１０−２が、端末１００−１から送信されるデータ（データブロック）を保持している場合のデータ転送処理の流れを示す。 FIG. 9A shows a flow of data transfer processing when the transfer device 110-1 and the transfer device 110-2 hold data (data block) transmitted from the terminal 100-1.

端末１００−１が端末１００−２へデータを送信する（ステップＳ９０１）。 The terminal 100-1 transmits data to the terminal 100-2 (step S901).

転送装置１１０−１は、ＬＡＮ１４０−１を介して、端末１００−１からデータを受信した場合、当該データをデータブロックに分割する（ステップＳ９０２）。転送装置１１０−１は、データブロックのハッシュ値に基づいて送信検索インデックス２１８を検索し、データブロックが送信データブロック情報２２０に格納されているか否かを判定する（ステップＳ９０３）。 When the transfer device 110-1 receives data from the terminal 100-1 via the LAN 140-1, the transfer device 110-1 divides the data into data blocks (step S902). The transfer device 110-1 searches the transmission search index 218 based on the hash value of the data block, and determines whether the data block is stored in the transmission data block information 220 (step S903).

データブロックは送信データブロック情報２２０に格納されているため、転送装置１１０−１は、ＷＡＮ１２０を介して、端末１００−２にデータブロックの識別情報を送信する（ステップＳ９０４）。このとき、転送装置１１０−１は、データブロックバッファ２１６にデータブロックを格納する。 Since the data block is stored in the transmission data block information 220, the transfer device 110-1 transmits the identification information of the data block to the terminal 100-2 via the WAN 120 (step S904). At this time, the transfer device 110-1 stores the data block in the data block buffer 216.

転送装置１１０−２は、データブロックの識別情報を受信した場合、データブロックの識別情報に基づいて受信検索インデックス２１９を検索し、データブロックが受信データブロック情報２２１に格納されているか否かを判定する（ステップＳ９０５）。 When the transfer device 110-2 receives the identification information of the data block, the transfer device 110-2 searches the reception search index 219 based on the identification information of the data block, and determines whether the data block is stored in the reception data block information 221. Yes (step S905).

データブロックは受信データブロック情報２２１に格納されているため、転送装置１１０−２は、ＷＡＮ１２０を介して、転送装置１１０−１に復元確認通知を送信する（ステップＳ９０６）。なお、復元確認通知は、データブロックの転送が完了した旨を示す通知である。 Since the data block is stored in the received data block information 221, the transfer device 110-2 transmits a restoration confirmation notification to the transfer device 110-1 via the WAN 120 (step S906). The restoration confirmation notification is a notification indicating that the transfer of the data block has been completed.

また、転送装置１１０−２は、データブロックの識別情報に基づいて受信データブロック情報２２１からデータブロックを取得し、ＬＡＮ１４０−２を介して、端末１００−２に取得されたデータブロックを端末１００−１から送信されたデータとして送信する（ステップＳ９０７）。 Also, the transfer device 110-2 acquires a data block from the received data block information 221 based on the identification information of the data block, and transfers the acquired data block to the terminal 100-2 via the LAN 140-2. It is transmitted as the data transmitted from 1 (step S907).

転送装置１１０−１は、ＷＡＮ１２０を介して、復元確認通知を受信した場合、データブロックバッファ２１６に格納されるデータブロックを削除する（ステップＳ９０８）。 When receiving the restoration confirmation notification via the WAN 120, the transfer device 110-1 deletes the data block stored in the data block buffer 216 (step S908).

なお、端末１００−１から受信したデータは複数のデータブロックに分割される。したがって、転送装置１１０−１は、Ｄｅｄｕｐヘッダ５１０及びＤｅｄｕｐペイロード５２０の組を一つ以上含むＴＣＰパケット５００の送信を一回以上行う。また、転送装置１１０−２は、データブロックを送信する場合、複数のデータブロックを含む一つのＴＣＰパケット４００を送信してもよいし、一つのデータブロックを含むＴＣＰパケット４００を複数回送信してもよい。 The data received from the terminal 100-1 is divided into a plurality of data blocks. Therefore, the transfer device 110-1 transmits the TCP packet 500 including one or more sets of the Dedupe header 510 and the Dedupe payload 520 one or more times. When transmitting the data block, the transfer device 110-2 may transmit one TCP packet 400 including a plurality of data blocks, or may transmit the TCP packet 400 including one data block a plurality of times. Good.

図９Ｂは、転送装置１１０−１が、端末１００−１から送信されるデータ（データブロック）を保持していない場合のデータ転送処理の流れを示す。 FIG. 9B shows a flow of data transfer processing when the transfer device 110-1 does not hold the data (data block) transmitted from the terminal 100-1.

端末１００−１が端末１００−２へデータを送信する（ステップＳ９１１）。 The terminal 100-1 transmits data to the terminal 100-2 (step S911).

転送装置１１０−１は、ＬＡＮ１４０−１を介して、端末１００−１からデータを受信した場合、当該データをデータブロックに分割する（ステップＳ９１２）。転送装置１１０−１は、データブロックのハッシュ値に基づいて送信検索インデックス２１８を検索し、データブロックが送信データブロック情報２２０に格納されているか否かを判定する（ステップＳ９１３）。 When the transfer device 110-1 receives data from the terminal 100-1 via the LAN 140-1, the transfer device 110-1 divides the data into data blocks (step S912). The transfer device 110-1 searches the transmission search index 218 based on the hash value of the data block and determines whether the data block is stored in the transmission data block information 220 (step S913).

データブロックは送信データブロック情報２２０に格納されていないため、転送装置１１０−１は、ＷＡＮ１２０を介して、転送装置１１０−２にデータブロックを送信する（ステップＳ９１４）。 Since the data block is not stored in the transmission data block information 220, the transfer device 110-1 transmits the data block to the transfer device 110-2 via the WAN 120 (step S914).

転送装置１１０−２は、データブロックを受信した場合、受信データブロック情報２２１に当該データブロックを格納する（ステップＳ９１５）。転送装置１１０−２は、ＷＡＮ１２０を介して、転送装置１１０−１に復元確認通知を送信する（ステップＳ９１６）。また、転送装置１１０−２は、ＬＡＮ１４０−２を介して、端末１００−２に受信したデータブロックを端末１００−１から送信されたデータとして送信する（ステップＳ９１７）。 When receiving the data block, the transfer device 110-2 stores the data block in the received data block information 221 (step S915). The transfer device 110-2 transmits a restoration confirmation notification to the transfer device 110-1 via the WAN 120 (step S916). Further, the transfer device 110-2 transmits the data block received by the terminal 100-2 as the data transmitted from the terminal 100-1 via the LAN 140-2 (step S917).

転送装置１１０−１は、ＷＡＮ１２０を介して、復元確認通知を受信した場合、データブロックバッファ２１６に格納されるデータブロックを送信データブロック情報２２０に格納する（ステップＳ９１８）。 When receiving the restoration confirmation notification via the WAN 120, the transfer device 110-1 stores the data block stored in the data block buffer 216 in the transmission data block information 220 (step S918).

図９Ｃは、転送装置１１０−１のみが、端末１００−１から送信されるデータ（データブロック）を保持している場合のデータ転送処理の流れを示す。 FIG. 9C shows the flow of the data transfer process when only the transfer device 110-1 holds the data (data block) transmitted from the terminal 100-1.

ステップＳ９２１からステップＳ９２４の処理は、ステップＳ９０１からステップＳ９０４の処理と同一である。 The processing of steps S921 to S924 is the same as the processing of steps S901 to S904.

転送装置１１０−２は、データブロックの識別情報を受信した場合、データブロックの識別情報に基づいて受信検索インデックス２１９を検索し、データブロックが受信データブロック情報２２１に格納されているか否かを判定する（ステップＳ９２５）。 When the transfer device 110-2 receives the identification information of the data block, the transfer device 110-2 searches the reception search index 219 based on the identification information of the data block, and determines whether the data block is stored in the reception data block information 221. Yes (step S925).

データブロックは受信データブロック情報２２１に格納されていないため、転送装置１１０−２は、ＷＡＮ１２０を介して、データブロック要求を送信する（ステップＳ９２６）。 Since the data block is not stored in the received data block information 221, the transfer device 110-2 transmits the data block request via the WAN 120 (step S926).

転送装置１１０−１は、ＷＡＮ１２０を介して、データブロック要求を受信した場合、ＷＡＮ１２０を介して、転送装置１１０−２にデータブロックバッファ２１６に格納されるデータブロックを送信する（ステップＳ９２７）。 When the transfer device 110-1 receives the data block request via the WAN 120, the transfer device 110-1 transmits the data block stored in the data block buffer 216 to the transfer device 110-2 via the WAN 120 (step S927).

転送装置１１０−２は、ＷＡＮ１２０を介して、データブロックを受信した場合、受信データブロック情報２２１に当該データブロックを格納する（ステップＳ９２８）。転送装置１１０−２は、ＷＡＮ１２０を介して、転送装置１１０−１に復元確認通知を送信する（ステップＳ９２９）。また、転送装置１１０−２は、ＬＡＮ１４０−２を介して、端末１００−２に受信したデータブロックを端末１００−１から送信されたデータとして送信する（ステップＳ９３０）。 When the transfer device 110-2 receives the data block via the WAN 120, the transfer device 110-2 stores the data block in the received data block information 221 (step S928). The transfer device 110-2 transmits a restoration confirmation notification to the transfer device 110-1 via the WAN 120 (step S929). Further, the transfer device 110-2 transmits the data block received by the terminal 100-2 as the data transmitted from the terminal 100-1 via the LAN 140-2 (step S930).

転送装置１１０−１は、ＷＡＮ１２０を介して、復元確認通知を受信した場合、データブロックバッファ２１６に格納されるデータブロックを削除する（ステップＳ９３１）。 When receiving the restoration confirmation notification via the WAN 120, the transfer device 110-1 deletes the data block stored in the data block buffer 216 (step S931).

転送装置１１０−１は、復元確認通知を受信するまで、データブロックバッファ２１６にデータブロックを格納するため、転送装置１１０−２からのデータブロック要求を受信した場合、即座に転送装置１１０−２にデータブロックを送信できる。 Since the transfer device 110-1 stores the data block in the data block buffer 216 until the restoration confirmation notification is received, when the data block request from the transfer device 110-2 is received, the transfer device 110-1 immediately notifies the transfer device 110-2. Data blocks can be sent.

また、図９Ｂに示すように、転送装置１１０−１は、復元確認通知を受信した後に、送信データブロック情報２２０にデータブロックを格納する。送信データブロック情報２２０へのデータブロックの格納順番が逆の場合、転送装置１１０−２にデータブロックが登録されていない可能性がある。そのため、図９Ｃに示すようなデータ転送処理が発生する可能性がある。一方、図９Ｂに示すような処理手順にすることによって、図９Ｃに示すようなデータ転送処理が発生する可能性を低くすることができる。図９Ｃに示すデータ転送処理では、転送装置１１０間の通信回数が増えることから、通信の遅延が発生する。したがって、図９Ｃに示すようなデータ転送処理の発生を防止することによって、ネットワークシステム全体の通信速度、通信品質等を向上させることができる。 Further, as illustrated in FIG. 9B, the transfer device 110-1 stores the data block in the transmission data block information 220 after receiving the restoration confirmation notification. If the storage order of the data blocks in the transmission data block information 220 is reversed, there is a possibility that the data blocks are not registered in the transfer device 110-2. Therefore, the data transfer process as shown in FIG. 9C may occur. On the other hand, by adopting the processing procedure as shown in FIG. 9B, it is possible to reduce the possibility that the data transfer processing as shown in FIG. 9C will occur. In the data transfer process shown in FIG. 9C, the number of times of communication between the transfer devices 110 increases, so that communication delay occurs. Therefore, by preventing the occurrence of the data transfer process as shown in FIG. 9C, it is possible to improve the communication speed, communication quality, etc. of the entire network system.

次に、図１０から図１８を用いて、転送装置１１０の各機能部が実行する処理の詳細を説明する。 Next, the details of the processing executed by each functional unit of the transfer device 110 will be described with reference to FIGS. 10 to 18.

図１０は、実施例１の転送制御部２１３がＬＡＮ１４０からデータを受信した場合に実行する処理を説明するフローチャートである。 FIG. 10 is a flowchart illustrating a process executed when the transfer control unit 213 according to the first embodiment receives data from the LAN 140.

転送制御部２１３は、プロトコル処理部２１４から、ＬＡＮ１４０から受信したデータを受け取った場合（ステップＳ１００１）、フロー情報２１７にデータを格納する（ステップＳ１００２）。 When receiving the data received from the LAN 140 from the protocol processing unit 214 (step S1001), the transfer control unit 213 stores the data in the flow information 217 (step S1002).

具体的には、転送制御部２１３は、プロトコル処理部２１４から受け取ったＩＰアドレス、ポート番号、及びＶＬＡＮのＩＤ等に基づいてフロー情報２１７を参照し、フローに対応するエントリを特定する。転送制御部２１３は、特定されたエントリのバッファ６０７に、受け取ったデータ（ＴＣＰペイロード４６０）を格納する。なお、バッファ６０７にデータが格納されている場合、転送制御部２１３は、当該データの後方に受け取ったデータを追加する。 Specifically, the transfer control unit 213 refers to the flow information 217 based on the IP address, the port number, the VLAN ID, and the like received from the protocol processing unit 214, and identifies the entry corresponding to the flow. The transfer control unit 213 stores the received data (TCP payload 460) in the buffer 607 of the specified entry. When the data is stored in the buffer 607, the transfer control unit 213 adds the received data after the data.

次に、転送制御部２１３は、データ分割部２１５を呼び出す（ステップＳ１００３）。このとき、転送制御部２１３は、受け取ったデータをデータ分割部２１５に出力する。その後、転送制御部２１３は、処理を終了する。 Next, the transfer control unit 213 calls the data division unit 215 (step S1003). At this time, the transfer control unit 213 outputs the received data to the data dividing unit 215. After that, the transfer control unit 213 ends the process.

図１１は、実施例１の転送制御部２１３がデータ分割部２１５から応答を受け取った場合に実行する処理を説明するフローチャートである。 FIG. 11 is a flowchart illustrating a process executed when the transfer control unit 213 according to the first embodiment receives a response from the data division unit 215.

転送制御部２１３は、データ分割部２１５から受け取った応答が分割不可通知であるか否かを判定する（ステップＳ１１０１）。 The transfer control unit 213 determines whether or not the response received from the data division unit 215 is an undividable notification (step S1101).

データ分割部２１５から受け取った応答が分割不可通知であると判定された場合、転送制御部２１３は、ステップＳ１１０６に進む。 When it is determined that the response received from the data division unit 215 is the division impossible notification, the transfer control unit 213 proceeds to step S1106.

データ分割部２１５から受け取った応答が分割不可通知ではないと判定された場合、すなわち、データ分割部２１５からデータブロックを受け取った場合、転送制御部２１３は、ステップＳ１００２において特定されたエントリのバッファ６０７に格納されるデータから当該データブロックを削除する（ステップＳ１１０２）。 When it is determined that the response received from the data division unit 215 is not the division impossible notification, that is, when the data block is received from the data division unit 215, the transfer control unit 213 determines the buffer 607 of the entry specified in step S1002. The data block is deleted from the data stored in (step S1102).

具体的には、転送制御部２１３は、ステップＳ１００２において特定されたエントリのバッファ６０７に格納されるデータからデータブロックに一致するデータ列を削除する。 Specifically, the transfer control unit 213 deletes the data string that matches the data block from the data stored in the buffer 607 of the entry specified in step S1002.

次に、転送制御部２１３は、重複排除部２１１を呼び出す（ステップＳ１１０３）。転送制御部２１３は、重複排除部２１１から応答があるまで待ち状態に移行する。このとき、転送制御部２１３は、データブロックを重複排除部２１１に入力する。 Next, the transfer control unit 213 calls the deduplication unit 211 (step S1103). The transfer control unit 213 shifts to a waiting state until there is a response from the deduplication unit 211. At this time, the transfer control unit 213 inputs the data block to the deduplication unit 211.

転送制御部２１３は、一定時間経過した後、重複排除部２１１から符号化されたデータを取得したか否かを判定する（ステップＳ１１０４）。 The transfer control unit 213 determines whether or not the encoded data is acquired from the deduplication unit 211 after a certain time has elapsed (step S1104).

重複排除部２１１から符号化されたデータを取得していないと判定された場合、転送制御部２１３は、待ち状態に移行し、一定時間経過した後にステップＳ１１０４に戻る。 When it is determined that the coded data has not been acquired from the deduplication unit 211, the transfer control unit 213 shifts to the waiting state and returns to step S1104 after a predetermined time has elapsed.

重複排除部２１１から符号化されたデータを取得したと判定された場合、転送制御部２１３は、ＷＡＮ１２０を介して、符号化されたデータを送信し、また、データブロックバッファ２１６にデータブロックを格納する（ステップＳ１１０５）。 When it is determined that the encoded data is acquired from the deduplication unit 211, the transfer control unit 213 transmits the encoded data via the WAN 120, and also stores the data block in the data block buffer 216. Yes (step S1105).

具体的には、転送制御部２１３は、符号化されたデータをプロトコル処理部２１４に出力する。なお、符号化されたデータとは、一つ以上のＤｅｄｕｐヘッダ５１０及びＤｅｄｕｐペイロード５２０の組を表す。 Specifically, the transfer control unit 213 outputs the encoded data to the protocol processing unit 214. The encoded data represents a set of one or more Dedupe header 510 and Dedupe payload 520.

ステップＳ１１０１の判定結果がＹＥＳの場合、又は、ステップＳ１１０５の処理が実行された後、転送制御部２１３は、ステップＳ１００２において特定されたエントリのバッファ６０７にデータが残っているか否かを判定する（ステップＳ１１０６）。 When the determination result of step S1101 is YES, or after the process of step S1105 is executed, the transfer control unit 213 determines whether or not data remains in the buffer 607 of the entry identified in step S1002 ( Step S1106).

ステップＳ１００２において特定されたエントリのバッファ６０７にデータが残っていると判定された場合、転送制御部２１３は、当該エントリのタイマ６０８に任意の時間を設定する（ステップＳ１１０７）。その後、転送制御部２１３は、処理を終了する。 When it is determined in step S1002 that data remains in the buffer 607 of the identified entry, the transfer control unit 213 sets an arbitrary time in the timer 608 of the entry (step S1107). After that, the transfer control unit 213 ends the process.

ステップＳ１００２において特定されたエントリのバッファ６０７にデータが残っていないと判定された場合、転送制御部２１３は、当該エントリのタイマ６０８に「０」を設定する（ステップＳ１１０８）。その後、転送制御部２１３は、処理を終了する。 When it is determined in step S1002 that no data remains in the buffer 607 of the identified entry, the transfer control unit 213 sets “0” in the timer 608 of the entry (step S1108). After that, the transfer control unit 213 ends the process.

図１２は、実施例１の転送制御部２１３がタイマ６０８に設定された時間が経過した場合に実行する処理を説明するフローチャートである。 FIG. 12 is a flowchart illustrating processing executed by the transfer control unit 213 according to the first embodiment when the time set in the timer 608 elapses.

転送制御部２１３は、各フローについてタイマをカウントし、タイマ６０８に設定された時間が経過したエントリを検出した場合、以下の処理を開始する。以下では、タイマ６０８に設定された時間が経過したエントリを対象エントリと記載する。 The transfer control unit 213 counts the timer for each flow, and when detecting an entry in which the time set in the timer 608 has elapsed, starts the following processing. Hereinafter, an entry in which the time set in the timer 608 has elapsed is described as a target entry.

転送制御部２１３は、対象エントリのバッファ６０７に格納されるデータの符号化を重複排除部２１１に指示する（ステップＳ１２０１）。転送制御部２１３は、重複排除部２１１から符号化されたデータを取得するまで待ち状態に移行する。なお、当該指示には、対象エントリのバッファ６０７に格納されるデータが含まれる。 The transfer control unit 213 instructs the deduplication unit 211 to encode the data stored in the buffer 607 of the target entry (step S1201). The transfer control unit 213 shifts to a waiting state until it acquires the encoded data from the deduplication unit 211. The instruction includes the data stored in the buffer 607 of the target entry.

重複排除部２１１は、当該指示を受け付けた場合、ｄｅｄｕｐ．ｔｙｐｅ５１１に「３」を設定し、ｄｅｄｕｐ．ｄａｔａ＿ｌｅｎ５１２にバッファ６０７に格納されるデータの長さを設定し、ｄｅｄｕｐ．ｈａｓｈ１５１３及びｄｅｄｕｐ．ｈａｓｈ２５１４にダミーの値として「０」を設定することによってＤｅｄｕｐヘッダ５１０を生成する。また、重複排除部２１１は、Ｄｅｄｕｐペイロード５２０に対象エントリのバッファ６０７に格納されるデータを設定する。重複排除部２１１は、Ｄｅｄｕｐヘッダ５１０及びＤｅｄｕｐペイロード５２０を転送制御部２１３に出力する。 When the deduplication unit 211 receives the instruction, the dedup. "3" is set in the type 511, and dedup. The length of the data stored in the buffer 607 is set in the data_len 512, and the delete. hash1 513 and dedup. By setting "0" as the dummy value in the hash2 514, the Dedup header 510 is generated. Further, the deduplication unit 211 sets the data stored in the buffer 607 of the target entry in the Dedup payload 520. The deduplication unit 211 outputs the Dedup header 510 and the Dedup payload 520 to the transfer control unit 213.

次に、転送制御部２１３は、重複排除部２１１から符号化されたデータを取得した場合、ＷＡＮ１２０を介して、符号化されたデータを送信する（ステップＳ１２０２）。 Next, when the transfer control unit 213 acquires the encoded data from the deduplication unit 211, the transfer control unit 213 transmits the encoded data via the WAN 120 (step S1202).

具体的には、転送制御部２１３は、符号化されたデータをプロトコル処理部２１４に出力する。これによって、Ｄｅｄｕｐヘッダ５１０及びＤｅｄｕｐペイロード５２０を含むＴＣＰパケット５００が送信される。 Specifically, the transfer control unit 213 outputs the encoded data to the protocol processing unit 214. As a result, the TCP packet 500 including the Dedup header 510 and the Dedup payload 520 is transmitted.

次に、転送制御部２１３は、対象エントリのタイマ６０８に「０」を設定する（ステップＳ１２０３）。その後、転送制御部２１３は、処理を終了する。 Next, the transfer control unit 213 sets “0” in the timer 608 of the target entry (step S1203). After that, the transfer control unit 213 ends the process.

このように、タイマ６０８に設定された時間が経過した場合に、転送装置１１０がバッファ６０７に格納されるデータを送信することによって、受信したデータが転送されない状態を防止できる。 Thus, when the transfer device 110 transmits the data stored in the buffer 607 when the time set in the timer 608 elapses, it is possible to prevent the received data from not being transferred.

図１３は、実施例１の転送制御部２１３が他の転送装置１１０から応答を受信した場合に実行する処理を説明するフローチャートである。 FIG. 13 is a flowchart illustrating a process executed by the transfer control unit 213 according to the first embodiment when a response is received from another transfer device 110.

転送制御部２１３は、プロトコル処理部２１４から、ＷＡＮ１２０から受信した他の転送装置１１０の応答を受け取った場合（ステップＳ１３０１）、受け取った応答がデータブロック要求であるか否かを判定する（ステップＳ１３０２）。 When the transfer control unit 213 receives from the protocol processing unit 214 a response from the other transfer device 110 received from the WAN 120 (step S1301), the transfer control unit 213 determines whether the received response is a data block request (step S1302). ).

受け取った応答がデータブロック要求であると判定された場合、転送制御部２１３は、データブロックバッファ２１６からデータブロックを読み出し、重複排除部２１１にデータブロックの符号化を指示する（ステップＳ１３０３）。転送制御部２１３は、重複排除部２１１から符号化されたデータブロックを取得するまで待ち状態に移行する。なお、当該指示には、データブロックが含まれる。 When it is determined that the received response is the data block request, the transfer control unit 213 reads the data block from the data block buffer 216 and instructs the deduplication unit 211 to encode the data block (step S1303). The transfer control unit 213 shifts to a waiting state until it acquires the encoded data block from the deduplication unit 211. The instruction includes a data block.

重複排除部２１１は、当該指示を受け付けた場合、第１ハッシュ関数及び第２ハッシュ関数を用いて、変数α及び変数βを算出する。変数α及び変数βの算出方法は、図１５を用いて説明する。重複排除部２１１は、ｄｅｄｕｐ．ｔｙｐｅ５１１に「２」を設定し、ｄｅｄｕｐ．ｄａｔａ＿ｌｅｎ５１２にデータブロックの長さを設定し、ｄｅｄｕｐ．ｈａｓｈ１５１３に変数αを設定し、ｄｅｄｕｐ．ｈａｓｈ２５１４に変数βを設定することによってＤｅｄｕｐヘッダ５１０を生成する。また、重複排除部２１１は、Ｄｅｄｕｐペイロード５２０にデータブロックを設定する。重複排除部２１１は、Ｄｅｄｕｐヘッダ５１０及びＤｅｄｕｐペイロード５２０を転送制御部２１３に出力する。 When the deduplication unit 211 receives the instruction, the deduplication unit 211 calculates the variable α and the variable β using the first hash function and the second hash function. A method of calculating the variables α and β will be described with reference to FIG. The deduplication unit 211 uses the dedup. “2” is set in the type 511, and dedup. The length of the data block is set in the data_len 512 and the data. The variable α is set in the hash1 513, and dedup. The Dedup header 510 is generated by setting the variable β in the hash2 514. Further, the deduplication unit 211 sets a data block in the Dedup payload 520. The deduplication unit 211 outputs the Dedup header 510 and the Dedup payload 520 to the transfer control unit 213.

次に、転送制御部２１３は、重複排除部２１１から符号化されたデータブロックを取得した場合、ＷＡＮ１２０を介して、符号化されたデータブロックを送信する（ステップＳ１３０４）。その後、転送制御部２１３は、処理を終了する。 Next, when the transfer control unit 213 acquires the encoded data block from the deduplication unit 211, the transfer control unit 213 transmits the encoded data block via the WAN 120 (step S1304). After that, the transfer control unit 213 ends the process.

具体的には、転送制御部２１３は、符号化されたデータブロックをプロトコル処理部２１４に出力する。これによって、Ｄｅｄｕｐヘッダ５１０及びＤｅｄｕｐペイロード５２０を含むＴＣＰパケット５００が送信される。 Specifically, the transfer control unit 213 outputs the encoded data block to the protocol processing unit 214. As a result, the TCP packet 500 including the Dedup header 510 and the Dedup payload 520 is transmitted.

ステップＳ１３０２において、受け取った応答がデータブロック要求でないと判定された場合、転送制御部２１３は、更新フラグがＯＮであるか否かを判定する（ステップＳ１３０５）。 When it is determined in step S1302 that the received response is not the data block request, the transfer control unit 213 determines whether the update flag is ON (step S1305).

更新フラグがＯＦＦであると判定された場合、転送制御部２１３は、ステップＳ１３０７に進む。 When it is determined that the update flag is OFF, the transfer control unit 213 proceeds to step S1307.

更新フラグがＯＮであると判定された場合、転送制御部２１３は、重複排除部２１１に更新指示を出力する（ステップＳ１３０６）。このとき、転送制御部２１３は、更新フラグをＯＦＦに設定する。当該更新指示にはデータブロックが含まれる。重複排除部２１１が、更新指示を受け付けた場合に実行する処理は図１６を用いて説明する。 When it is determined that the update flag is ON, the transfer control unit 213 outputs an update instruction to the deduplication unit 211 (step S1306). At this time, the transfer control unit 213 sets the update flag to OFF. The update instruction includes a data block. The processing executed by the deduplication unit 211 when it receives the update instruction will be described with reference to FIG.

ステップＳ１３０５の判定結果がＮＯである場合、又は、ステップＳ１３０６の処理が実行された後、転送制御部２１３は、データブロックバッファ２１６からデータブロックを削除する（ステップＳ１３０７）。その後、転送制御部２１３は、処理を終了する。 When the determination result of step S1305 is NO, or after the process of step S1306 is executed, the transfer control unit 213 deletes the data block from the data block buffer 216 (step S1307). After that, the transfer control unit 213 ends the process.

図１４は、実施例１のデータ分割部２１５が実行する処理を説明するフローチャートである。 FIG. 14 is a flowchart illustrating processing executed by the data dividing unit 215 according to the first embodiment.

ここでは、データ分割部２１５が、ＣｏｎｔｅｎｔＤｅｆｉｎｅｄＣｈｕｎｋｉｎｇとして知られるアルゴリズムに基づいて、データを可変長のデータブロックに分割する方法について説明する。ＣｏｎｔｅｎｔＤｅｆｉｎｅｄＣｈｕｎｋｉｎｇでは、計算機が、固定長のウインドウ（例えば、４８バイト）をデータの先頭から１バイトずつスライドし、ウインドウに含まれるデータのハッシュ値を用いて分割位置を決定する。 Here, a method will be described in which the data division unit 215 divides data into variable-length data blocks based on an algorithm known as Content Defined Chunking. In Content Defined Chunking, a computer slides a fixed-length window (for example, 48 bytes) one byte at a time from the beginning of data, and determines a division position using a hash value of data included in the window.

データ分割部２１５は、転送制御部２１３から呼び出された場合、処理を開始する。まず、データ分割部２１５は、転送制御部２１３からＬＡＮ１４０から受信したデータを取得する（ステップＳ１４０１）。 The data division unit 215 starts processing when called by the transfer control unit 213. First, the data division unit 215 acquires the data received from the LAN 140 from the transfer control unit 213 (step S1401).

データ分割部２１５は、データの先頭に所定のサイズのウインドウを配置する（ステップＳ１４０２）。データ分割部２１５は、ウインドウに含まれるデータのハッシュ値を算出する（ステップＳ１４０３）。ハッシュ値を算出するためのハッシュ関数は、例えば、ローリングハッシュとして知られるハッシュ関数を用いる。 The data dividing unit 215 arranges a window of a predetermined size at the beginning of the data (step S1402). The data dividing unit 215 calculates the hash value of the data included in the window (step S1403). As the hash function for calculating the hash value, for example, a hash function known as rolling hash is used.

次に、データ分割部２１５は、ハッシュ値が所定の条件を満たすか否かを判定する（ステップＳ１４０４）。 Next, the data dividing unit 215 determines whether or not the hash value satisfies a predetermined condition (step S1404).

例えば、２進法表記におけるハッシュ値の下１０桁が全て１であるか否かが判定される。ハッシュ値が入力されたデータに応じて適切に散らばる場合、２進法表記におけるハッシュ値の下１０桁が全て１になる確率は１０２４分の１である。このとき、データブロックの平均サイズは約１０２４バイトとなる。 For example, it is determined whether or not the last 10 digits of the hash value in binary notation are all 1. If the hash values are appropriately scattered according to the input data, the probability that the lower 10 digits of the hash value in the binary notation will be all 1's is 1/1024. At this time, the average size of the data block is about 1024 bytes.

ハッシュ値が所定の条件を満たすと判定された場合、データ分割部２１５は、ウインドウに含まれるデータを出力するデータブロックに決定し、転送制御部２１３に当該データブロックを応答として出力する（ステップＳ１４０５）。その後、転送制御部２１３は処理を終了する。 When it is determined that the hash value satisfies the predetermined condition, the data dividing unit 215 determines the data block to output the data included in the window, and outputs the data block to the transfer control unit 213 as a response (step S1405). ). After that, the transfer control unit 213 ends the process.

ステップＳ１４０４において、ハッシュ値が所定の条件を満たさないと判定された場合、データ分割部２１５は、ウインドウの移動が可能であるか否かを判定する（ステップＳ１４０６）。 When it is determined in step S1404 that the hash value does not satisfy the predetermined condition, the data dividing unit 215 determines whether or not the window can be moved (step S1406).

具体的には、データ分割部２１５は、ウインドウの終端がＬＡＮ１４０から受信したデータの終端と一致するか否かが判定される。ウインドウの終端がＬＡＮ１４０から受信したデータの終端と一致しない場合、データ分割部２１５は、ウインドウの移動が可能であると判定する。 Specifically, the data dividing unit 215 determines whether the end of the window matches the end of the data received from the LAN 140. If the end of the window does not match the end of the data received from the LAN 140, the data dividing unit 215 determines that the window can be moved.

ウインドウの移動が不可能であると判定された場合、データ分割部２１５は、転送制御部２１３に分割不可通知を応答として出力する（ステップＳ１４０７）。その後、転送制御部２１３は処理を終了する。 When it is determined that the window cannot be moved, the data division unit 215 outputs a division impossible notification to the transfer control unit 213 as a response (step S1407). After that, the transfer control unit 213 ends the process.

ウインドウの移動が可能であると判定された場合、データ分割部２１５は、ウインドウをデータの後方にスライドさせ（ステップＳ１４０８）、その後、ステップＳ１４０３に戻る。例えば、データ分割部２１５は、ウインドウを１バイト分だけ後方にスライドさせる。 When it is determined that the window can be moved, the data dividing unit 215 slides the window to the rear of the data (step S1408), and then returns to step S1403. For example, the data dividing unit 215 slides the window backward by 1 byte.

図１５は、実施例１の重複排除部２１１が転送制御部２１３によって呼び出された場合に実行する処理を説明するフローチャートである。 FIG. 15 is a flowchart illustrating processing executed when the deduplication unit 211 according to the first embodiment is called by the transfer control unit 213.

重複排除部２１１は、転送制御部２１３からデータブロックを取得する（ステップＳ１５０１）。重複排除部２１１は、第１ハッシュ関数及び第２ハッシュ関数を用いて、変数α及び変数βを算出する（ステップＳ１５０２）。 The deduplication unit 211 acquires the data block from the transfer control unit 213 (step S1501). The deduplication unit 211 calculates the variable α and the variable β using the first hash function and the second hash function (step S1502).

具体的には、重複排除部２１１は、第１ハッシュ関数にデータブロックを入力することによって算出された第１ハッシュ値を２次元配列の行数Ｎで除算し、その余りを変数αとして算出する。また、重複排除部２１１は、第２ハッシュ関数にデータブロックを入力することによって算出される第２ハッシュ値を変数βとして算出する。 Specifically, the deduplication unit 211 divides the first hash value calculated by inputting the data block into the first hash function by the number N of rows in the two-dimensional array, and calculates the remainder as a variable α. .. Further, the deduplication unit 211 calculates the second hash value calculated by inputting the data block to the second hash function as the variable β.

次に、重複排除部２１１は、送信検索インデックス２１８を参照し（ステップＳ１５０３）、ハッシュ値が変数βに一致する要素７０１が存在するか否かを判定する（ステップＳ１５０４）。 Next, the deduplication unit 211 refers to the transmission search index 218 (step S1503) and determines whether or not there is an element 701 whose hash value matches the variable β (step S1504).

具体的には、重複排除部２１１は、α行目の行に含まれる要素７０１を参照する要素７０１群として特定する。重複排除部２１１は、α行目に含まれる各要素７０１に格納されるハッシュ値Ｘと、変数βとを比較する。 Specifically, the deduplication unit 211 identifies the element 701 included in the α-th row as a group of elements 701 that refers to the element 701. The deduplication unit 211 compares the hash value X stored in each element 701 included in the α-th row with the variable β.

ハッシュ値Ｘが変数βに一致する要素７０１が存在しないと判定された場合、重複排除部２１１は、ステップＳ１５０８に進む。 When it is determined that there is no element 701 whose hash value X matches the variable β, the deduplication unit 211 proceeds to step S1508.

ハッシュ値Ｘが変数βに一致する要素７０１が存在すると判定された場合、重複排除部２１１は、送信データブロック情報２２０からデータブロックを読み出す（ステップＳ１５０５）。 When it is determined that there is the element 701 whose hash value X matches the variable β, the deduplication unit 211 reads the data block from the transmission data block information 220 (step S1505).

具体的には、重複排除部２１１は、ハッシュ値Ｘが変数βに一致する要素７０１に含まれるポインタ値Ｐを取得し、送信データブロック情報２２０を参照して、当該ポインタ値Ｐがファイル名８０１に一致するエントリを検索する。重複排除部２１１は、検索されたエントリのデータブロック８０２からデータブロックを読み出す。 Specifically, the deduplication unit 211 acquires the pointer value P included in the element 701 in which the hash value X matches the variable β, refers to the transmission data block information 220, and sets the pointer value P to the file name 801. Search for an entry that matches. The deduplication unit 211 reads a data block from the data block 802 of the searched entry.

次に、重複排除部２１１は、転送制御部２１３から取得したデータブロックと、送信データブロック情報２２０から読み出したデータブロックとが一致するか否かを判定する（ステップＳ１５０６）。 Next, the deduplication unit 211 determines whether the data block acquired from the transfer control unit 213 and the data block read from the transmission data block information 220 match (step S1506).

二つのデータブロックが一致しないと判定された場合、重複排除部２１１は、ステップＳ１５０８に進む。 If it is determined that the two data blocks do not match, the deduplication unit 211 proceeds to step S1508.

二つのデータブロックが一致すると判定された場合、重複排除部２１１は、転送制御部２１３に、符号化されたデータブロックの識別情報を出力する（ステップＳ１５０７）。その後、重複排除部２１１は、処理を終了する。 When it is determined that the two data blocks match, the deduplication unit 211 outputs the encoded data block identification information to the transfer control unit 213 (step S1507). After that, the deduplication unit 211 ends the process.

具体的には、重複排除部２１１は、ｄｅｄｕｐ．ｔｙｐｅ５１１に「１」を設定し、ｄｅｄｕｐ．ｄａｔａ＿ｌｅｎ５１２に「０」を設定し、ｄｅｄｕｐ．ｈａｓｈ１５１３に変数αを設定し、ｄｅｄｕｐ．ｈａｓｈ２５１４に変数βを設定することによってＤｅｄｕｐヘッダ５１０を生成する。重複排除部２１１は、Ｄｅｄｕｐヘッダ５１０及びＤｅｄｕｐペイロード５２０を転送制御部２１３に出力する。なお、Ｄｅｄｕｐペイロード５２０は空であるものとする。 Specifically, the deduplication unit 211 uses the dedup. “1” is set in the type 511, and dedup. “0” is set in the data_len 512, and the data is deleted. The variable α is set in the hash1 513, and dedup. The Dedup header 510 is generated by setting the variable β in the hash2 514. The deduplication unit 211 outputs the Dedup header 510 and the Dedup payload 520 to the transfer control unit 213. It should be noted that the Dedup payload 520 is empty.

Ｄｅｄｕｐヘッダ５１０のサイズが２８バイト、データブロックのサイズの平均値が４キロバイトである場合、データブロックの識別情報のみを送信する通信は、データブロックを送信する通信より通信量が１００分の１以下となる。なお、前述の比較は、ＴＣＰヘッダ４４０等を除いたものである。 When the size of the Dedupe header 510 is 28 bytes and the average value of the size of the data block is 4 kilobytes, the communication that transmits only the identification information of the data block has a communication amount 1/100 or less than the communication that transmits the data block. Becomes It should be noted that the above comparison excludes the TCP header 440 and the like.

ステップＳ１５０４の判定結果がＮＯである場合、又は、ステップＳ１５０６の判定結果がＮＯである場合、重複排除部２１１は、転送制御部２１３の更新フラグをＯＮに設定する（ステップＳ１５０８）。このとき、重複排除部２１１は、変数α及び変数βを一時的に保持する。 When the determination result of step S1504 is NO or when the determination result of step S1506 is NO, the deduplication unit 211 sets the update flag of the transfer control unit 213 to ON (step S1508). At this time, the deduplication unit 211 temporarily holds the variable α and the variable β.

次に、重複排除部２１１は、転送制御部２１３に、符号化されたデータブロックの識別情報及び符号化されたデータブロックを出力する（ステップＳ１５０９）。その後、重複排除部２１１は、処理を終了する。 Next, the deduplication unit 211 outputs the identification information of the encoded data block and the encoded data block to the transfer control unit 213 (step S1509). After that, the deduplication unit 211 ends the process.

具体的には、重複排除部２１１は、ｄｅｄｕｐ．ｔｙｐｅ５１１に「２」を設定し、ｄｅｄｕｐ．ｄａｔａ＿ｌｅｎ５１２にデータブロックのサイズを設定し、ｄｅｄｕｐ．ｈａｓｈ１５１３に変数αを設定し、ｄｅｄｕｐ．ｈａｓｈ２５１４に変数βを設定することによってＤｅｄｕｐヘッダ５１０を生成する。また、重複排除部２１１は、Ｄｅｄｕｐペイロード５２０にデータブロックを設定する。重複排除部２１１は、Ｄｅｄｕｐヘッダ５１０及びＤｅｄｕｐペイロード５２０を転送制御部２１３に出力する。 Specifically, the deduplication unit 211 uses the dedup. “2” is set in the type 511, and dedup. The size of the data block is set in the data_len 512, and the dedu. The variable α is set in the hash1 513, and dedup. The Dedup header 510 is generated by setting the variable β in the hash2 514. Further, the deduplication unit 211 sets a data block in the Dedup payload 520. The deduplication unit 211 outputs the Dedup header 510 and the Dedup payload 520 to the transfer control unit 213.

変数αは、行数Ｎで割った余りであるため、０からＮ−１までの値となる。したがって、任意のデータブロックの変数αは、他のデータブロックを用いて算出された変数αとＮ分の１の確率で一致する。送信検索インデックス２１８のデータサイズは行数Ｎの大きさに依存するため、行数Ｎの大きさには制限がある。一方、変数βは、第２ハッシュ値をそのまま入力したものであり、Ｎより十分大きな値を設定できる。 Since the variable α is the remainder divided by the number of rows N, it takes a value from 0 to N−1. Therefore, the variable α of an arbitrary data block matches the variable α calculated using another data block with a probability of 1/N. Since the data size of the transmission search index 218 depends on the size of the number of rows N, the size of the number of rows N is limited. On the other hand, the variable β is a value obtained by directly inputting the second hash value, and can be set to a value sufficiently larger than N.

例えば、変数αのサイズを２０ビット、変数βのサイズを１２８ビット、ポインタ値Ｐのサイズを６４ビットとした場合、送信検索インデックス２１８のサイズは、式（１）に示すように約１００ＭＢとなる。変数αのサイズを１２８ビット、変数βのサイズを２０ビット、ポインタ値Ｐのサイズを６４ビットとした場合、送信検索インデックス２１８のサイズは、式（２）に示すように約１．２×１０^１６ＹＢとなる。For example, when the size of the variable α is 20 bits, the size of the variable β is 128 bits, and the size of the pointer value P is 64 bits, the size of the transmission search index 218 is about 100 MB as shown in Expression (1). .. When the size of the variable α is 128 bits, the size of the variable β is 20 bits, and the size of the pointer value P is 64 bits, the size of the transmission search index 218 is about 1.2×10 6 as shown in Expression (2). It will be ¹⁶ YB.

変数βのサイズを大きくすると、ハッシュ値の衝突が発生する確率が非常に低くなる。したがって、変数βとハッシュ値Ｘとが一致する場合、受信したデータブロックと、送信データブロック情報２２０から読み出したデータブロックとは、高い確率で一致する。この場合、変数β及びハッシュ値Ｘの比較のみを行えばよく、データブロック同士を比較する必要はない。そのため、ステップＳ１５０６の省略できる。 When the size of the variable β is increased, the probability of collision of hash values becomes very low. Therefore, when the variable β and the hash value X match, the received data block and the data block read from the transmission data block information 220 match with high probability. In this case, only the variable β and the hash value X need to be compared, and it is not necessary to compare the data blocks. Therefore, step S1506 can be omitted.

ステップＳ１５０６の処理を省略した場合、二次記憶装置２０３へのアクセスする必要がないため、重複排除部２１１は、さらに高速に、データブロックを検索することができる。したがって、処理速度を重視する場合には、変数βのサイズを大きくし、ステップＳ１５０６の処理を行わないように設定すればよい。 If the process of step S1506 is omitted, there is no need to access the secondary storage device 203, so the deduplication unit 211 can search the data block even faster. Therefore, when the processing speed is emphasized, the size of the variable β may be increased so that the process of step S1506 is not performed.

図１６は、実施例１の重複排除部２１１が転送制御部２１３から更新指示を受け付けた場合に実行する処理を説明するフローチャートである。 FIG. 16 is a flowchart illustrating a process executed when the deduplication unit 211 according to the first embodiment receives an update instruction from the transfer control unit 213.

重複排除部２１１は、転送制御部２１３から更新指示を受け取った場合（ステップＳ１６０１）、送信検索インデックス２１８及び送信データブロック情報２２０を更新する（ステップＳ１６０２）。その後、重複排除部２１１は、処理を終了する。具体的には、以下のような処理が実行される。 When receiving the update instruction from the transfer control unit 213 (step S1601), the deduplication unit 211 updates the transmission search index 218 and the transmission data block information 220 (step S1602). After that, the deduplication unit 211 ends the process. Specifically, the following processing is executed.

重複排除部２１１は、ポインタ値Ｐに設定する値を式（３）を用いて算出する。なお、ｍは、第２ハッシュ関数の出力値の最大ビット数である。 The deduplication unit 211 calculates the value to be set as the pointer value P using Expression (3). Note that m is the maximum number of bits of the output value of the second hash function.

式（３）に示すように変数α及び変数βに基づいて一意に定まる値をポインタ値に用いることによって、異なるデータブロックのポインタ値が同一となる確率を非常に小さくできる。 By using a value that is uniquely determined based on the variable α and the variable β as the pointer value as shown in Expression (3), the probability that the pointer values of different data blocks are the same can be extremely reduced.

重複排除部２１１は、送信検索インデックス２１８のα行目を参照し、α行目に含まれる要素７０１の中に空の要素７０１が存在するか否かを判定する。空の要素７０１とは、ハッシュ値Ｘ及びポインタ値Ｐが設定されていない要素７０１を示す。 The deduplication unit 211 refers to the α-th row of the transmission search index 218 and determines whether or not the empty element 701 is present in the elements 701 included in the α-th row. The empty element 701 indicates the element 701 to which the hash value X and the pointer value P are not set.

空の要素７０１が存在する場合、重複排除部２１１は、当該要素７０１のハッシュ値Ｘに変数βを設定し、ポインタ値Ｐに式（３）を用いて算出された値を設定する。また、重複排除部２１１は、送信データブロック情報２２０にエントリを追加し、追加されたエントリのファイル名８０１に式（３）を用いて算出された値を設定し、データブロック８０２に更新指示に含まれるデータブロックを格納する。 If the empty element 701 exists, the deduplication unit 211 sets the hash value X of the element 701 to the variable β and sets the pointer value P to the value calculated by using the formula (3). Further, the deduplication unit 211 adds an entry to the transmission data block information 220, sets a value calculated using Expression (3) in the file name 801 of the added entry, and gives an update instruction to the data block 802. Stores the included data block.

空の要素７０１が存在しない場合、重複排除部２１１は、α行目に含まれる要素７０１の中から値を設定する要素７０１を一つ選択する。要素７０１を選択する方法は様々考えられる。例えば、ランダムに選択する方法、及びＬＲＵ（ＬｅａｓｔＲｅｃｅｎｔｌｙＵｓｅｄ）アルゴリズムに基づいて選択する方法等が考えられる。 When there is no empty element 701, the deduplication unit 211 selects one element 701 whose value is set from the elements 701 included in the α-th row. There are various possible methods for selecting the element 701. For example, a random selection method, a selection method based on an LRU (Least Recently Used) algorithm, and the like are possible.

重複排除部２１１は、送信データブロック情報２２０を参照し、ファイル名８０１が選択された要素７０１のポインタ値Ｐに一致するエントリを検索し、検索されたエントリを削除する。重複排除部２１１は、選択された要素７０１のハッシュ値Ｘに変数βを設定し、ポインタ値Ｐに式（３）を用いて算出された値を設定する。また、重複排除部２１１は、送信データブロック情報２２０にエントリを追加し、追加されたエントリのファイル名８０１に式（３）を用いて算出された値を設定し、データブロック８０２にデータブロックを格納する。以上がステップＳ１６０２の処理の説明である。 The deduplication unit 211 refers to the transmission data block information 220, searches for an entry whose file name 801 matches the pointer value P of the selected element 701, and deletes the searched entry. The deduplication unit 211 sets the variable β to the hash value X of the selected element 701 and sets the pointer value P to the value calculated using the equation (3). The deduplication unit 211 also adds an entry to the transmission data block information 220, sets the file name 801 of the added entry to the value calculated using equation (3), and sets the data block in the data block 802. Store. The above is the description of the process of step S1602.

図１７は、実施例１の転送制御部２１３がＷＡＮ１２０からデータを受信した場合に実行する処理を説明するフローチャートである。 FIG. 17 is a flowchart illustrating a process executed when the transfer control unit 213 according to the first embodiment receives data from the WAN 120.

転送制御部２１３は、プロトコル処理部２１４から、ＷＡＮ１２０から受信したデータ（ＴＣＰパケット５００）を受け取った場合（ステップＳ１７０１）、重複復元部２１２を呼び出す（ステップＳ１７０２）。このとき、転送制御部２１３は、受け取ったデータを重複復元部２１２に出力する。転送制御部２１３は、重複復元部２１２から応答を受け付けるまで待ち状態に移行する。 When the transfer control unit 213 receives the data (TCP packet 500) received from the WAN 120 from the protocol processing unit 214 (step S1701), the transfer control unit 213 calls the duplication restoration unit 212 (step S1702). At this time, the transfer control unit 213 outputs the received data to the duplication restoration unit 212. The transfer control unit 213 shifts to a waiting state until it receives a response from the duplication restoration unit 212.

転送制御部２１３は、重複復元部２１２からの応答に基づいて、データブロックを取得する必要があるか否かを判定する（ステップＳ１７０３）。 The transfer control unit 213 determines whether or not the data block needs to be acquired based on the response from the duplication restoration unit 212 (step S1703).

具体的には、転送制御部２１３は、重複復元部２１２からの応答が「該当データ無し」であるか否かを判定する。重複復元部２１２からの応答が「該当データ無し」である場合、転送制御部２１３は、データブロックを取得する必要があると判定する。 Specifically, the transfer control unit 213 determines whether the response from the duplication restoration unit 212 is “no corresponding data”. When the response from the duplication restoration unit 212 is “no corresponding data”, the transfer control unit 213 determines that the data block needs to be acquired.

データブロックを取得する必要がないと判定された場合、転送制御部２１３は、ＬＡＮ１４０を介して、復元されたデータを送信する（ステップＳ１７０４）。 When it is determined that it is not necessary to acquire the data block, the transfer control unit 213 transmits the restored data via the LAN 140 (step S1704).

具体的には、転送制御部２１３は、復元されたデータをプロトコル処理部２１４に出力する。これによって、Ｄｅｄｕｐペイロード５２０に設定されたデータがＴＣＰペイロード４６０に設定されたＴＣＰパケット４００が送信される。 Specifically, the transfer control unit 213 outputs the restored data to the protocol processing unit 214. As a result, the TCP packet 400 in which the data set in the Dedup payload 520 is set in the TCP payload 460 is transmitted.

次に、転送制御部２１３は、ＷＡＮ１２０を介して、復元確認通知を送信する（ステップＳ１７０５）。その後、転送制御部２１３は、処理を終了する。 Next, the transfer control unit 213 transmits a restoration confirmation notification via the WAN 120 (step S1705). After that, the transfer control unit 213 ends the process.

具体的には、転送制御部２１３は、プロトコル処理部２１４に復元確認通知の送信を指示する。なお、復元確認通知を送信する場合には、ＴＣＰパケット４００及びＴＣＰパケット５００のいずれを用いてもよい。 Specifically, the transfer control unit 213 instructs the protocol processing unit 214 to transmit the restoration confirmation notification. When transmitting the restoration confirmation notification, either the TCP packet 400 or the TCP packet 500 may be used.

ステップＳ１７０３において、データブロックを取得する必要があると判定された場合、転送制御部２１３は、ＷＡＮ１２０を介して、データブロック要求を送信する（ステップＳ１７０６）。その後、転送制御部２１３は、処理を終了する。 When it is determined in step S1703 that the data block needs to be acquired, the transfer control unit 213 transmits a data block request via the WAN 120 (step S1706). After that, the transfer control unit 213 ends the process.

具体的には、転送制御部２１３は、プロトコル処理部２１４にデータブロック要求の送信を指示する。なお、データブロック要求を送信する場合には、ＴＣＰパケット４００及びＴＣＰパケット５００のいずれを用いてもよい。 Specifically, the transfer control unit 213 instructs the protocol processing unit 214 to transmit the data block request. When transmitting the data block request, either the TCP packet 400 or the TCP packet 500 may be used.

図１８は、実施例１の重複復元部２１２が転送制御部２１３によって呼び出された場合に実行する処理を説明するフローチャートである。 FIG. 18 is a flowchart illustrating a process executed when the duplication restoration unit 212 according to the first embodiment is called by the transfer control unit 213.

重複復元部２１２は、転送制御部２１３からデータを取得し（ステップＳ１８０１）、Ｄｅｄｕｐヘッダ５１０に含まれるｄｅｄｕｐ．ｔｙｐｅ５１１の値が「２」であるか否かを判定する（ステップＳ１８０２）。 The duplication restoration unit 212 acquires the data from the transfer control unit 213 (step S1801), and deletes the dedup. It is determined whether the value of type 511 is "2" (step S1802).

ｄｅｄｕｐ．ｔｙｐｅ５１１の値が「２」ではないと判定された場合、重複復元部２１２は、ｄｅｄｕｐ．ｔｙｐｅ５１１の値が「３」であるか否かを判定する（ステップＳ１８０３）。 dedup. When it is determined that the value of the type 511 is not “2”, the duplication restoration unit 212 determines that the dedup. It is determined whether the value of type 511 is "3" (step S1803).

ｄｅｄｕｐ．ｔｙｐｅ５１１の値が「１」であると判定された場合、重複復元部２１２は、受信検索インデックス２１９を参照し、ハッシュ値Ｘがｄｅｄｕｐ．ｈａｓｈ２５１４の値に一致する要素７０１が存在するか否かを判定する（ステップＳ１８０４）。 dedup. When it is determined that the value of the type 511 is “1”, the duplication restoration unit 212 refers to the reception search index 219 and determines that the hash value X is dedup. It is determined whether or not the element 701 that matches the value of hash2 514 exists (step S1804).

具体的には、重複復元部２１２は、（ｄｅｄｕｐ．ｈａｓｈ１５１３）行目の行に含まれる要素７０１を参照する要素７０１群として特定する。重複復元部２１２は、（ｄｅｄｕｐ．ｈａｓｈ１５１３）行目に含まれる各要素７０１に格納されるハッシュ値Ｘと、ｄｅｄｕｐ．ｈａｓｈ２５１４の値とを比較する。 Specifically, the duplication restoration unit 212 identifies the element 701 included in the (deduup.hash1 513)-th row as a group of elements 701 that refers to the element 701. The duplication restoring unit 212 uses the hash value X stored in each element 701 included in the (dedup.hash1 513) line, and the dedupe. Compare with the value of hash2 514.

ハッシュ値Ｘがｄｅｄｕｐ．ｈａｓｈ２５１４の値に一致する要素７０１が存在すると判定された場合、重複復元部２１２は、受信データブロック情報２２１からデータブロックを読み出す（ステップＳ１８０５）。 The hash value X is dedup. When it is determined that the element 701 that matches the value of hash2 514 exists, the duplication restoration unit 212 reads the data block from the received data block information 221 (step S1805).

具体的には、重複復元部２１２は、ハッシュ値Ｘがｄｅｄｕｐ．ｈａｓｈ２５１４の値に一致する要素７０１からポインタ値Ｐを取得し、受信データブロック情報２２１を参照して、当該ポインタ値Ｐがファイル名８０１に一致するエントリを検索する。重複復元部２１２は、検索されたエントリのデータブロック８０２からデータブロックを読み出す。 Specifically, the duplication restoration unit 212 determines that the hash value X is dedup. The pointer value P is acquired from the element 701 that matches the value of hash2 514, and the entry in which the pointer value P matches the file name 801 is searched by referring to the received data block information 221. The duplication restoration unit 212 reads a data block from the data block 802 of the searched entry.

次に、重複復元部２１２は、転送制御部２１３に読み出されたブロックデータを応答として出力する（ステップＳ１８０６）。その後、重複復元部２１２は、処理を終了する。 Next, the duplication restoration unit 212 outputs the read block data to the transfer control unit 213 as a response (step S1806). Then, the duplication restoration unit 212 ends the process.

ステップＳ１８０４において、ハッシュ値がｄｅｄｕｐ．ｈａｓｈ２５１４の値に一致する要素７０１が存在しないと判定された場合、重複復元部２１２は、転送制御部２１３に「該当データ無し」を応答として出力する（ステップＳ１８０８）。その後、重複復元部２１２は、処理を終了する。 In step S1804, the hash value is dedup. When it is determined that the element 701 that matches the value of hash2 514 does not exist, the duplication restoration unit 212 outputs "no corresponding data" to the transfer control unit 213 as a response (step S1808). Then, the duplication restoration unit 212 ends the process.

ステップＳ１８０３において、ｄｅｄｕｐ．ｔｙｐｅ５１１の値が「３」であると判定された場合、重複復元部２１２は、転送制御部２１３に、Ｄｅｄｕｐペイロード５２０に設定されたデータを応答として出力する（ステップＳ１８０７）。その後、重複復元部２１２は、処理を終了する。 In step S1803, delete. When it is determined that the value of the type 511 is “3”, the duplication restoration unit 212 outputs the data set in the Dedup payload 520 to the transfer control unit 213 as a response (step S1807). Then, the duplication restoration unit 212 ends the process.

ステップＳ１８０２において、ｄｅｄｕｐ．ｔｙｐｅ５１１の値が「２」であると判定された場合、重複復元部２１２は、受信検索インデックス２１９及び受信データブロック情報２２１を更新する（ステップＳ１８０９）。具体的には、以下のような処理が実行される。 In step S1802, dedup. When it is determined that the value of type 511 is “2”, the duplication restoration unit 212 updates the reception search index 219 and the reception data block information 221 (step S1809). Specifically, the following processing is executed.

重複復元部２１２は、ポインタ値Ｐに設定する値を式（４）を用いて算出する。 The duplication restoration unit 212 calculates the value to be set as the pointer value P using Expression (4).

式（４）に示すようにｄｅｄｕｐ．ｈａｓｈ１５１３及びｄｅｄｕｐ．ｈａｓｈ２５１４に基づいて一意に定まる値をポインタ値に用いることによって、異なるデータブロックのポインタ値が同一となる確率を非常に小さくできる。 As shown in equation (4), dedup. hash1 513 and dedup. By using a value that is uniquely determined based on hash2 514 for the pointer value, the probability that the pointer values of different data blocks are the same can be made extremely small.

重複復元部２１２は、受信検索インデックス２１９の（ｄｅｄｕｐ．ｈａｓｈ１５１３）行目を参照し、（ｄｅｄｕｐ．ｈａｓｈ１５１３）行目に含まれる要素７０１の中に空の要素７０１が存在するか否かを判定する。 The duplication restoration unit 212 refers to the (dedup.hash1 513) line of the reception search index 219 and determines whether or not an empty element 701 is present in the element 701 included in the (dedup.hash1 513) line. judge.

空の要素７０１が存在する場合、重複復元部２１２は、当該要素７０１のハッシュ値Ｘにｄｅｄｕｐ．ｈａｓｈ２５１４の値を設定し、ポインタ値Ｐに式（４）を用いて算出された値を設定する。また、重複復元部２１２は、受信データブロック情報２２１にエントリを追加し、追加されたエントリのファイル名８０１に式（４）を用いて算出された値を設定し、データブロック８０２にデータブロックを格納する。 When the empty element 701 exists, the duplication restoration unit 212 determines that the hash value X of the element 701 is dedup. The value of hash2 514 is set, and the pointer value P is set to the value calculated using equation (4). Further, the duplication restoration unit 212 adds an entry to the received data block information 221, sets a value calculated using Expression (4) in the file name 801 of the added entry, and sets the data block in the data block 802. Store.

空の要素７０１が存在しない場合、重複復元部２１２は、（ｄｅｄｕｐ．ｈａｓｈ１５１３）行目に含まれる要素７０１の中から、値を設定する要素７０１を一つ選択する。要素７０１を選択する方法は重複排除部２１１が使用する方法と同一の方法とする。重複排除部２１１及び重複復元部２１２が同一の方法を用いることによって、送信データブロック情報２２０及び受信データブロック情報２２１の内容が一致する可能性が高くなる。これによって、データブロック要求を送信する回数を低減できる。 When the empty element 701 does not exist, the duplication restoration unit 212 selects one element 701 for which a value is set from the elements 701 included in the (dupup.hash1 513) line. The method of selecting the element 701 is the same as the method used by the deduplication unit 211. By using the same method for the deduplication unit 211 and the duplication restoration unit 212, the contents of the transmission data block information 220 and the reception data block information 221 are highly likely to match. This can reduce the number of times the data block request is transmitted.

重複復元部２１２は、受信データブロック情報２２１を参照し、ファイル名８０１が選択された要素７０１のポインタ値Ｐに一致するエントリを検索し、検索されたエントリを削除する。重複復元部２１２は、選択された要素７０１のハッシュ値Ｘにｄｅｄｕｐ．ｈａｓｈ２５１４の値を設定し、ポインタ値Ｐに式（４）を用いて算出された値を設定する。また、重複復元部２１２は、受信データブロック情報２２１にエントリを追加し、追加されたエントリのファイル名８０１に式（４）を用いて算出された値を設定し、データブロック８０２にデータブロックを格納する。以上がステップＳ１８０９の処理の説明である。 The duplication restoration unit 212 refers to the received data block information 221, searches for an entry whose file name 801 matches the pointer value P of the selected element 701, and deletes the found entry. The duplication restoration unit 212 sets the hash value X of the selected element 701 to dedup. The value of hash2 514 is set, and the pointer value P is set to the value calculated using equation (4). Further, the duplication restoration unit 212 adds an entry to the received data block information 221, sets a value calculated by using Expression (4) in the file name 801 of the added entry, and sets the data block in the data block 802. Store. The above is the description of the process of step S1809.

次に、重複復元部２１２は、転送制御部２１３に、Ｄｅｄｕｐペイロード５２０に設定されたデータブロックを応答として出力する（ステップＳ１８１０）。その後、重複復元部２１２は、処理を終了する。 Next, the duplication restoration unit 212 outputs the data block set in the Dedupe payload 520 to the transfer control unit 213 as a response (step S1810). Then, the duplication restoration unit 212 ends the process.

次に、図１９を用いて、重複排除部２１１が実行する具体的な処理内容について説明する。 Next, specific processing contents executed by the deduplication unit 211 will be described with reference to FIG.

図１９は、実施例１の重複排除部２１１が実行する処理の具体例を示す図である。ここで、送信検索インデックス２１８及び送信データブロック情報２２０は、それぞれ、図１９に示すエントリが格納されるものとする。なお、送信検索インデックスの左側の数字は行数を表す。 FIG. 19 is a diagram illustrating a specific example of the process executed by the deduplication unit 211 according to the first embodiment. Here, the transmission search index 218 and the transmission data block information 220 are assumed to store the entries shown in FIG. 19, respectively. The number on the left side of the transmission search index indicates the number of lines.

まず、重複排除部２１１がデータブロック「ａｂｃ．．．ｚ」を受信した場合を例に説明する。なお、当該データブロックの変数αは「６４２３」、変数βは「０ｘ１１１２１２３９」であるものとする。 First, a case where the deduplication unit 211 receives a data block “abc...z” will be described as an example. The variable α of the data block is “6423” and the variable β is “0x11121393”.

ステップＳ１５０３において、重複排除部２１１は、６４２３行目に含まれる四つの要素７０１のハッシュ値Ｘと、変数βとを比較する。このとき、２列目の要素７０１のハッシュ値Ｘと変数βとが一致するため、ステップＳ１５０４の判定結果はＹＥＳとなる。 In step S1503, the deduplication unit 211 compares the hash value X of the four elements 701 included in the 6423th line with the variable β. At this time, since the hash value X of the element 701 in the second column and the variable β match, the determination result of step S1504 is YES.

ステップＳ１５０５では、重複排除部２１１は、２列目の要素７０１のポインタ値Ｐの値「ｐ２」を用いて、送信データブロック情報２２０からデータブロック「ａｂｃ．．．ｚ」を読み出す。 In step S1505, the deduplication unit 211 reads the data block “abc...z” from the transmission data block information 220 using the value “p2” of the pointer value P of the element 701 in the second column.

転送制御部２１３から取得したデータブロックと、送信データブロック情報２２０から読み出したデータブロックとは一致するため、ステップＳ１５０６の判定結果はＹＥＳとなる。 Since the data block acquired from the transfer control unit 213 and the data block read from the transmission data block information 220 match, the determination result of step S1506 is YES.

したがって、重複排除部２１１は、符号化されたデータブロックの識別情報を出力する（ステップＳ１５０７）。なお、Ｄｅｄｕｐヘッダ５１０のｄｅｄｕｐ．ｈａｓｈ１５１３には「６２４２」が設定され、ｄｅｄｕｐ．ｈａｓｈ２５１４には「０ｘ１１１２１２３９」が設定される。 Therefore, the deduplication unit 211 outputs the identification information of the encoded data block (step S1507). In addition, the dedup. “6242” is set in the hash1 513, and dedup. “0x1112139” is set in the hash2 514.

次に、重複排除部２１１がデータブロック「０１２．．．９」を受信した場合を例に説明する。なお、当該データブロックの変数αは「３１２」、変数βは「０ｘ１２１ｆ１２ｄ９」であるものとする。 Next, a case where the deduplication unit 211 receives the data block “012...9” will be described as an example. The variable α of the data block is “312” and the variable β is “0x121f12d9”.

ステップＳ１５０３において、重複排除部２１１は、３１２行目に含まれる四つの要素７０１のハッシュ値Ｘと、変数βとを比較する。このとき、変数βに一致するハッシュ値Ｘを含む要素７０１は存在しないため、ステップＳ１５０４の判定結果はＮＯとなる。 In step S1503, the deduplication unit 211 compares the hash value X of the four elements 701 included in the 312th row with the variable β. At this time, since the element 701 including the hash value X that matches the variable β does not exist, the determination result of step S1504 is NO.

したがって、重複排除部２１１は、更新フラグをＯＮに設定し（ステップＳ１５０８）、符号化されたデータブロックの識別情報及びデータブロックを出力する（ステップＳ１５０９）。なお、Ｄｅｄｕｐヘッダ５１０のｄｅｄｕｐ．ｈａｓｈ１５１３には「３１２」が設定され、ｄｅｄｕｐ．ｈａｓｈ２５１４には「０ｘ１２１ｆ１２ｄ９」が設定される。また、Ｄｅｄｕｐペイロード５２０にはデータブロック「０１２．．．９」が設定される。 Therefore, the deduplication unit 211 sets the update flag to ON (step S1508), and outputs the coded data block identification information and the data block (step S1509). In addition, the dedup. “312” is set in the hash1 513, and dedup. “0x121f12d9” is set in the hash2 514. Further, data blocks “012...9” are set in the Dedup payload 520.

重複排除部２１１は、転送制御部２１３から更新指示を受け取った場合、データブロック「０１２．．．９」から変数α及び変数βを算出し、また、式（３）を用いてポインタ値Ｐに設定する値を算出する。 When the deduplication unit 211 receives the update instruction from the transfer control unit 213, the deduplication unit 211 calculates the variable α and the variable β from the data block “012...9”, and uses the formula (3) to obtain the pointer value P. Calculate the value to set.

重複排除部２１１は、送信検索インデックス２１８の３１２行目を参照する。３１２行目には空の要素７０１が存在しないため、重複排除部２１１は、３１２行目に含まれる要素７０１の中から一つの要素を選択する。ここでは、２列目の要素７０１が選択されたものとする。 The deduplication unit 211 refers to the 312th line of the transmission search index 218. Since the empty element 701 does not exist in the 312th line, the deduplication unit 211 selects one element from the elements 701 included in the 312th line. Here, it is assumed that the element 701 in the second column is selected.

重複排除部２１１は、送信データブロック情報２２０を参照して、ファイル名８０１がｐ６であるエントリを検索し、検索されたエントリを削除する。 The deduplication unit 211 refers to the transmission data block information 220, searches for an entry whose file name 801 is p6, and deletes the found entry.

重複排除部２１１は、３１２行目の２列目の要素７０１のハッシュ値Ｘに変数βを設定し、また、ポインタ値Ｐに式（３）を用いて算出された値を設定する。また、重複排除部２１１は、送信データブロック情報２２０にエントリを追加し、追加されたエントリのファイル名８０１に式（３）を用いて算出された値を設定し、データブロック８０２にデータブロック「０１２．．．９」を設定する。 The deduplication unit 211 sets the variable β as the hash value X of the element 701 in the second column of the 312nd row, and also sets the value calculated using Expression (3) as the pointer value P. Further, the deduplication unit 211 adds an entry to the transmission data block information 220, sets the file name 801 of the added entry to the value calculated using Expression (3), and sets the data block 802 to the data block “ 012...9” is set.

二つのデータブロックを例に、送信検索インデックス２１８及び送信データブロック情報２２０の使用方法について説明した。なお、受信検索インデックス２１９及び受信データブロック情報２２１の使用方法も同様である。 The method of using the transmission search index 218 and the transmission data block information 220 has been described using two data blocks as an example. Note that the method of using the reception search index 219 and the reception data block information 221 is also the same.

実施例１によれば、転送装置１１０は、送信検索インデックス２１８及び受信検索インデックス２１９を用いることによって、二次記憶装置２０３に格納される送信データブロック情報２２０及び受信データブロック情報２２１にアクセスすることなくデータブロックを保持しているか否かを判定できる。 According to the first embodiment, the transfer device 110 can access the transmission data block information 220 and the reception data block information 221 stored in the secondary storage device 203 by using the transmission search index 218 and the reception search index 219. It is possible to determine whether or not the data block is retained.

特に、ｄｅｄｕｐ．ｈａｓｈ２５１４（変数β）のサイズを大きくすることによって、ハッシュ値の衝突を回避することができるため、転送装置１１０は、送信検索インデックス２１８及び受信検索インデックス２１９のみを用いてデータブロックを検索することができる。 In particular, dedup. Since the hash value collision can be avoided by increasing the size of hash2 514 (variable β), the transfer device 110 searches the data block using only the transmission search index 218 and the reception search index 219. You can

また、送信検索インデックス２１８及び受信検索インデックス２１９は、送信データブロック情報２２０及び受信データブロック情報２２１よりサイズを小さくできるため、主記憶装置２０２に送信検索インデックス２１８及び受信検索インデックス２１９を格納することができる。 Since the transmission search index 218 and the reception search index 219 can be smaller in size than the transmission data block information 220 and the reception data block information 221, the transmission search index 218 and the reception search index 219 can be stored in the main storage device 202. it can.

したがって、転送装置１１０は、送信検索インデックス２１８及び受信検索インデックス２１９を用いて、データブロックの重複排除及び重複復元を高速に行うことができる。これによって、データ転送処理の高速化を実現することができる。 Therefore, the transfer apparatus 110 can perform deduplication and deduplication of data blocks at high speed by using the transmission search index 218 and the reception search index 219. As a result, the speeding up of the data transfer process can be realized.

実施例２では、データブロックの分割方法が実施例１と異なる。以下、実施例１との差異を中心に実施例２について説明する。なお、実施例１と同一の構成、同一の処理には、同一の符号を付し、説明を省略する。 The second embodiment is different from the first embodiment in the data block dividing method. Hereinafter, the second embodiment will be described focusing on the differences from the first embodiment. The same components and processes as those in the first embodiment are designated by the same reference numerals and the description thereof will be omitted.

実施例２のネットワークシステムの構成は、実施例１のネットワークシステムの構成と同一であるため説明を省略する。 The configuration of the network system according to the second embodiment is the same as the configuration of the network system according to the first embodiment, and a description thereof will be omitted.

図２０は、実施例２の転送装置１１０のハードウェア構成及びソフトウェア構成の一例を示す図である。図２１は、実施例２の転送装置１１０のソフトウェア構成の論理的な接続関係を示す図である。 FIG. 20 is a diagram illustrating an example of the hardware configuration and the software configuration of the transfer device 110 according to the second embodiment. FIG. 21 is a diagram illustrating a logical connection relationship of the software configuration of the transfer device 110 according to the second embodiment.

実施例２の転送装置１１０のハードウェア構成は、実施例１の転送装置１１０のハードウェア構成と同一であるため説明を省略する。 The hardware configuration of the transfer device 110 according to the second embodiment is the same as the hardware configuration of the transfer device 110 according to the first embodiment, and thus the description thereof is omitted.

実施例２の転送装置１１０の主記憶装置２０２は、副検索インデックス２００１を格納する。副検索インデックス２００１は、送信データブロック情報２２０に格納されるデータブロックを検索する場合に使用されるインデックスである。副検索インデックス２００１の詳細は、図２４を用いて説明する。 The main storage device 202 of the transfer device 110 according to the second embodiment stores the sub-search index 2001. The sub-search index 2001 is an index used when searching for a data block stored in the transmission data block information 220. Details of the sub-search index 2001 will be described with reference to FIG.

実施例２のフロー情報２１７のデータ構造は、実施例１のフロー情報２１７のデータ構造と異なる。実施例２のフロー情報２１７の詳細は、図２２を用いて説明する。 The data structure of the flow information 217 of the second embodiment is different from the data structure of the flow information 217 of the first embodiment. Details of the flow information 217 according to the second embodiment will be described with reference to FIG.

実施例２のデータ分割部２１５は、実施例１とは異なる方法を用いてデータブロックを生成する。データ分割部２１５が生成するデータブロックについて、図２３を用いて説明する。 The data dividing unit 215 of the second embodiment generates a data block by using a method different from that of the first embodiment. The data block generated by the data dividing unit 215 will be described with reference to FIG.

実施例２の転送制御部２１３が実行する処理は、実施例１の転送制御部２１３が実行する処理と一部異なる。異なる処理については、図２５を用いて説明する。実施例２の重複排除部２１１が実行する処理は、実施例１の重複排除部２１１が実行する処理と一部異なる。異なる処理については、図２６及び図２７を用いて説明する。また、実施例２の重複排除部２１１は、第１ハッシュ関数及び第２ハッシュ関数の他に、第３ハッシュ関数を保持する。 The process executed by the transfer control unit 213 according to the second embodiment is partially different from the process executed by the transfer control unit 213 according to the first embodiment. The different processing will be described with reference to FIG. The process executed by the deduplication unit 211 of the second embodiment is partially different from the process executed by the deduplication unit 211 of the first embodiment. The different processing will be described with reference to FIGS. 26 and 27. In addition, the deduplication unit 211 of the second embodiment holds the third hash function in addition to the first hash function and the second hash function.

その他の情報及び機能部が実行する処理は、実施例１と同一である。 The other information and the processing executed by the functional unit are the same as in the first embodiment.

図２２は、実施例２のフロー情報２１７の一例を示す図である。 FIG. 22 is a diagram illustrating an example of the flow information 217 according to the second embodiment.

フロー情報２１７に含まれるエントリは、ｈｅａｄ２２０１を含む。ｈｅａｄ２２０１は、バッファ６０７に格納されるデータの先頭がデータブロックの先頭であるか否かを示す情報であり、初期値は「ＮＯ」である。エントリに含まれるその他のカラムは実施例１と同一である。 The entries included in the flow information 217 include head 2201. The head 2201 is information indicating whether or not the head of the data stored in the buffer 607 is the head of the data block, and the initial value is “NO”. The other columns included in the entry are the same as in the first embodiment.

図２３は、実施例２のデータの分割方法の概念を示す図である。 FIG. 23 is a diagram illustrating the concept of the data dividing method according to the second embodiment.

実施例２では、ＬＡＮ１４０を介して受信したデータは、固定長のデータブロックに分割される。図２３では、ｉ番目のデータブロックの識別情報をＭｉと記載している。 In the second embodiment, the data received via the LAN 140 is divided into fixed-length data blocks. In FIG. 23, the identification information of the i-th data block is described as Mi.

さらに、実施例２では、一つのデータブロックが、固定長の副データブロックに分割される。転送装置１１０は、副データブロックの場所を検索するためのインデックスとして、副検索インデックス２００１を保持する。 Further, in the second embodiment, one data block is divided into fixed-length sub data blocks. The transfer device 110 holds the sub search index 2001 as an index for searching the location of the sub data block.

図２４は、実施例２の副検索インデックス２００１の一例を示す図である。 FIG. 24 is a diagram illustrating an example of the sub-search index 2001 according to the second embodiment.

副検索インデックス２００１は、２次元配列のデータ構造である。図２４では、Ｎ行４列の２次元配列となっている。なお、行及び列の数は一例であって、任意の値に設定できる。 The sub-search index 2001 has a two-dimensional array data structure. In FIG. 24, it is a two-dimensional array having N rows and 4 columns. The number of rows and columns is an example, and can be set to any value.

２次元配列の一つの要素２４０１には、ハッシュ値ＸＸ及び添字Ｉが含まれる。ハッシュ値ＸＸは、第３ハッシュ関数にデータブロックを入力することによって算出されるハッシュ値である。ハッシュ値ＸＸは、データブロックが送信データブロック情報２２０に格納されているか否かを判定する場合に使用される。添字Ｉは、データブロックの先頭から何番目の副データブロックであるかを示す値である。 One element 2401 of the two-dimensional array includes the hash value XX and the subscript I. The hash value XX is a hash value calculated by inputting the data block to the third hash function. The hash value XX is used when determining whether the data block is stored in the transmission data block information 220. The subscript I is a value indicating the number of the sub data block from the head of the data block.

図２５は、実施例２の転送制御部２１３がＬＡＮ１４０からデータを受信した場合に実行する処理を説明するフローチャートである。 FIG. 25 is a flowchart illustrating a process executed when the transfer control unit 213 according to the second embodiment receives data from the LAN 140.

転送制御部２１３は、ステップＳ１００２の処理が完了した後、特定されたエントリのバッファ６０７に格納されるデータの先頭がデータブロックの先頭であるか否かを判定する（ステップＳ２５０１）。 After the processing of step S1002 is completed, the transfer control unit 213 determines whether the head of the data stored in the buffer 607 of the identified entry is the head of the data block (step S2501).

具体的には、転送制御部２１３は、特定されたエントリのｈｅａｄ２２０１が「ＹＥＳ」であるか否かを判定する。ｈｅａｄ２２０１が「ＹＥＳ」である場合、転送制御部２１３は、特定されたエントリのバッファ６０７に格納されるデータの先頭がデータブロックの先頭であると判定する。 Specifically, the transfer control unit 213 determines whether or not the head 2201 of the identified entry is “YES”. When the head 2201 is “YES”, the transfer control unit 213 determines that the head of the data stored in the buffer 607 of the identified entry is the head of the data block.

特定されたエントリのバッファ６０７に格納されるデータの先頭がデータブロックの先頭であると判定された場合、転送制御部２１３は、データ分割部２１５を呼び出す（ステップＳ１００３）。このとき、転送制御部２１３は、受け取ったデータをデータ分割部２１５に出力する。その後、転送制御部２１３は、処理を終了する。 When it is determined that the head of the data stored in the buffer 607 of the identified entry is the head of the data block, the transfer control unit 213 calls the data division unit 215 (step S1003). At this time, the transfer control unit 213 outputs the received data to the data dividing unit 215. After that, the transfer control unit 213 ends the process.

特定されたエントリのバッファ６０７に格納されるデータの先頭がデータブロックの先頭ではないと判定された場合、転送制御部２１３は、特定されたエントリのバッファ６０７に格納されるデータのサイズが比較ブロックサイズ以上であるか否かを判定する（ステップＳ２５０２）。なお、比較ブロックサイズは、予め設定されているものとする。 When it is determined that the head of the data stored in the buffer of the specified entry 607 is not the head of the data block, the transfer control unit 213 determines that the size of the data stored in the buffer of the specified entry 607 is the comparison block. It is determined whether the size is equal to or larger than the size (step S2502). Note that the comparison block size is set in advance.

特定されたエントリのバッファ６０７に格納されるデータのサイズが比較ブロックサイズより小さいと判定された場合、転送制御部２１３は、特定されたエントリのバッファ６０７にデータが残っているか否かを判定する（ステップＳ２５０３）。 When it is determined that the size of the data stored in the buffer 607 of the specified entry is smaller than the comparison block size, the transfer control unit 213 determines whether or not the data remains in the buffer 607 of the specified entry. (Step S2503).

特定されたエントリのバッファ６０７にデータが残っていると判定された場合、転送制御部２１３は、当該エントリのタイマ６０８に任意の時間を設定する（ステップＳ２５０４）。その後、転送制御部２１３は、処理を終了する。 When it is determined that data remains in the buffer 607 of the identified entry, the transfer control unit 213 sets an arbitrary time in the timer 608 of the entry (step S2504). After that, the transfer control unit 213 ends the process.

特定されたエントリのバッファ６０７にデータが残っていないと判定された場合、転送制御部２１３は、当該エントリのタイマ６０８に「０」を設定する（ステップＳ２５０５）。その後、転送制御部２１３は、処理を終了する。 When it is determined that no data remains in the buffer 607 of the identified entry, the transfer control unit 213 sets “0” in the timer 608 of the entry (step S2505). After that, the transfer control unit 213 ends the process.

ステップＳ２５０２において、特定されたエントリのバッファ６０７に格納されるデータのサイズが比較ブロックサイズ以上であると判定された場合、転送制御部２１３は、重複排除部２１１に副データブロックの検出指示を出力する（ステップＳ２５０６）。転送制御部２１３は、重複排除部２１１から応答を受け取るまで待ち状態に移行する。なお、副データブロックの検索処理は、図２６を用いて説明する。 When it is determined in step S2502 that the size of the data stored in the buffer 607 of the identified entry is equal to or larger than the comparison block size, the transfer control unit 213 outputs a sub data block detection instruction to the deduplication unit 211. Yes (step S2506). The transfer control unit 213 shifts to a waiting state until it receives a response from the deduplication unit 211. The sub data block search process will be described with reference to FIG.

転送制御部２１３は、重複排除部２１１から受け取った応答に基づいて、特定されたエントリのバッファ６０７に格納されるデータに副データブロックが存在するか否かを判定する（ステップＳ２５０７）。 The transfer control unit 213 determines, based on the response received from the deduplication unit 211, whether or not a sub data block exists in the data stored in the buffer 607 of the identified entry (step S2507).

具体的には、転送制御部２１３は、重複排除部２１１からの応答が「該当データ無し」であるか否かを判定する。重複排除部２１１からの応答が「該当データ無し」である場合、転送制御部２１３は、特定されたエントリのバッファ６０７に格納されるデータに副データブロックが存在すると判定する。 Specifically, the transfer control unit 213 determines whether the response from the deduplication unit 211 is “no corresponding data”. When the response from the deduplication unit 211 is “no corresponding data”, the transfer control unit 213 determines that the data stored in the buffer 607 of the identified entry has a sub data block.

特定されたエントリのバッファ６０７に格納されるデータに副データブロックが存在すると判定された場合、転送制御部２１３は、副データブロックを含むデータブロックを特定し、特定されたエントリのバッファ６０７に格納されるデータの先頭から当該データブロックの手前までのデータを削除し、符号化されたデータを出力するとともに、特定されたエントリのｈｅａｄ２２０１を「ＹＥＳ」に更新する（ステップＳ２５０８）。その後、転送制御部２１３は、ステップＳ１００３に進む。具体的には、以下のような処理が実行される。 When it is determined that the sub data block exists in the data stored in the buffer of the specified entry 607, the transfer control unit 213 specifies the data block including the sub data block and stores it in the buffer 607 of the specified entry. The data from the beginning of the data to the front of the data block is deleted, the encoded data is output, and the head 2201 of the specified entry is updated to "YES" (step S2508). After that, the transfer control unit 213 proceeds to step S1003. Specifically, the following processing is executed.

転送制御部２１３は、重複排除部２１１を介して、検索された副データブロックの識別情報（添字Ｉ）に基づいて、特定されたエントリのバッファ６０７に格納されるデータにおける、データブロックの先頭を特定する。 The transfer control unit 213 determines, via the deduplication unit 211, the head of the data block in the data stored in the buffer 607 of the identified entry based on the identification information (subscript I) of the retrieved sub data block. Identify.

転送制御部２１３は、重複排除部２１１にデータブロックの符号化を指示する。転送制御部２１３は、重複排除部２１１から符号化されたデータを取得するまで待ち状態に移行する。当該指示には、特定されたエントリのバッファ６０７に格納されるデータが含まれる。以下では、バッファ６０７に格納されるデータの先頭から当該データブロックの手前までのデータを対象データと記載する。 The transfer control unit 213 instructs the deduplication unit 211 to encode the data block. The transfer control unit 213 shifts to a waiting state until it acquires the encoded data from the deduplication unit 211. The instruction includes the data stored in the buffer 607 of the identified entry. Below, the data from the beginning of the data stored in the buffer 607 to the front of the data block will be described as the target data.

重複排除部２１１は、当該指示を受け付けた場合、ｄｅｄｕｐ．ｔｙｐｅ５１１に「３」を設定し、ｄｅｄｕｐ．ｄａｔａ＿ｌｅｎ５１２に対象データの長さを設定し、ｄｅｄｕｐ．ｈａｓｈ１５１３及びｄｅｄｕｐ．ｈａｓｈ２５１４にダミーの値として「０」を設定することによってＤｅｄｕｐヘッダ５１０を生成する。また、重複排除部２１１は、Ｄｅｄｕｐペイロード５２０に対象データを設定する。以上がステップＳ２５０８の処理の説明である。 When the deduplication unit 211 receives the instruction, the dedup. "3" is set in the type 511, and dedup. The length of the target data is set in the data_len 512, and the deletion. hash1 513 and dedup. By setting "0" as the dummy value in the hash2 514, the Dedup header 510 is generated. Further, the deduplication unit 211 sets the target data in the Dedup payload 520. The above is the description of the process of step S2508.

特定されたエントリのバッファ６０７に格納されるデータに副データブロックが存在しないと判定された場合、転送制御部２１３は、特定されたエントリのバッファ６０７に格納されるデータから比較ブロックサイズ分のデータを削除し、符号化されたデータを出力する（ステップＳ２５０９）。 When it is determined that the sub-data block does not exist in the data stored in the buffer 607 of the specified entry, the transfer control unit 213 determines that the data of the comparison block size is calculated from the data stored in the buffer 607 of the specified entry. Is deleted and the encoded data is output (step S2509).

ステップＳ２５０９の処理は、ステップＳ２５０８の処理と同様の処理である。ただし、Ｄｅｄｕｐペイロード５２０にはバッファ６０７から削除されたデータが含まれ、また、特定されたエントリのｈｅａｄ２２０１は更新されない。 The process of step S2509 is similar to the process of step S2508. However, the Dedup payload 520 includes the data deleted from the buffer 607, and the head 2201 of the specified entry is not updated.

比較ブロックサイズは、副データブロックのサイズより大きい値が設定される。比較ブロックサイズが大きい場合、処理の負荷が軽くなるため、データの分割を高速に行うことができる。一方、比較ブロックサイズが大きい場合、重複排除されるデータの割合が小さくなる。 The comparison block size is set to a value larger than the size of the sub data block. When the comparison block size is large, the processing load is light, and thus the data can be divided at high speed. On the other hand, when the comparison block size is large, the ratio of data that is deduplicated is small.

図２６は、実施例２の重複排除部２１１が転送制御部２１３から副データブロックの検出指示を受け付けた場合に実行する処理を説明するフローチャートである。 FIG. 26 is a flowchart illustrating a process executed when the deduplication unit 211 according to the second embodiment receives a sub data block detection instruction from the transfer control unit 213.

重複排除部２１１は、転送制御部２１３から副データブロックの検出指示を受け付けた場合、特定されたエントリのバッファ６０７に格納されるデータを取得する（ステップＳ２６０１）。 When the deduplication unit 211 receives a sub data block detection instruction from the transfer control unit 213, the deduplication unit 211 acquires the data stored in the buffer 607 of the identified entry (step S2601).

重複排除部２１１は、変数Ｓに「１」を設定し（ステップＳ２６０２）、また、データの先頭に所定のサイズのウインドウを配置する（ステップＳ２６０３）。データ分割部２１５は、ウインドウに含まれるデータのハッシュ値を算出する（ステップＳ２６０４）。 The deduplication unit 211 sets "1" in the variable S (step S2602), and arranges a window of a predetermined size at the beginning of the data (step S2603). The data dividing unit 215 calculates the hash value of the data included in the window (step S2604).

具体的には、データ分割部２１５は、変数αと同様の手順に基づいてハッシュ値ＳＡを算出し、第３ハッシュ関数にデータを入力することによってハッシュ値ＳＣを算出する。なお、ウインドウのサイズは、副データブロックのサイズと同一のものとする。 Specifically, the data dividing unit 215 calculates the hash value SA based on the same procedure as the variable α, and inputs the data to the third hash function to calculate the hash value SC. The size of the window is the same as the size of the sub data block.

次に、重複排除部２１１は、副検索インデックス２００１を参照し（ステップＳ２６０５）、ハッシュ値ＸＸがハッシュ値ＳＣに一致する要素２４０１が存在するか否かを判定する（ステップＳ２６０６）。 Next, the deduplication unit 211 refers to the sub-search index 2001 (step S2605) and determines whether or not there is an element 2401 whose hash value XX matches the hash value SC (step S2606).

具体的には、重複排除部２１１は、ＳＡ行目の行に含まれる各要素２４０１に格納されるハッシュ値ＸＸと、ハッシュ値ＳＣとを比較する。 Specifically, the deduplication unit 211 compares the hash value XX stored in each element 2401 included in the SAth row with the hash value SC.

ハッシュ値ＸＸがハッシュ値ＳＣに一致する要素２４０１が存在すると判定された場合、重複排除部２１１は、転送制御部２１３に、当該要素２４０１に含まれる添字Ｉを応答として出力する（ステップＳ２６０７）。その後、重複排除部２１１は処理を終了する。 When it is determined that the element 2401 whose hash value XX matches the hash value SC exists, the deduplication unit 211 outputs the subscript I included in the element 2401 to the transfer control unit 213 as a response (step S2607). After that, the deduplication unit 211 ends the process.

ハッシュ値ＸＸがハッシュ値ＳＣに一致する要素２４０１が存在しないと判定された場合、重複排除部２１１は、変数Ｓが閾値以上であるか否かを判定する（ステップＳ２６０８）。閾値は任意に設定できる。 When it is determined that the element 2401 whose hash value XX matches the hash value SC does not exist, the deduplication unit 211 determines whether the variable S is equal to or greater than the threshold value (step S2608). The threshold can be set arbitrarily.

変数Ｓが閾値以上であると判定された場合、重複排除部２１１は、転送制御部２１３に、「該当データ無し」を応答として出力する（ステップＳ２６０９）。 When it is determined that the variable S is equal to or larger than the threshold value, the deduplication unit 211 outputs “no corresponding data” as a response to the transfer control unit 213 (step S2609).

変数Ｓが閾値より小さいと判定された場合、重複排除部２１１は、変数Ｓに「１」を加算し（ステップＳ２６１０）、また、ウインドウをデータの後方にスライドさせる（ステップＳ２６１１）。その後、重複排除部２１１は、ステップＳ２６０４に戻る。例えば、重複排除部２１１は、ウインドウを１バイト分だけ後方にスライドさせる。 When it is determined that the variable S is smaller than the threshold value, the deduplication unit 211 adds “1” to the variable S (step S2610), and also slides the window to the rear of the data (step S2611). After that, the deduplication unit 211 returns to step S2604. For example, the deduplication unit 211 slides the window backward by one byte.

図２７は、実施例２の重複排除部２１１が転送制御部２１３によって呼び出された場合に実行する処理を説明するフローチャートである。 FIG. 27 is a flowchart illustrating processing executed when the deduplication unit 211 according to the second embodiment is called by the transfer control unit 213.

実施例２では、重複排除部２１１は、ステップＳ１５０８の処理が完了した後、副検索インデックス２００１を更新する（ステップＳ２７０１）。その後、重複排除部２１１は、ステップＳ１５０９に進む。具体的には、以下のような処理が実行される。 In the second embodiment, the deduplication unit 211 updates the sub-search index 2001 after the processing of step S1508 is completed (step S2701). After that, the deduplication unit 211 proceeds to step S1509. Specifically, the following processing is executed.

重複排除部２１１は、データブロックに含まれる副データブロックの中から、対象の副データブロックを選択し、当該副データブロックを第１ハッシュ関数及び第２ハッシュ関数に入力し、ハッシュ値Ｓａ及びハッシュ値Ｓｃを算出する。 The deduplication unit 211 selects a target sub-data block from the sub-data blocks included in the data block, inputs the sub-data block to the first hash function and the second hash function, and outputs the hash value Sa and the hash value. The value Sc is calculated.

重複排除部２１１は、副検索インデックス２００１を参照し、Ｓａ行目に含まれる要素２４０１に空の要素２４０１が存在するか否かを判定する。 The deduplication unit 211 refers to the sub-search index 2001 and determines whether or not an empty element 2401 exists in the element 2401 included in the Sa row.

Ｓａ行目に含まれる要素２４０１に空の要素２４０１が存在する場合、重複排除部２１１は、空きの要素２４０１のハッシュ値ＸＸにハッシュ値Ｓｃを格納し、添字Ｉにデータブロックにおける対象の副データブロックの位置を示す値を格納する。 When the empty element 2401 is present in the element 2401 included in the Sa row, the deduplication unit 211 stores the hash value Sc in the hash value XX of the empty element 2401 and the subscript I is the target sub-data in the data block. Stores the value that indicates the position of the block.

Ｓａ行目に含まれる要素２４０１に空の要素２４０１が存在しない場合、重複排除部２１１は、所定のアルゴリズムに基づいて、Ｓａ行目に含まれる要素２４０１の中から値を設定する要素２４０１を一つ選択する。重複排除部２１１は、選択された要素２４０１のハッシュ値ＸＸにハッシュ値Ｓｃを格納し、添字Ｉにデータブロックにおける対象の副データブロックの位置を示す値を格納する。以上がステップＳ２７０１の処理の説明である。 When the empty element 2401 does not exist in the element 2401 included in the Sa row, the deduplication unit 211 determines one of the elements 2401 included in the Sa row to set a value based on a predetermined algorithm. Choose one. The deduplication unit 211 stores the hash value Sc in the hash value XX of the selected element 2401 and stores the value indicating the position of the target sub data block in the data block in the subscript I. The above is the description of the process of step S2701.

実施例２によれば、実施例１と同様にデータ転送処理の高速化を実現することができる。また、実施例２によれば、転送装置１１０は、比較ブロックサイズの間隔をあけながら副データブロックを用いて、データブロックの境界をバイト単位で調べることができる。データ全体に対してデータブロックの境界を特定する処理が転送処理の速度を律速する場合、比較ブロックサイズのサイズを大きくすることによって、データブロックの境界を特定する処理を間引くことができる。 According to the second embodiment, similarly to the first embodiment, the speeding up of the data transfer process can be realized. Further, according to the second embodiment, the transfer device 110 can check the boundaries of the data blocks in byte units by using the sub data blocks while keeping the comparison block size intervals. When the process of identifying the boundary of the data block with respect to the entire data limits the speed of the transfer process, the process of identifying the boundary of the data block can be thinned by increasing the size of the comparison block size.

また、データブロックサイズと独立したパラメータである比較ブロックサイズを用いることによって、バイト単位のデータブロックの境界の特定処理の間引き方を調整できる。データブロックサイズを小さくした場合、データブロックが一致する可能性が高まるため重複排除の効果を高めることができ、比較ブロックサイズを大きくした場合、バイト単位のデータブロックの境界の特定処理が間引かれるため処理を高速化できる。 Further, by using the comparison block size, which is a parameter independent of the data block size, it is possible to adjust the thinning method of the process of identifying the boundary of the data block in byte units. When the data block size is reduced, the possibility of matching data blocks increases, so the effect of deduplication can be enhanced, and when the comparison block size is increased, the process of identifying the boundaries of data blocks in byte units is skipped. Therefore, the processing can be speeded up.

請求の範囲に記載した以外の発明の観点の代表的なものとして、次のものがあげられる。
（１）端末間で送受信されるデータを転送する複数の転送装置を備えるネットワークシステムであって、
前記複数の転送装置の各々は、
前記端末間のデータの転送処理を制御する転送制御部を有し、
データを分割することによって生成されるデータブロックであって、前記端末間で過去に送信されたデータブロックを管理するデータブロック情報と、前記データブロック情報に格納される前記データブロックを検索するための識別情報を管理する検索インデックスと、を保持し、
前記複数の転送装置は、第１検索インデックス及び第１データブロック情報を保持する第１転送装置、並びに、第２検索インデックス及び第２データブロック情報を保持する第２転送装置を含み、
前記第１転送装置は、
前記第１転送装置に接続する端末から送信データを受信した場合、前記送信データから前記データブロックを生成するための分割処理を実行し、
前記分割処理によって生成された第１データブロックから、前記検索インデックスを参照するための第１識別情報を算出し、
前記第１識別情報に基づいて前記第１検索インデックスを参照して、前記第１データブロックが前記第１データブロック情報に格納されているか否かを判定し、
前記第１データブロックが前記第１データブロック情報に格納されていないと判定された場合、前記第１識別情報及び前記第１データブロックを前記第２転送装置に送信し、
前記第２転送装置は、
前記第１識別情報及び前記第１データブロックを受信した場合、前記第２検索インデックスに前記第１識別情報を格納し、前記第２データブロック情報に前記第１データブロックを格納し、
前記第１転送装置に応答を送信し、
前記第１転送装置は、前記第２転送装置からの応答を受信した場合、前記第１検索インデックスに前記第１識別情報を格納し、前記第１データブロック情報に前記第１データブロックを格納することを特徴とするネットワークシステム。The following are typical aspects of the invention other than those described in the claims.
(1) A network system including a plurality of transfer devices for transferring data transmitted and received between terminals,
Each of the plurality of transfer devices is
A transfer control unit that controls a transfer process of data between the terminals,
A data block generated by dividing data, for managing data block information for managing data blocks transmitted in the past between the terminals, and for searching the data block stored in the data block information. Holds a search index that manages identification information, and
The plurality of transfer devices include a first transfer device that holds a first search index and first data block information, and a second transfer device that holds a second search index and second data block information,
The first transfer device is
When transmission data is received from the terminal connected to the first transfer device, a division process for generating the data block from the transmission data is executed,
Calculating first identification information for referring to the search index from the first data block generated by the division processing,
Referring to the first search index based on the first identification information, determining whether the first data block is stored in the first data block information,
When it is determined that the first data block is not stored in the first data block information, the first identification information and the first data block are transmitted to the second transfer device,
The second transfer device is
When the first identification information and the first data block are received, the first identification information is stored in the second search index, and the first data block is stored in the second data block information,
Sending a response to the first transfer device,
When the first transfer device receives a response from the second transfer device, the first transfer device stores the first identification information in the first search index and stores the first data block in the first data block information. A network system characterized in that

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。 It should be noted that the present invention is not limited to the above-described embodiments, but includes various modifications. In addition, for example, the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations. Also, a part of the configuration of the embodiment can be added, deleted, or replaced with another configuration.

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるＣＰＵが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。 Further, each of the above-mentioned configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. The present invention can also be realized by a program code of software that realizes the functions of the embodiments. In this case, the storage medium recording the program code is provided to the computer, and the CPU included in the computer reads the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the function of the above-described embodiment, and the program code itself and the storage medium storing the program code constitute the present invention. As a storage medium for supplying such a program code, for example, a flexible disk, a CD-ROM, a DVD-ROM, a hard disk, an SSD (Solid State Drive), an optical disk, a magneto-optical disk, a CD-R, a magnetic tape, A non-volatile memory card, ROM or the like is used.

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ等の広範囲のプログラム又はスクリプト言語で実装できる。 Further, the program code that realizes the functions described in this embodiment can be implemented by a wide range of programs or script languages such as assembler, C/C++, perl, Shell, PHP, and Java.

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、コンピュータが備えるＣＰＵが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。 Furthermore, by distributing the program code of the software that realizes the functions of the embodiments via a network, the program code is stored in a storage means such as a hard disk or a memory of a computer or a storage medium such as a CD-RW or a CD-R. Alternatively, the CPU included in the computer may read and execute the program code stored in the storage unit or the storage medium.

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。 In the above-mentioned embodiments, the control lines and information lines are shown to be necessary for explanation, and not all the control lines and information lines in the product are necessarily shown. All configurations may be connected to each other.

Claims

A transfer device for transferring data transmitted and received between terminals ,
A processor , a main memory connected to the processor, a sub memory connected to the processor, and a network interface connected to the processor,
A transfer control unit that controls a transfer process of data between the terminals,
Connected to other transfer devices via the network,
The secondary storage device is a data block generated by dividing data, and stores data block information for managing a data block transmitted in the past between the terminals,
The main storage device stores a search index for searching the data block stored in the data block information, and a buffer for temporarily storing the data block ,
The search index includes a plurality of elements configured from a set of a comparison value calculated from the data block and a pointer value for accessing the data block stored in the data block information,
The data block information includes a plurality of entries composed of the pointer value and the data block,
The transfer control unit,
When receiving data from the terminal, execute a division process for generating the data block from the received data,
Calculating a search value and a reference value for referring to the search index from the first data block generated by the division processing,
Based on the reference value, to identify at least one element to be referenced from the plurality of elements included in the search index,
Determining whether the first data block is stored in the data block information by comparing the comparison value and the search value included in the specified at least one element,
When it is determined that the first data block is stored in the data block information, the identification information of the first data block is transmitted to the other transfer device , the data block is stored in the buffer, and Deleting a first data block from the buffer after receiving a response notifying completion of transfer of the first data block from another transfer device,
When it is determined that the first data block is not stored in the data block information, the identification information of the first data block and the first data block are transmitted to the other transfer device, and the data is stored in the buffer. After storing a block and receiving a response notifying completion of transfer of the first data block from the other transfer device, storing the first data block in the data block information, and storing the first data block from the buffer. Remove
When a data block request requesting transmission of the first data block is received from the other transfer device that has transmitted the identification information of the first data block, the first data block stored in the buffer may be the other one. The transfer device is characterized by transmitting to another transfer device.

The transfer device according to claim 1, wherein
The comparison value and the search value are hash values,
The transfer control unit holds a first hash function and a second hash function,
Calculating the reference value using the first hash function and the first data block,
Calculating the search value using the second hash function and the first data block,
Transmitting the search value and the reference value as identification information of the first data block,
The transfer device, wherein if the search value matches the comparison value, it is determined that the first data block is stored in the data block information.

The transfer device according to claim 2, wherein
The transfer control unit,
When the identification information of the first data block and the response notifying the completion of storage of the first data block are received from the other transfer device that has transmitted the first data block, the search value and the reference value are used. Calculating the pointer value,
Referring to the search index based on the reference value, select one element to set a value,
Setting the search value and the calculated pointer value to the selected element,
Add an entry to the data block information,
The transfer device, wherein the calculated pointer value and the first data block are stored in the added entry.

A network system comprising a plurality of transfer devices for transferring data transmitted and received between terminals,
Each of the plurality of transfer devices is
A processor, a main storage device connected to the processor, a sub storage device connected to the processor, and a network interface connected to the processor;
A transfer control unit that controls a transfer process of data between the terminals,
The secondary storage device is a data block generated by dividing data, and stores data block information for managing a data block transmitted in the past between the terminals,
The main storage device stores a search index for searching the data block stored in the data block information, and a buffer for temporarily storing the data block,
The search index includes a plurality of elements configured from a set of a comparison value calculated from the data block and a pointer value for accessing the data block stored in the data block information,
The data block information includes a plurality of entries composed of the pointer value and the data block,
The plurality of transfer devices include a first transfer device that holds a first search index and first data block information, and a second transfer device that holds a second search index and second data block information,
The first transfer device is
When transmission data is received from the terminal connected to the first transfer device, a division process for generating the data block from the transmission data is executed,
Calculating a search value and a reference value for referring to the search index from the first data block generated by the division processing,
Specifying at least one element to be referenced from among a plurality of elements included in the first search index based on the reference value,
Determining whether or not the first data block is stored in the first data block information by comparing the comparison value and the search value included in the specified at least one element,
When it is determined that the first data block is stored in the first data block information, the search value and the reference value are transmitted to the second transfer device as identification information of the first data block, Storing the data block in a buffer, deleting the first data block from the buffer after receiving a response notifying completion of transfer of the first data block from the second transfer device,
When it is determined that the first data block is not stored in the first data block information, the identification information of the first data block and the first data block are transmitted to the second transfer device and stored in the buffer. After storing the data block and receiving a response notifying completion of transfer of the first data block from the second transfer device, storing the first data block in the data block information, and storing the first data block from the buffer. Delete the data block,
When a data block request requesting transmission of the first data block is received from the second transfer device that has transmitted the identification information of the first data block, the first data block stored in the buffer is stored as the first data block. 2 Send to the transfer device,
The second transfer device is
When the identification information of the first data block is received, based on the reference value, at least one element to be referenced is identified from among a plurality of elements included in the second search index,
The first data block is stored in the second data block information by comparing the comparison value included in the identified at least one element with the search value included in the identification information of the first data block. Is determined,
When it is determined that the first data block is stored in the second data block information, the first data block is read from the second data block information, and the first data block is stored in the second transfer device. To a terminal connected to the first transfer device, and sends a response notifying completion of transfer of the first data block to the first transfer device,
The network system, wherein when it is determined that the first data block is not stored in the second data block information, the data block request is transmitted to the first transfer device.

The network system according to claim 4, wherein:
The first transfer device is
Holding a first hash function and a second hash function,
Calculating the reference value using the first hash function and the first data block,
Calculating the search value using the second hash function and the first data block,
The network system, wherein when the search value matches the comparison value, it is determined that the first data block is stored in the data block information.

The network system according to claim 5,
The first transfer device is
When the identification information of the first data block and the response notifying the completion of the storage of the first data block are received from the second transfer device which has transmitted the first data block, the search value and the reference value are used. Calculating the pointer value,
Referring to the search index based on the reference value, select one element to set a value,
Setting the search value and the calculated pointer value to the selected element,
Add an entry to the data block information,
The network system, wherein the calculated pointer value and the first data block are stored in the added entry.

The network system according to claim 5,
The second transfer device is
When the first data block and the identification information of the first data block are received, the pointer value is calculated using the search value and the reference value,
Referring to the search index based on the reference value, select the element to set the value,
Setting the search value and the calculated pointer value to the selected element,
Add an entry to the data block information,
The network system, wherein the calculated pointer value and the first data block are stored in the added entry.