WO2020031687A1 - 転送装置、転送システム、転送方法及びプログラム - Google Patents

転送装置、転送システム、転送方法及びプログラム Download PDF

Info

Publication number
WO2020031687A1
WO2020031687A1 PCT/JP2019/028883 JP2019028883W WO2020031687A1 WO 2020031687 A1 WO2020031687 A1 WO 2020031687A1 JP 2019028883 W JP2019028883 W JP 2019028883W WO 2020031687 A1 WO2020031687 A1 WO 2020031687A1
Authority
WO
WIPO (PCT)
Prior art keywords
path
route
cluster
transfer
control
Prior art date
Application number
PCT/JP2019/028883
Other languages
English (en)
French (fr)
Other versions
WO2020031687A9 (ja
Inventor
崇佳 平澤
仁志 入野
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/264,890 priority Critical patent/US11799801B2/en
Publication of WO2020031687A1 publication Critical patent/WO2020031687A1/ja
Publication of WO2020031687A9 publication Critical patent/WO2020031687A9/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/55—Prevention, detection or correction of errors
    • H04L49/557—Error correction, e.g. fault recovery or fault tolerance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/25—Routing or path finding in a switch fabric
    • H04L49/253—Routing or path finding in a switch fabric using establishment or release of connections between ports
    • H04L49/254—Centralised controller, i.e. arbitration or scheduling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/15—Interconnection of switching modules
    • H04L49/1507—Distribute and route fabrics, e.g. sorting-routing or Batcher-Banyan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/65—Re-configuration of fast packet switches

Definitions

  • the present invention relates to a transfer device, a transfer system, a transfer method, and a program for performing extended control of a communication path of a transfer device group (switch cluster) constituting a communication network and automatic path switching control when a failure occurs in the communication path.
  • switch cluster a transfer device group
  • FIG. 10 shows the configuration of a conventional transfer device.
  • the transfer device 10 includes three functions of a management function 10a for controlling the transfer device 10, a routing function 10b for controlling a path connected to another transfer device, and a packet transfer function 10c for transferring a packet in one package. It is configured to house.
  • fabric cards 13a and 13b controlled by a NOS (Network Operating System) 12 and line cards 14a, 14b and 14c are incorporated in the transfer device 10, as shown in FIG.
  • NOS Network Operating System
  • Two types of device components, that is, fabric cards 13a and 13b and line cards 14a, 14b, and 14c, are connected by a Clos type topology 15.
  • the conventional transfer system shown in FIG. 12 includes a management function 10a separately housed in an external server 11, and a group of transfer devices 11a, 11b, 11c, 11d, and 11e controlled by the management function 10a. You. At this time, each of the transfer devices 11a to 11e has a packet transfer function 10c. Further, one of the transfer devices 11a to 11e and the server 11 has a routing function 10b.
  • Each of the transfer devices 11a to 11e of the transmission system shown in FIG. 12 accommodates the components shown in FIG. 13 as follows.
  • the transfer device 11a is a spine SW (Switch) 17a
  • the transfer device 11b is a spine SW 17b
  • the transfer device 11c is a leaf SW 18a
  • the transfer device 11d is a leaf SW 18b
  • the transfer device 11e is a leaf SW 18e.
  • Non-Patent Document 2 As existing architectures for controlling a plurality of general-purpose transfer device groups, there are an autonomous distributed type (Non-Patent Document 2) and a centralized control type (Non-Patent Documents 3 and 4).
  • FIG. 14 shows an autonomous distributed transfer system 21 and
  • FIG. 15 shows a centralized control transfer system 31.
  • the autonomous distributed transfer system 21 shown in FIG. 14 includes an external server 22 on which a NOSCTL 22a as a control function is mounted, and a group of transfer devices 24a to 24e controlled via the management SW 23 by the NOS @ CTL 22a. .
  • Each of the transfer devices 24a to 24e includes an NOS that implements a routing function and a packet transfer function.
  • NOS as an autonomous route resolution function in each of the transfer devices 24a to 24e, even when the connection with the NOSCTL 22a is disconnected, the NOS itself on each of the transfer devices 24a to 24e is autonomous. Since it is possible to construct a route efficiently, there is an advantage that the reliability of a communication network similar to the conventional one can be maintained.
  • the centralized control type transfer system 31 shown in FIG. 15 includes an external server 32 on which an R / FCTL 32a, which is a controller for performing R / F (Routing / Forwarding) control, and a group of transfer devices 34a to 34e. Have been.
  • the R / F @ CTL 32a has a routing function and a forwarding control function.
  • the transfer devices 34a to 34e have a packet transfer function and are controlled by the R / F CTL 32a via the management SW 33.
  • FIG. 16 shows an implementation example of the transfer system in Non-Patent Document 5.
  • the above-mentioned centralized control type transfer system 31 shown in FIG. 15 only one control line indicated by a broken line can be connected from the R / FCTL 32a to each of the transfer devices 34a to 34e, and lacks redundancy.
  • the centralized control type transfer system 41 in FIG. 16 a configuration independent of only one control line in FIG. 15 is realized by using the data transfer line 43.
  • an additional function 47 is connected to each of the transfer devices 42a and 42b via the management port 48 in order to perform centralized control from the CTL 45 using the same path as that of the D-plane (main signal).
  • the external servers 43a and 43b and the transfer devices 42a and 42b are connected by a management port 48. Further, external devices 44a and 44b are connected to the transfer devices 42a and 42b via D-plane ports 46.
  • a centralized control technology (Openflow) is used in which a plurality of transfer devices constituting a communication network are centrally controlled and managed by one centralized control device (CTL).
  • CTL centralized control device
  • many transfer devices compatible with the centralized control technology have only one management port for connecting to the centralized control device. Therefore, the connection between the centralized control device and the plurality of transfer devices is collectively connected by a management switch (see the management SWs 23 and 33 in FIG. 15), so that this integrated connection portion becomes a single point of failure. was there. Further, there is a problem that traffic between the centralized control device and the transfer device is concentrated on a specific route.
  • the CTL 51 which is provided in an external server (not shown) and performs centralized control includes, as shown by arrows Y2 to Y5, transfer devices 52a to 52d and D-plane (main signal).
  • communication cannot be performed as follows. That is, as shown by the mark x in FIG. 17, if a failure such as disconnection occurs in the path between the transfer device 52a and the transfer device 52d, the CTL 51 has no transfer route selection function. And the communication indicated by arrows Y2 and Y3 cannot be performed.
  • the present invention has been made in view of such circumstances, and it is possible to avoid a single point of failure in connecting a centralized control device and a group of transfer devices, to distribute traffic to a plurality of paths, and to prevent a failure in a switch cluster. It is an object of the present invention to provide a transfer device, a transfer system, a transfer method, and a program that can select a bypass route.
  • the invention according to claim 1 includes a centralized control device that externally performs centralized control on a switch cluster formed by a group of transfer devices connected by a communication path, and a path via a main signal path.
  • a transfer device of the switch cluster that performs control communication, and separates an internal packet of the switch cluster that transmits the main signal path and an external packet that performs a path control outside the switch cluster.
  • Unit, and an internal path control unit that performs path control inside the switch cluster, wherein the separation unit separates a path control packet destined for the inside of the switch cluster, and the internal path control unit performs the separation.
  • the invention according to claim 7 is directed to a centralized control device that externally performs centralized control on a switch cluster by a transfer device group connected by a communication path, and a transfer of the switch cluster that performs path control communication via a main signal path.
  • a transfer method by a device wherein the transfer device separates an internal packet of the switch cluster and an external packet of the switch cluster for transmitting the main signal path; Performing a route control for finding a route that freely follows the route; separating the internal route control packet in the switch cluster in the separation, and setting the interrupted route when the separated internal route control packet is interrupted; And performing a route control for generating a detour route.
  • the invention according to claim 8 is directed to a centralized control device that externally performs centralized control on a switch cluster by a transfer device group connected by a communication path, and a transfer of the switch cluster that performs path control communication via a main signal path.
  • Means for performing path control wherein the separation separates a path control packet directed to the inside of the switch cluster and generates a path that bypasses the disconnected path when the separated internal path control packet is disconnected.
  • Means for performing, path information inside the switch cluster and path information outside the switch cluster Is a program for functioning as means for notifying the route information packet transfer function used.
  • the internal packet of the switch cluster also referred to as a cluster
  • the external packet of the cluster can be separated.
  • Dynamic route control can be performed independently of an external route. Therefore, it is possible to avoid a single point of failure between the cluster and the centralized control device outside the cluster, and even in the case of a failure of a transfer device in the cluster or a failure of the route, a route that bypasses the failed route (a bypass route). Can be generated, so that communication before the failure can be continued.
  • the internal route control unit is capable of distributing the communication related to the main signal route to a plurality of routes when the switch cluster has a plurality of connection routes of the transfer device group.
  • the invention according to claim 4 further comprises an external route agent for transferring a route control packet destined for the outside of the switch cluster separated by the separation unit to the centralized control device.
  • the transfer device according to any one of the above.
  • the route control packet for the outside of the cluster can be transferred to the central control device independently of the route control packet for the inside, so that the central control device can easily perform the route control outside the cluster.
  • the invention according to claim 5 is characterized in that the internal route control unit controls communication between the centralized control device and a transfer device inside the switch cluster via an internal route of the switch cluster.
  • the transfer device according to any one of claims 1 to 4, wherein
  • the communication can be performed via the bypass route generated by the internal route control unit.
  • the invention according to claim 6 includes a switch cluster formed by a group of transfer devices connected by a communication path, and a centralized control device that performs centralized control from outside the switch cluster, and the centralized control device establishes a main signal path.
  • the present invention it is possible to avoid a single point of failure in connection between a centralized control device and a group of transfer devices, to distribute traffic to a plurality of routes, and to select a bypass route in the event of a failure in a switch cluster, a transfer device, a transfer system, A transfer method and a program can be provided.
  • FIG. 1 is a block diagram illustrating a configuration of a transfer system using a transfer device according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a configuration of a switch cluster internal path of the transfer system according to the embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of a switch cluster external route and a centralized control connection between the centralized control device and the switch cluster of the transfer system according to the present embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of a transfer device according to the present embodiment.
  • FIG. 3 is a block diagram showing a basic configuration for explaining an operation at the time of a route failure inside a switch cluster of the transfer system of the present embodiment.
  • FIG. 3 is a block diagram illustrating a path failure inside the switch cluster of the transfer system according to the embodiment.
  • FIG. 4 is a block diagram showing a detour path after a path failure inside the switch cluster of the transfer system of the present embodiment.
  • FIG. 3 is a block diagram illustrating a failure of a transfer device inside a switch cluster of the transfer system according to the embodiment.
  • FIG. 5 is a block diagram illustrating a detour path after a transfer device failure in the switch cluster of the transfer system of the present embodiment.
  • FIG. 11 is a diagram illustrating a configuration of a conventional transfer device.
  • FIG. 11 is a block diagram showing a configuration in which a fabric card and a line card, which are components housed in the transfer device of FIG.
  • FIG. 4 is a diagram illustrating a configuration in which a switch cluster is separated from a server outside the switch cluster by a transfer device group.
  • FIG. 13 is a block diagram showing a configuration in which a spine SW and a leaf SW, which are components accommodated in the transfer device of FIG. 12, are connected in a Clos type topology in a conventional transfer system.
  • FIG. 1 is a block diagram illustrating a configuration of an autonomous distributed transfer system.
  • FIG. 2 is a block diagram illustrating a configuration of a centralized control type transfer system.
  • FIG. 11 is a block diagram showing a configuration that does not depend on only one control line in a conventional centralized control transfer system.
  • FIG. 10 is a block diagram showing a state in which a path failure has occurred between transfer devices of a conventional transfer system.
  • FIG. 1 is a block diagram showing a configuration of a transfer system using a transfer device according to an embodiment of the present invention.
  • the transfer system 60 shown in FIG. 1 includes a plurality of transfer devices 61a, 61b, 61c, and 61d, and a plurality of servers 62a and 62b connected to a switch cluster (cluster) 61 including a group of the transfer devices 61a to 61d. It is configured. Outside the cluster 61, an external router 63 is connected. These components are connected by paths 65a to 65g such as optical fibers and conductive wires.
  • each of the transfer devices 61a to 61d sends a route control packet from the inside of the cluster 61 (referred to as the inside of the cluster) via the same route as the D-plane (main signal), and the outside of the cluster 61 (the outside of the cluster).
  • a packet flow controller 87 in FIG. 4 that separates a D-plane (main signal) from a route control packet along the same route.
  • the routing control packet inside the cluster and the routing control packet outside the cluster are separated, and the routing engine for the inside of the cluster (the internal route engine 85 in FIG. 4) according to the routing packet inside the cluster.
  • the external route agent 84 (FIG. 4) transfers the route control packet outside the cluster to the centralized control device (centralized control device 73 in FIG. 4) mounted on the servers 62a and 62b.
  • each of the transfer devices 61a to 61d is provided with an autonomous distributed control function 85 (corresponding to the internal route engine 85 of FIG. 4) for performing an autonomous route switching control process from the route control packet in the separated cluster. ).
  • the control of the cluster internal path is performed independently of the path outside the cluster.
  • the autonomous decentralized control function 85 checks the failure of the transfer devices 61a to 61d (referred to as device failure) and the failure of the paths 65c to 65f in the cluster (referred to as path failure) on the same path as the D-plane (main signal). At the moment, there is a function of automatically switching the communication paths (communication for centralized control) with the central control device 73 from the paths 65a to 65f to a path that can avoid a failure autonomously and continuing the communication. In addition, the autonomous distributed control function 85 has a function of autonomously switching paths and continuing communication even in the case of increasing or decreasing the paths in the transfer devices 61a to 61d and the cluster.
  • the exchange of the IP (Internet Protocol address) address used for the centralized control communication is performed on each of the transfer devices 61a to 61d. Is performed on the same path as the D-plane (main signal).
  • the autonomous distributed control function 85 has a routing function of monitoring the state of the paths 65c to 65f in the cluster and selecting a path when a path failure occurs.
  • the routing function has a routing protocol (protocol) used for troubleshooting the routes 65c to 65f in the cluster.
  • the routing function autonomously increases the connectivity by the transfer between each of the transfer devices 61a to 61d and the centralized control device 73, similarly to the autonomous distributed transfer by the autonomous distributed transfer system 21 (FIG. 14) described above. Perform the process to resolve. That is, when there are a plurality of routes in the cluster, a process of distributing the communication between each of the transfer devices 61a to 61d and the central control device 73 to a plurality of routes is also possible.
  • the above protocol may be any protocol that dynamically obtains a route state and autonomously calculates a route, such as OSPF (Open Shortest Path First) or IS-IS (Intermediate System to Intermediate System). Good.
  • OSPF Open Shortest Path First
  • IS-IS Intermediate System to Intermediate System
  • the same protocol may be used for route information coming from outside the cluster, but the route information is processed by the central control unit 73.
  • the transfer of packets from the central control device 73 to the transfer devices 61a to 61d includes an external route agent 84 in the transfer devices 61a to 61d.
  • Mediate transfer When the central control device 73 instructs the central control device 73 to output a packet from a specific transfer device 61a, the central control device 73 once issues a packet output instruction to the external route agent 84, and the external route agent 84 This means that the packet output from the transfer device 61a is output from the transfer device 61a to another transfer device 61b.
  • the external route agent 84 on the transfer devices 61a to 61d receives a route instruction from the centralized control device 73 under centralized control, and the route is routed via a management port (the management port 81 in FIG. 4) or D-plane communication. Either one or both via the application port may be used.
  • a management port the management port 81 in FIG. 4
  • D-plane communication either one or both via the application port may be used.
  • the centralized control device 73 that has received a path control packet from the outside performs centralized control on the cluster 61.
  • the external route agent 84 receives this central control instruction.
  • the communication from outside the cluster 61 is performed by the external routing function 74 of the external router 63 existing outside the transfer system 60 by the external routing function 74 in the cluster 61 to which the external route control packet is directly connected.
  • the central control device 73 via the transfer devices 61a to 61d and the external route agent 84 on this device.
  • each of the transfer devices 61a to 61d autonomously performs a process of resolving the route connection in the cluster, and the cluster 61 and the management port (the management port 81 in FIG. 4) and Communication between the central control devices 73 via one or both of the D-plane communication ports can be maintained.
  • the routing function makes it possible to simultaneously use a plurality of paths 65c to 65f in the cluster in accordance with the routing protocol, thereby enabling efficient band use.
  • ⁇ Communication for solving a path failure inside the cluster (internal communication) and communication from outside the cluster (external communication) are distinguished by the above-described separation function provided in each of the transfer devices 61a to 61d.
  • the condition for discrimination is performed using unique information such as a MAC (Media Access Control) address, an IP address, and a VLAN (Virtual Local Area Network) number. Note that each unique information may be used in combination.
  • the transfer devices 61a to 61d group of the cluster 61 can be received from outside the cluster. Can be regarded as a logical single node. Further, within the cluster, autonomous decentralized cooperation of the plurality of transfer devices 61a to 61d can be realized.
  • FIG. 4 is a block diagram representatively showing the configuration of the transfer device 61a among the transfer devices 61a to 61d having the same configuration.
  • the transfer device 61a shown in FIG. 4 includes a management port 81, a transfer function unit 83 for realizing high-speed, large-capacity hardware transfer by the ASIC, and a calculation processing unit for performing software processing by the CPU.
  • the calculation processing unit includes a hardware OS 82 on which an external route agent 84, an internal route engine 85, a packet control agent 86, a packet flow controller 87, a transfer function driver (also referred to as a driver) 88, Is working.
  • the transfer function unit 83 is formed of a semiconductor integrated circuit such as an ASIC (Application Specific Integrated Circuit), which enables high-speed and large-capacity transfer.
  • the transfer function unit 83 has a transfer destination port, and can transfer a packet according to a forwarding rule written using the port.
  • the internal route engine 85 has the autonomous decentralized control function described above, and constitutes an internal route control unit described in the claims.
  • the packet flow controller 87 constitutes a separating unit described in the claims.
  • the management port 81 can connect a central control instruction packet and a route information packet to be processed by the central control device 73 from outside the cluster to a server where the central control device 73 is located.
  • the central control instruction packet and the route information packet from the outside of the cluster to be processed by the central control device 73 can be connected to the server having the central control device 73 via the transfer function unit 83.
  • the external route agent 84 connects to the central control device 73 via the management port 81 and the transfer function unit 83 using the information on the internal route generated by the internal route engine 85 as described later, and controls the central control device 73 for route control. Is performed. Further, the external route agent 84 stores the route information from outside the cluster processed by the central control device 73 in a storage unit (not shown) in the external route agent 84. The packet flow controller 87 copies the route information stored in the external route agent 84 to the transfer function unit 83 via the driver 88. Further, the external route agent 84 can be connected to the central control device 73 of another server 62c via the internal route engine 85 and the transfer function unit 83. In other words, the external route agent 84 is an agent for receiving path information from outside the cluster and transferring it to the centralized control device 73 for centralized control. The solution communication packet and the external route information packet are transferred to the central control device 73.
  • the internal route engine 85 processes internal route information for solving a communication route between the external route agent 84 and the central control device 73.
  • the internal route engine 85 resolves an internal route according to a routing protocol as follows. That is, a virtual IF (Interface) simulating each port of the transfer function unit 83 is prepared in the packet control agent 86.
  • the packet flow controller 87 bridges from the ports prepared in the packet control agent 86 to the port corresponding to the transfer destination, and transfers the packet related to the internal route of the transfer function unit 83 to the internal route engine 85. .
  • the internal route engine 85 processes the transferred packet.
  • the internal route engine 85 exchanges routes between the internal route engines 85 provided in the transfer devices 61a to 61d in the cluster, and automatically generates a detour route when the transfer devices 61a to 61d fail or a route fails. Recalculate the route. This route recalculation makes it possible to automatically switch the internal route.
  • the packet control agent 86 transfers the packet pulled up by the packet flow controller 87 from the transfer function unit 83 to the internal route engine 85 and the external route agent 84.
  • the transfer function driver 88 allows the transfer function unit 83 to be controlled.
  • the transfer function driver 88 writes path information to the transfer function unit 83 and transfers a packet that has entered the packet control agent 86 via the packet flow controller 87.
  • the function of transferring the packet from the port of the function unit 83 and the function of transferring the packet addressed to the own device among the packets entering the port of the transfer function unit 83 to the packet control agent 86 via the packet flow controller 87 are enabled. Has a function.
  • the packet flow controller 87 controls a packet separation and transfer function unit described later. That is, the packet separation is a process of performing control to acquire a packet from the transfer function unit 83 and separate and output the packet to the internal route engine 85 and the external route agent 84.
  • the control of the transfer function unit 83 is to copy the route information stored in the internal route engine 85 and the external route agent 84 to the transfer function unit 83 via the driver 88.
  • the transfer function unit 83 can determine the transfer destination of the packet by its own transfer function unit 83 if there is route information.
  • the packet flow controller 87 is connected to the internal route engine 85 when detecting a path down of each port of the transfer function unit 83. Bring down the corresponding port in the virtual IF. With this function, switching can be performed at a higher speed as compared with a case where a route recalculation is performed by waiting for a timer of a routing protocol.
  • FIG. 5 is a block diagram showing a configuration of a switch cluster including two servers 62a and 62b and four transfer devices 61a to 61d.
  • Arrows Y11 to Y14 in FIG. 5 indicate communication for performing centralized control between the centralized control devices 73a and 73b and each of the transfer devices 61a to 61d.
  • the arrow Y15 indicates communication for synchronizing information between the two centralized control devices 73a and 73b.
  • the internal route engines 85 of the transfer devices 61a to 61d in the cluster exchange routes between the internal route engines 85, and autonomously change the bypass route that does not pass through the failed route 65d according to the routing protocol. Recalculate the generated route.
  • a detour route (new route Y17) indicated by an arrow Y17 in FIG. 7 and a detour route (new route Y18) indicated by an arrow Y18 are generated.
  • the new route Y17 is a route that connects the transfer device 61d to the central control device 73a via the transfer device 61a.
  • the new route Y18 is a route that connects the central control devices 73a and 73b via the transfer devices 61a, 61c and 61b.
  • the external route agent 84 of the transfer devices 61d and 61a on the route indicated by the arrow Y17 connects to the centralized control device 73a via the new route Y17.
  • the centralized control device 73 can continuously control the cluster centrally after recognizing the path configuration change inside the cluster.
  • the external route agent 84 of the transfer devices 61a, 61c, 61b on the route indicated by the arrow Y18 connects to the centralized control devices 73a, 73b via the new route Y18 and transfers the route information of the new route Y18.
  • the route information of the new route Y18 is stored in the centralized control devices 73a and 73b, and communication between the centralized control devices 73a and 73b via the new route Y18 becomes possible.
  • external route processing is performed by the centralized control devices 73a and 73ba, and the transfer function unit 83 (FIG. 4) recognizes new route information via the external route agent 84 (FIG. 4).
  • the packet flow controller 87 on each of the transfer devices 61a to 61d updates the route information stored in the external route agent 84 and the internal route engine 85 via the new routes Y17 and Y18 to the transfer function unit 83 of each of the transfer devices 61a to 61d. I do.
  • a failure such as a component failure occurs in the transfer device 61d during the communication shown in FIG.
  • a failure such as a component failure occurs in the transfer device 61d during the communication shown in FIG.
  • the paths 65e and 65d connected to the failed transfer device 61d are in a failure state
  • communication between the transfer device 61d indicated by the arrow Y14 and the centralized control device 73b via the transfer device 61b is interrupted, and indicated by the arrow Y15.
  • Communication between the centralized control devices 73a and 73b via the transfer device 61d is interrupted.
  • the internal route engine 85 of the transfer devices 61a and 61b connected to the failed transfer device 61d detects a failure in the paths 65e and 65d.
  • the transfer devices 61a to 61c connected via the normal routes 65c and 65f exchange routes between the internal route engines 85 and perform the next route recalculation. That is, route recalculation is performed to generate a detour route that does not pass through the failure routes 65e and 65d according to an autonomous protocol. It is assumed that a detour route (new route Y19) indicated by an arrow Y19 in FIG. 9 is generated by this route recalculation.
  • the new route Y19 is a route that connects the centralized control devices 73a and 73b via transfer devices 61a, 61c, and 61b that are connected by normal routes 65c and 65f.
  • the transfer function unit 83 recognizes new route information via the external route agent 84 of the normal transfer devices 61a, 61c, 61b.
  • the centralized control devices 73a and 73b can be connected using the new route Y19 constructed by the internal route engine 85 on each transfer device. Thereafter, the centralized control devices 73a and 73b can continue to process new path information from outside the cluster, as before the failure.
  • the internal route engine 85 recalculates on another route when the timer normally set to the protocol of no response is timed out. This restores the communication of the route.
  • the protocol timer is minimized to realize high-speed route switching.
  • a failure detection technique such as BFD (Bidirectional Forwarding Detection).
  • BFD Bidirectional Forwarding Detection
  • the effects of the transfer devices 61a to 61d according to the present embodiment will be described.
  • the transfer devices 61a to 61d perform route control via a centralized control device 73 that externally performs centralized control on the cluster 61 by the group of the transfer devices 61a to 61d, and a route similar to a D-plane (main signal) that is a main signal route. Communication.
  • the transfer devices 61a to 61d each perform a packet flow as a separating unit that separates an internal packet of the cluster 61 and an external packet of the cluster 61 that transmit the same path as the D-plane (main signal).
  • the system includes a controller 87 and an internal route engine 85 that performs route control for finding a route that freely follows a plurality of routes inside the cluster 61.
  • the packet flow controller 87 separates the route control packet directed to the inside of the cluster 61, and the internal route engine 85 generates a route that bypasses the disconnected route when the separated route control packet is disconnected. The control was performed.
  • the internal packet is a packet transferred only by the cluster 61 and communicated to maintain the centralized control of the cluster 61. More specifically, the packet for centralized control communication via the same route as the D-plane (main signal) and the D-plane (main signal) for the internal route engine 85 to exchange the route information inside the cluster 61. Two communication packets via the same route.
  • the external packet is a packet such as routing information outside the cluster 61 transmitted from outside the cluster 61 (a packet of a routing protocol, an ARP (Address ⁇ Resolution ⁇ Protocol packet), etc.).
  • the internal packet of the cluster 61 and the external packet of the cluster 61 can be separated, so that dynamic path control can be performed inside the cluster independently of the path outside the cluster. Therefore, it is possible to avoid a single point of failure between the cluster 61 and the centralized control device 73 outside the cluster, and to avoid the failure route of the transfer device inside the cluster or the failure of the route (the bypass route). Since the path can be generated, communication before the failure can be continued.
  • the internal route engine 85 disperses the communication for the central control into the plurality of routes.
  • a configuration is adopted in which possible path control is performed.
  • the internal route engine 85 controls the internal routes 65c to 65f of the cluster 61 independently of the external routes of the cluster 61.
  • the internal paths 65c to 65f of the cluster are controlled independently of the external paths. Therefore, when a failure inside the cluster is detected, a bypass path can be generated and communication before the failure can be continued.
  • the transfer devices 61a to 61d further include an external route agent 84 for transferring the route control packet for the outside of the cluster 61 separated by the packet flow controller 87 to the centralized control device 73.
  • the route control packet for the outside of the cluster can be transferred to the central control device 73 independently of the route control packet for the inside, so that the central control device 73 can easily perform the route control outside the cluster. Can be.
  • the internal route engine 85 is configured to control the communication between the centralized control device 73 and the transfer device inside the cluster 61 via the internal routes 65a to 65f of the cluster 61.
  • the communication can be performed via the bypass route generated by the internal route engine 85 or the like.
  • the transfer system of the present embodiment includes a cluster 61 composed of a group of transfer devices connected by a communication path, and a centralized control device 73 that performs centralized control from outside the cluster 61.
  • the communication of the path control of the cluster 61 is performed via the signal path.
  • the centralized control device 73 is configured to perform route control with the outside of the cluster 61 so that the cluster 61 can be regarded as a single node from outside of the cluster 61 in response to a route control packet directed to the outside of the cluster 61.
  • communication can be performed from outside the cluster by regarding the transfer devices 61a to 61d in the cluster as a single node. For this reason, communication to the transfer apparatuses 61a to 61d can be simplified. That is, by showing them as one node collectively, it is possible to suppress an increase in route information outside the cluster.
  • the computer communicates the path control to the centralized control device 73 that externally performs centralized control on the cluster 61 by the group of transfer devices 61a to 61d connected via the path via the same path as the D-plane (main signal). It is assumed that this is the transfer device of the cluster 61 to be performed.
  • This computer is described in the claims and includes a CPU in the transfer device or both a CPU and a semiconductor chip such as an ASIC.
  • This program is a means for separating the above-mentioned computer into an internal packet of the cluster 61 and an external packet of the cluster 61, which transmit the same path as the D-plane (main signal) or the same path as the main signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)

Abstract

【課題】集中制御装置と転送装置群との接続における単一障害点を回避できると共にトラフィックを複数経路に分散でき、スイッチクラスタ内の障害時に迂回経路を選択する。 【解決手段】転送装置６１ａ～６１ｄは、転送装置群によるスイッチクラスタに外部から集中制御を行う集中制御装置７３に対して、Ｄ－ｐｌａｎｅ（主信号）と同様の経路と同じ経路を介して経路制御の通信を行う。前記同様の経路を伝送する、クラスタ６１の内部用パケットと、当該クラスタの外部用パケットとを分離する分離部としてのパケットフローコントローラ８７と、クラスタの内部の複数経路を自在に辿る経路を求める経路制御を行う内部ルートエンジン８５とを備える。パケットフローコントローラ８７は、クラスタの内部向けの経路制御パケットを分離し、前記エンジン８５は、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行う。

Description

転送装置、転送システム、転送方法及びプログラム
　本発明は、通信ネットワークを構成する転送装置群（スイッチクラスタ）の通信経路の拡張制御、並びに、通信経路における障害発生時の自動経路切替制御を行う転送装置、転送システム、転送方法及びプログラムに関する。
　近年、ＯＴＴ（Over The Top）の発展に伴い、汎用的な転送機能に特化したデータセンタ向けの汎用スイッチ市場が盛んになっている。通信キャリアとしても従来から用いられてきた転送装置として、キャリア向け専用開発装置を分離して汎用装置群とする検討が進められている（特許文献１）。
　例えば、図１０に従来の転送装置の構成を示す。この転送装置１０は、転送装置１０の制御を行うマネージメント機能１０ａと、他の転送装置と接続する経路を制御するルーティング機能１０ｂと、パケットを転送するパケット転送機能１０ｃの３つの機能を１パッケージに収容して構成されている。
　転送装置１０の内部には、図１１に示すように、ＮＯＳ（Network Operating System）１２で制御されるファブリックカード１３ａ，１３ｂと、ラインカード１４ａ，１４ｂ，１４ｃとが組み込まれている。ファブリックカード１３ａ，１３ｂと、ラインカード１４ａ，１４ｂ，１４ｃという２種類の装置コンポーネント間はＣｌｏｓ型トポロジ１５で接続されている。
　また、図１２に示す従来の転送システムは、外部のサーバ１１に切り離して収容したマネージメント機能１０ａと、このマネージメント機能１０ａにより制御される転送装置１１ａ，１１ｂ，１１ｃ，１１ｄ，１１ｅ群とで構成される。この際、各転送装置１１ａ～１１ｅはパケット転送機能１０ｃを備える。更に、各転送装置１１ａ～１１ｅ及びサーバ１１の何れか一方でルーティング機能１０ｂを備える。
　図１２に示す伝送システムの各転送装置１１ａ～１１ｅには、図１３に示す構成要素が次のように収容されている。転送装置１１ａはスパインＳＷ（Switch）１７ａであり、転送装置１１ｂはスパインＳＷ１７ｂ、転送装置１１ｃはリーフＳＷ１８ａ、転送装置１１ｄはリーフＳＷ１８ｂ、転送装置１１ｅはリーフＳＷ１８ｅである。
　図１３に示す転送システムは、サーバ１６に搭載されたＣＴＬ（Controller）１６ａで制御されるスパインＳＷ１７ａ，１７ｂと、リーフＳＷ１８ａ，１８ｂ，１８ｃという２種類の装置コンポーネント間が、Ｃｌｏｓ型トポロジ１９で接続されて構成されている。Ｃｌｏｓ型トポロジ１９で接続されたスパインＳＷ１７ａ，１７ｂ及びリーフＳＷ１８ａ～１８ｃは、スイッチクラスタ２０を構成している。この構成により大容量転送を実現している（非特許文献１）。
　図１３に示すような、従来の転送装置と同様の転送容量を担保するために将来期待される通信ネットワーク構成においては、複数の転送装置を組み合わせてトラフィックを処理する構成が検討されている。
　また、複数の汎用の転送装置群を制御する既存のアーキテクチャとして、自律分散型（非特許文献２）と、集中制御型（非特許文献３，４）がある。図１４に自律分散型転送システム２１を示し、図１５に集中制御型転送システム３１を示す。
　図１４に示す自律分散型転送システム２１は、コントロール機能としてのＮＯＳＣＴＬ２２ａが搭載された外部のサーバ２２と、ＮＯＳ ＣＴＬ２２ａによりマネージメントＳＷ２３を介して制御される転送装置２４ａ～２４ｅ群とで構成されている。各転送装置２４ａ～２４ｅは、ルーティング機能とパケット転送機能を実現するＮＯＳを備える。このように、各転送装置２４ａ～２４ｅに自律的な経路解決機能としてのＮＯＳを配備することで、ＮＯＳＣＴＬ２２ａとの接続が切断された場合においても，各転送装置２４ａ～２４ｅ上のＮＯＳ自身で自律的に経路構築できるため、従来同様の通信ネットワークの信頼性が維持できる利点がある。
　しかし、物理的な転送装置２４ａ～２４ｅの台数の増加に伴い経路情報も増加し、通信ネットワーク全体に影響が生じる。既存のネットワークで用いられている専用の転送装置２４ａ～２４ｅは、図１４に示すシステム２１で置き換えを想定すると，装置台数の増加に伴う経路情報の増加により、ネットワーク全体に影響が生じるため、周囲に影響を与えずに置き換えることは困難である。そこで、下記集中制御型の転送システムが実現されている。
　図１５に示す集中制御型転送システム３１は、Ｒ／Ｆ（Routing/Forwarding）制御を行うコントローラであるＲ／ＦＣＴＬ３２ａが搭載された外部のサーバ３２と、転送装置３４ａ～３４ｅ群とを備えて構成されている。Ｒ／Ｆ ＣＴＬ３２ａは、ルーティング機能とフォワーディング制御機能とを有する。転送装置３４ａ～３４ｅ群は、パケット転送機能を備え、Ｒ／Ｆ ＣＴＬ３２ａによりマネージメントＳＷ３３を介して制御される。
　このような集中制御型の転送システム３１は、複数の転送装置３４ａ～３４ｅに対して、外部に切り離したＲ／ＦＣＴＬ３２ａで一元的に経路構築を行うため、経路情報交換時に物理的な転送装置の台数を意識せずに、転送装置を論理的なノードとして制御できる利点がある。
　非特許文献５における転送システムの実装例を図１６に示す。ここで、上述の図１５に示した集中制御型転送システム３１では、Ｒ／ＦＣＴＬ３２ａから各転送装置３４ａ～３４ｅに破線で示す１本の制御線しか接続できず冗長性に欠けていた。しかし、図１６の集中制御型の転送システム４１では、データ転送用の線４３も用いて、上記図１５の１本の制御線のみに依存しない構成が実現されている。
　図１６では、ＣＴＬ４５から、Ｄ－ｐｌａｎｅ（主信号）と同様の経路も用いて集中制御するために、追加機能４７をマネージメントポート４８を介して各転送装置４２ａ，４２ｂに接続している。また、各外部サーバ４３ａ，４３ｂと各転送装置４２ａ，４２ｂとは、マネージメントポート４８で接続されている。更に、各転送装置４２ａ，４２ｂにＤ－ｐｌａｎｅ用ポート４６経由で外部装置４４ａ，４４ｂが接続されている。
特開２０１７－３８２０９号公報
C.Clos,"A Study of Non-Blocking Switching Networks."The Bell System technical Journal, 32(2):406-424, March 1953. "Multi-Service Fabric (MSF)"，［online］，2018 GitHub,Inc，［平成３０年７月１８日検索］，インターネット〈URL: https://github.com/multi-service-fabric/msf〉 ONF,"Enabling next-generation solutions in service provider networks"，［online］，2018，［平成３０年７月１８日検索］，インターネット〈URL: https://onosproject.org/〉 ONF,"CORD Installing a physical PoD"，［online］，2018,［平成３０年７月１８日検索］，インターネット〈URL:https://guide.opencord.org/cord-5.0/install_physical.html〉 平澤崇佳　他２名,"複数ノードの論理ノード化に関する高信頼化の一検討",信学技報,NS2017-172,pp.27-32.
　上述した非特許文献３～５では、通信ネットワークを構成する複数の転送装置を、１台の集中制御装置（ＣＴＬ）で集中制御して管理する集中制御技術（Ｏｐｅｎｆｌｏｗ）が用いられている。しかし、集中制御技術に対応した転送装置は、集中制御装置と接続するためのマネージメントポートを１つしか持たないものが多い。そこで、集中制御装置と複数の転送装置との接続には、マネージメントスイッチ（図１５のマネージメントＳＷ２３，３３参照）で集約して接続するため、この集約接続部分が単一障害点となってしまう問題があった。更に、集中制御装置と転送装置とのトラフィックが特定経路に集中してしまう問題があった。
　この他、図１６に一例を示したように、外部サーバ等に搭載した集中制御装置（ＣＴＬ４５）から各転送装置を制御するための通信をＤ－ｐｌａｎｅ（主信号）と同様の経路で行う技術も提案されている。しかし、スイッチクラスタ内のデータ転送は転送先ポートを静的（固定的）に指定して行っている。このため、スイッチクラスタ内の障害（例えば、図１６に×印で示す経路障害）が発生すると、迂回経路の選択機能が無いため、集中制御装置との通信が途切れてしまう。
　つまり、図１７に示すように、図示せぬ外部サーバ内に配備されて集中制御を行うＣＴＬ５１が、矢印Ｙ２～Ｙ５で示すように、各転送装置５２ａ～５２ｄとＤ－ｐｌａｎｅ（主信号）と同様の経路により通信を行っている場合に次のように通信が行えなくなる。即ち、図１７に×印で示すように、転送装置５２ａと転送装置５２ｄ間の経路に断線等の障害が発生したとすると、迂回経路の選択機能が無いので、ＣＴＬ５１は、転送装置５２ｂ及び５２ｄと矢印Ｙ２，Ｙ３で示す通信が行えなくなる問題が生じる。
　本発明は、このような事情に鑑みてなされたものであり、集中制御装置と転送装置群との接続における単一障害点を回避できると共にトラフィックを複数経路に分散でき、スイッチクラスタ内の障害時に迂回経路を選択できる転送装置、転送システム、転送方法及びプログラムを提供することを課題とする。
　上記課題を解決するための手段として、請求項１に係る発明は、通信の経路で接続された転送装置群によるスイッチクラスタに外部から集中制御を行う集中制御装置と、主信号経路を介して経路制御の通信を行う当該スイッチクラスタの転送装置であって、前記主信号経路を伝送する、前記スイッチクラスタの内部用パケットと、当該スイッチクラスタの外部の経路制御を行う外部用パケットとを分離する分離部と、前記スイッチクラスタの内部の経路制御を行う内部経路制御部とを備え、前記分離部は前記スイッチクラスタの内部向けの経路制御パケットを分離し、前記内部経路制御部は、当該分離された内部向けの経路制御パケットで前記スイッチクラスタ内の経路制御を行うことを特徴とする転送装置である。
　請求項７に係る発明は、通信の経路で接続された転送装置群によるスイッチクラスタに外部から集中制御を行う集中制御装置と、主信号経路を介して経路制御の通信を行う当該スイッチクラスタの転送装置による転送方法であって、前記転送装置は、前記主信号経路を伝送する、前記スイッチクラスタの内部用パケットと、当該スイッチクラスタの外部用パケットとを分離するステップと、前記スイッチクラスタ内部の複数経路を自在に辿る経路を求める経路制御を行うステップと、前記分離において前記スイッチクラスタの内部向けの経路制御パケットを分離し、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行うステップとを実行することを特徴とする転送方法である。
　請求項８に係る発明は、通信の経路で接続された転送装置群によるスイッチクラスタに外部から集中制御を行う集中制御装置と、主信号経路を介して経路制御の通信を行う当該スイッチクラスタの転送装置としてのコンピュータを、前記主信号経路を伝送する、前記スイッチクラスタの内部用パケットと、当該スイッチクラスタの外部用パケットとを分離する手段、前記スイッチクラスタ内部の複数経路を自在に辿る経路を求める経路制御を行う手段、前記分離において前記スイッチクラスタの内部向けの経路制御パケットを分離し、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行う手段、前記スイッチクラスタ内部の経路情報及び前記スイッチクラスタ外部の経路情報を、パケット転送機能が用いる経路情報として通知する手段として機能させるためのプログラムである。
　請求項１の構成と請求項７の方法と請求項８のプログラムによれば、スイッチクラスタ（クラスタともいう）の内部用パケットと、クラスタの外部用パケットとを分離できるので、クラスタ内部では、クラスタ外部の経路と独立に動的な経路制御が可能となる。このため、クラスタと、クラスタ外部の集中制御装置との単一障害点が回避可能となると共に、クラスタ内の転送装置の故障や経路の故障においても、この故障経路を迂回する経路（迂回経路）を生成できるので、故障前の通信を継続できる。
　請求項２に係る発明は、前記内部経路制御部が、前記スイッチクラスタの内部に転送装置群の接続経路が複数ある場合、前記主信号経路に係る通信を複数経路に分散することも可能な経路制御を行うことを特徴とする請求項１に記載の転送装置である。
　この構成によれば、クラスタ内部に経路が複数ある場合は、集中制御装置との通信を複数経路に分散できる。これによって、クラスタと、クラスタ外部の集中制御装置との単一障害点が回避可能となる。
　請求項３に係る発明は、前記内部経路制御部が、前記スイッチクラスタの内部経路を、当該スイッチクラスタの外部経路と独立して経路制御することを特徴とする請求項１又は２に記載の転送装置である。
　この構成によれば、クラスタの内部経路は、外部経路と独立して制御されるので、クラスタ内部の故障を検知した際に迂回経路を生成し、故障前の通信を継続できる。
　請求項４に係る発明は、前記分離部で分離された前記スイッチクラスタの外部向けの経路制御パケットを、前記集中制御装置へ転送する外部ルートエージェントを更に備えることを特徴とする請求項１～３の何れか１項に記載の転送装置である。
　この構成によれば、クラスタの外部向けの経路制御パケットを、内部向けの経路制御パケットと独立して集中制御装置へ転送できるので、集中制御装置がクラスタ外部の経路制御を容易に行うことができる。
　請求項５に係る発明は、前記内部経路制御部が、前記集中制御装置と前記スイッチクラスタの内部の転送装置との通信を、当該スイッチクラスタの内部経路を介して行うように制御することを特徴とする請求項１～４の何れか１項に記載の転送装置である。
　この構成によれば、集中制御装置がクラスタ内部の転送装置と通信する際に、内部経路制御部が生成した迂回経路等を介して行うことができる。
　請求項６に係る発明は、通信の経路で接続された転送装置群によるスイッチクラスタと、当該スイッチクラスタの外部から集中制御を行う集中制御装置とを有し、当該集中制御装置で主信号経路を介して当該スイッチクラスタの経路制御の通信を行う転送システムであって、前記集中制御装置は、前記スイッチクラスタの外部向けの経路制御パケットに応じて、当該スイッチクラスタの外部からこのスイッチクラスタが単一ノードと見做せるように、当該外部との経路制御を行うことを特徴とする転送システムである。
　この構成によれば、クラスタの外部から、クラスタ内の転送装置群を単一ノードと見做して通信を行うことができる。このため、転送装置群への通信を単純化できる。
　本発明によれば、集中制御装置と転送装置群との接続における単一障害点を回避できると共にトラフィックを複数経路に分散でき、スイッチクラスタ内の障害時に迂回経路を選択できる転送装置、転送システム、転送方法及びプログラムを提供することができる。
本発明の実施形態に係る転送装置を用いた転送システムの構成を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ内部経路の構成を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ外部経路及び集中制御装置とスイッチクラスタとの集中制御接続の構成を示すブロック図である。 本実施形態の転送装置の構成を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ内部の経路故障時の動作を説明するための基本構成を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ内部の経路故障を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ内部の経路故障後の迂回経路を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ内部の転送装置の故障を示すブロック図である。 本実施形態の転送システムのスイッチクラスタ内部の転送装置故障後の迂回経路を示すブロック図である。 従来の転送装置の構成を示す図である。 従来の転送システムにおいて、図１０の転送装置に収容される構成要素であるファブリックカードとラインカード間がＣｌｏｓ型トポロジで接続された構成を示すブロック図である。 転送装置群によるスイッチクラスタと、当該スイッチクラスタ外部のサーバとの分離構成を示す図である。 従来の転送システムにおいて、図１２の転送装置に収容される構成要素であるスパインＳＷとリーフＳＷ間がＣｌｏｓ型トポロジで接続された構成を示すブロック図である。 自律分散型転送システムの構成を示すブロック図である。 集中制御型転送システムの構成を示すブロック図である。 従来の集中制御型転送システムにおいて１本の制御線のみに依存しない構成を示すブロック図である。 従来の転送システムの転送装置間に経路故障が生じた様態を示すブロック図である。
　以下、本発明の実施形態を、図面を参照して説明する。但し、本明細書の全図において機能の対応する構成部分には同一符号を付し、その説明を適宜省略する。
＜実施形態の構成＞
　図１は、本発明の実施形態に係る転送装置を用いた転送システムの構成を示すブロック図である。
　図１に示す転送システム６０は、複数の転送装置６１ａ，６１ｂ，６１ｃ，６１ｄと、この転送装置６１ａ～６１ｄ群によるスイッチクラスタ（クラスタ）６１に接続された複数のサーバ６２ａ，６２ｂとを備えて構成されている。クラスタ６１の外部には、外部ルータ６３が接続されている。これら構成要素は、光ファイバや導電線等の経路６５ａ～６５ｇで接続されている。
　本実施形態の特徴は、各転送装置６１ａ～６１ｄに、クラスタ６１の内部（クラスタ内部という）からのＤ－ｐｌａｎｅ（主信号）と同様の経路による経路制御パケットと、クラスタ６１の外部（クラスタ外部という）からのＤ－ｐｌａｎｅ（主信号）と同様の経路による経路制御パケットとを分離する機能（図４のパケットフローコントローラ８７）を備える。この分離機能で、クラスタ内部の経路制御パケットと、クラスタ外部の経路制御パケットとを分離し、クラスタ内部の経路制御パケットに応じてクラスタ内部向けの経路制御エンジン（図４の内部ルートエンジン８５）が経路制御を行う。また、外部ルートエージェント８４（図４）がクラスタ外部の経路制御パケットをサーバ６２ａ，６２ｂに搭載される集中制御装置（図４の集中制御装置７３）に転送するようにした。
　これによって、クラスタ内では、クラスタ外部の経路と独立に動的な経路制御が可能となるため、クラスタ６１とこの外部の集中制御装置７３（図４）との単一障害点が回避可能となると共に、クラスタ内の障害においても迂回経路を生成して障害を回避可能とした。更に、クラスタ内部に経路が複数ある場合は、集中制御装置７３との通信を複数経路に分散可能とした。
　図２に示すように、各転送装置６１ａ～６１ｄに、上記分離されたクラスタ内の経路制御パケットから自律的な経路切替制御処理を行う自律分散制御機能８５（図４の内部ルートエンジン８５に対応）を備える。つまり、クラスタ外部の経路とは独立してクラスタ内部経路の制御が行われる。
　自律分散制御機能８５は、Ｄ－ｐｌａｎｅ（主信号）と同様の経路上で、転送装置６１ａ～６１ｄの故障（装置故障という）や、クラスタ内の経路６５ｃ～６５ｆの故障（経路故障という）を契機に、自動で集中制御装置７３との通信（集中制御用通信）の経路６５ａ～６５ｆを、自律的に故障を回避できる経路に切り替えて通信を継続する機能を有する。また、自律分散制御機能８５は、転送装置６１ａ～６１ｄ、クラスタ内の経路の増減設においても、自律的に経路を切り替えて通信を継続する機能を有する。
　但し、集中制御用通信をＤ－ｐｌａｎｅ（主信号）と同様の経路上で流通させるために、集中制御用通信に用いるＩＰ（Internet Protocol address）アドレスの経路交換を、各転送装置６１ａ～６１ｄ上のクラスタ内部向けの自律分散制御機能８５がＤ－ｐｌａｎｅ（主信号）と同様の経路上で行っている。
　また、自律分散制御機能８５は、クラスタ内の経路６５ｃ～６５ｆの状態を監視し、経路障害時に経路を選択するルーティング機能を有する。ルーティング機能は、クラスタ内の経路６５ｃ～６５ｆの故障解決に用いるルーティングプロトコル（プロトコル）を有する。また、ルーティング機能は、前述した自律分散型転送システム２１（図１４）による自律分散型の転送と同様に、各転送装置６１ａ～６１ｄと集中制御装置７３と間の転送による疎通性を自律的に解決する処理を行う。つまり、クラスタ内部に経路が複数ある場合は、各転送装置６１ａ～６１ｄと集中制御装置７３との通信を複数経路に分散する処理も可能である。
　クラスタ内部において、上記プロトコルは、ＯＳＰＦ（Open Shortest Path First）やＩＳ－ＩＳ（Intermediate System to Intermediate System）等の動的に経路状態を取得し、自律的に経路計算を行うプロトコルであればどれでもよい。一方、クラスタの外部からくる経路情報においても同プロトコルを用いる場合があるが、その経路情報は、集中制御装置７３で処理される。
　集中制御装置７３から各転送装置６１ａ～６１ｄへのパケットの転送は、図３に示すように、転送装置６１ａ～６１ｄに外部ルートエージェント８４を備え、この外部ルートエージェント８４が集中制御装置７３からの転送を仲介する。この仲介は、集中制御装置７３において、特定の転送装置６１ａからのパケットの出力を命令する場合は、一度、集中制御装置７３から外部ルートエージェント８４にそのパケット出力指示を出し、この外部ルートエージェント８４から出力されたパケットが転送装置６１ａから他の転送装置６１ｂへ出力される様にすることをいう。
　また、転送装置６１ａ～６１ｄ上の外部ルートエージェント８４は、集中制御装置７３より集中制御により経路指示を受けるが，その経路としてはマネージメントポート（図４のマネージメントポート８１）経由か、Ｄ－ｐｌａｎｅ通信用ポート経由の何れか一方又は両方でもよい。クラスタ６１の外部からの通信は、外部からの経路制御パケットを受信した集中制御装置７３が集中制御をクラスタ６１に行う。この集中制御の指示を、外部ルートエージェント８４が受ける。
　また、上述したクラスタ６１の外部からの通信は、図３に示すように、転送システム６０の外部に存在する外部ルータ６３の外部ルーティング機能７４が外部の経路制御パケットを、直接接続するクラスタ６１内の転送装置６１ａ～６１ｄとこの装置上の外部ルートエージェント８４を経由して集中制御装置７３に転送する。
　この構成により、クラスタ内の装置故障や経路故障時に、各転送装置６１ａ～６１ｄが自律的にクラスタ内の経路接続を解決する処理を行い、クラスタ６１とマネージメントポート（図４のマネージメントポート８１）及びＤ－ｐｌａｎｅ通信用ポートの何れか一方又は両方を介した集中制御装置７３間の通信を維持可能としている。また、ルーティング機能がルーティングプロトコルに応じて、クラスタ内の経路６５ｃ～６５ｆを複数経路同時に利用可能とし、これにより効率的な帯域利用を可能としている。
　また、クラスタ内部の経路故障解決のための通信（内部通信）と、クラスタ外部からの通信（外部通信）とは、各転送装置６１ａ～６１ｄに配備される上述した分離機能により区別される。しかし、区別するための条件は、ＭＡＣ（Media Access Control）アドレス、ＩＰアドレス、ＶＬＡＮ（Virtual Local Area Network）番号等の固有情報を用いて行われている。なお、各固有情報を組み合わせて用いてもよい。
　上記の内部通信と外部通信との分離機構により、内部で自律分散的に解決した経路の影響をクラスタ外部の転送装置へ与えることが無いため、クラスタ外部からはクラスタ６１の転送装置６１ａ～６１ｄ群を論理的な単一ノードと見做すことが可能となる。また、クラスタ内部では複数の転送装置６１ａ～６１ｄの自律分散的な連携を実現可能としている。
　次に、図４は同一構成の転送装置６１ａ～６１ｄの内、転送装置６１ａの構成を代表して示すブロック図である。
　図４に示す転送装置６１ａは、マネージメントポート８１と、ＡＳＩＣによる高速・大容量のハードウェア転送を実現する転送機能部８３と、ＣＰＵによるソフトウェア処理が行われる計算処理部で構成されている。計算処理部にはハードウエアＯＳ８２があり、このＯＳ８２上で、外部ルートエージェント８４と、内部ルートエンジン８５と、パケット制御エージェント８６と、パケットフローコントローラ８７と、転送機能ドライバ（ドライバともいう）８８とが動作している。
　転送機能部８３は、ＡＳＩＣ（Application Specific Integrated Circuit）等の半導体集積回路で形成されており、これにより高速で大容量の転送が可能となっている。また、転送機能部８３は、転送先のポートを備え、当該ポートを使用して書き込まれたフォワーディングルールに従ってパケットを転送可能となっている。
　なお、内部ルートエンジン８５は、上述した自律分散制御機能であり、請求項記載の内部経路制御部を構成する。パケットフローコントローラ８７は、請求項記載の分離部を構成する。
　マネージメントポート８１は、集中制御指示のパケットや、集中制御装置７３で処理されるべきクラスタ外部からの経路情報パケットを、集中制御装置７３があるサーバへ接続することができる。なお、集中制御指示のパケットや、集中制御装置７３で処理されるべきクラスタ外部からの経路情報パケットは、転送機能部８３経由で集中制御装置７３があるサーバへ接続することもできる。
　外部ルートエージェント８４は、内部ルートエンジン８５が後述のように生成した内部経路の情報を用いてマネージメントポート８１や転送機能部８３を介して集中制御装置７３に接続し、集中制御装置７３に経路制御を問い合わせる処理を行う。また、外部ルートエージェント８４は、集中制御装置７３が処理したクラスタ外部からの経路情報を外部ルートエージェント８４内の記憶部（図示せず）に記憶する。パケットフローコントローラ８７は、その外部ルートエージェント８４に記憶された経路情報をドライバ８８を介して転送機能部８３にコピーする。更に、外部ルートエージェント８４は、内部ルートエンジン８５及び転送機能部８３を介して、他のサーバ６２ｃの集中制御装置７３に接続することも可能である。即ち、外部ルートエージェント８４は、クラスタ外部からの経路情報を受け取り、集中制御装置７３へ転送することで集中制御されるためのエージェントであり、集中制御装置７３間との通信により、クラスタ内部のトポロジ解決用通信パケットと、外部からの経路情報パケットを集中制御装置７３まで転送する。
　内部ルートエンジン８５は、外部ルートエージェント８４と集中制御装置７３の間の通信経路を解決するための、内部経路情報を処理する。この内部ルートエンジン８５は、ルーティングプロトコルに応じて内部経路の解決を次のように行う。即ち、パケット制御エージェント８６に、転送機能部８３の各ポートを模擬した仮想ＩＦ（Interface）を用意する。次に、パケットフローコントローラ８７がパケット制御エージェント８６に用意された各ポートの中から転送先に対応するポートへブリッジして、転送機能部８３の内部経路に係るパケットを内部ルートエンジン８５へ転送する。この転送されたパケットを内部ルートエンジン８５が処理する。
　また、内部ルートエンジン８５は、クラスタ内の各転送装置６１ａ～６１ｄに配備された内部ルートエンジン８５同士で経路交換を行い、転送装置６１ａ～６１ｄの故障や経路故障時に自動で迂回経路を生成する等の経路再計算を行う。この経路再計算により内部経路の自動切り替えが可能となる。
　パケット制御エージェント８６は、転送機能部８３からパケットフローコントローラ８７により引き上げられたパケットを内部ルートエンジン８５や外部ルートエージェント８４に受け渡す。
　転送機能ドライバ８８は、転送機能部８３の制御を可能とするものであり、経路情報の転送機能部８３への書き込みと、パケット制御エージェント８６に入ってきたパケットを、パケットフローコントローラ８７経由で転送機能部８３のポートから転送させる機能と、転送機能部８３のポートに入ってきたパケットの内、自装置宛となるパケットをパケットフローコントローラ８７経由でパケット制御エージェント８６まで転送することを可能とする機能を担っている。
　パケットフローコントローラ８７は、後述のパケット分離と転送機能部の制御とを行う。即ち、パケット分離は、転送機能部８３からパケットを取得し、内部ルートエンジン８５と外部ルートエージェント８４とに分離して出力する制御を行う処理である。転送機能部８３の制御は、内部ルートエンジン８５と外部ルートエージェント８４に保存された経路情報をドライバ８８を介して転送機能部８３にコピーするものである。
　転送機能部８３に経路情報をコピーしない場合、パケットが入力された際に経路情報が無いためパケットの転送が不可能となる。転送機能部８３は、経路情報があれば自転送機能部８３自体でパケットの転送先を判断できる。
　また、経路故障や装置故障の障害発生時の迅速な切り替えを実現するため、パケットフローコントローラ８７は、転送機能部８３の各ポートの経路ダウンを検知した際に、内部ルートエンジン８５に接続される仮想ＩＦの内の対応するポートをダウンさせる。この機能により、ルーティングプロトコルのタイマ待ちによる経路再計算を行う場合と比較して高速な切り替えが可能となっている。
＜実施形態の動作＞
　次に、本実施形態に係る転送システム６０の経路故障時の動作を、図５～図７を参照して説明する。
　図５は２台のサーバ６２ａ，６２ｂと、４台の転送装置６１ａ～６１ｄで構成されるスイッチクラスタとの構成を示すブロック図である。図５の矢印Ｙ１１～Ｙ１４は、集中制御装置７３ａ，７３ｂと各転送装置６１ａ～６１ｄ間で集中制御を行うための通信を示す。矢印Ｙ１５は、２つある集中制御装置７３ａ，７３ｂ同士で情報を同期するための通信を示す。
　この通信時に、図６に×印で示すように経路６５ｄに断線等の通信を不通とする故障が発生したとする。この場合、転送装置６１ｄ，６１ｂ間では、経路６５ｄを経由していたクラスタ内で処理されるパケットやクラスタ外からのパケットが不通となる。つまり、矢印Ｙ１４で示す転送装置６１ｄと集中制御装置７３ｂ間の通信と、矢印Ｙ１５で示す転送装置６１ａ，６１ｄ，６１ｂを介した集中制御装置７３ａ，７３ｂ間の通信とが不通となる。この際、故障経路６５ｄの両側の転送装置６１ｄ，６１ｂの内部ルートエンジン８５（図４）が、経路６５ｄの故障を検知する。
　この経路故障検知後、クラスタ内の各転送装置６１ａ～６１ｄの内部ルートエンジン８５は、内部ルートエンジン８５同士で経路交換を行い、ルーティングプロトコルに応じて自律的に故障経路６５ｄを経由しない迂回経路を生成する経路再計算を行う。
　この経路再計算により図７に矢印Ｙ１７で示す迂回経路（新経路Ｙ１７）と、矢印Ｙ１８で示す迂回経路（新経路Ｙ１８）とが生成される。新経路Ｙ１７は、転送装置６１ｄが転送装置６１ａを介して集中制御装置７３ａと繋がる経路である。新経路Ｙ１８は、集中制御装置７３ａ，７３ｂ同士が転送装置６１ａ，６１ｃ，６１ｂを介して繋がる経路である。
　また、矢印Ｙ１７で示す経路上の転送装置６１ｄ，６１ａの外部ルートエージェント８４が新経路Ｙ１７を介して集中制御装置７３ａに接続する。この結果、集中制御装置７３はクラスタ内部の経路構成変更を認識した上で、継続してクラスタを集中制御することが可能となる。
　更に、矢印Ｙ１８で示す経路上の転送装置６１ａ，６１ｃ，６１ｂの外部ルートエージェント８４が新経路Ｙ１８を介して集中制御装置７３ａ，７３ｂに接続し新経路Ｙ１８の経路情報を転送する。これにより集中制御装置７３ａ，７３ｂに新経路Ｙ１８の経路情報が記憶され、集中制御装置７３ａ，７３ｂ間で新経路Ｙ１８を経由した通信が可能となる。この後、集中制御装置７３ａ，７３ｂａによる外部経路の処理が行われ、外部ルートエージェント８４（図４）経由で新たな経路情報を転送機能部８３（図４）が認識する。
　新経路Ｙ１７やＹ１８経由で外部ルートエージェント８４や内部ルートエンジン８５に蓄積された経路情報を、各転送装置６１ａ～６１ｄ上のパケットフローコントローラ８７が各転送装置６１ａ～６１ｄの転送機能部８３に更新する。
　次に、図５に示した通信時に、図８に×印で示すように転送装置６１ｄに部品故障等の通信不能となる故障が発生したとする。この場合、故障した転送装置６１ｄに繋がる経路６５ｅ、６５ｄが故障状態となるため、矢印Ｙ１４で示す転送装置６１ｄと転送装置６１ｂを介した集中制御装置７３ｂ間の通信が不通となり、矢印Ｙ１５で示す転送装置６１ｄを介した集中制御装置７３ａ，７３ｂ間の通信が不通となる。この際、故障した転送装置６１ｄに繋がる転送装置６１ａ，６１ｂの内部ルートエンジン８５が、経路６５ｅ，６５ｄの故障を検知する。
　この経路故障検知後、正常な経路６５ｃ，６５ｆで繋がる転送装置６１ａ～６１ｃは、内部ルートエンジン８５同士で経路交換を行い、次の経路再計算を行う。即ち、自律的なプロトコルに応じて故障経路６５ｅ，６５ｄを経由しない迂回経路を生成する経路再計算を行う。この経路再計算により図９に矢印Ｙ１９で示す迂回経路（新経路Ｙ１９）が生成されたとする。新経路Ｙ１９は、集中制御装置７３ａ，７３ｂ同士が、正常な経路６５ｃ，６５ｆで繋がる転送装置６１ａ，６１ｃ，６１ｂを介して繋がる経路である。
　その正常な転送装置６１ａ，６１ｃ，６１ｂの外部ルートエージェント８４経由で新たな経路情報を転送機能部８３が認識する。
　また、集中制御装置７３ａ，７３ｂ間は，各転送装置上の内部ルートエンジン８５が構築した新経路Ｙ１９の経路を用いて接続することが可能となる。その後、集中制御装置７３ａ、７３ｂは故障前と同様に、クラスタ外部からの新たな経路情報の処理が継続可能となる。
　但し、経路故障を各転送装置６１ａ，６１ｃ，６１ｂ上のソフトウェアで認識できていない場合は、内部ルートエンジン８５での経路故障検知による内部経路の再計算はできない。しかし、ルーティングプロトコルの応答も無くなるため、無応答のプロトコルに通常設定されているタイマのタイムアップを契機に、内部ルートエンジン８５が別経路での再計算を行う。これにより経路の疎通が回復する。
　このようなパケット転送不能だが、各転送装置６１ａ，６１ｃ，６１ｂ上のソフトウェアで経路が未故障状態と認識されている場合に、高速な経路切替を実現するために、プロトコルのタイマを最小化することや、ＢＦＤ（Bidirectional Forwarding Detection）等の障害検知技術を併用してもよい。この機能により、経路故障又は、プロトコルの応答が無くなる場合の経路故障及び装置故障が発生した場合においても、集中制御装置７３ａ，７３ｂによる論理ノードとしての転送装置６１ａ～６１ｄの制御を維持するための、従来のプロトコルタイマよりも高速な経路自動切替が実現可能となる。
＜実施形態の効果＞
　本実施形態に係る転送装置６１ａ～６１ｄの効果について説明する。転送装置６１ａ～６１ｄは、転送装置６１ａ～６１ｄ群によるクラスタ６１に外部から集中制御を行う集中制御装置７３と、主信号経路であるＤ－ｐｌａｎｅ（主信号）と同様の経路を介して経路制御の通信を行う。
　（１）転送装置６１ａ～６１ｄは、Ｄ－ｐｌａｎｅ（主信号）と同様の経路を伝送する、クラスタ６１の内部用パケットと、当該クラスタ６１の外部用パケットとを分離する分離部としてのパケットフローコントローラ８７と、クラスタ６１の内部の複数経路を自在に辿る経路を求める経路制御を行う内部ルートエンジン８５とを備える。パケットフローコントローラ８７は、クラスタ６１の内部向けの経路制御パケットを分離し、内部ルートエンジン８５は、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行う構成とした。
　但し、内部用パケットは、クラスタ６１のみで転送され、クラスタ６１の集中制御を維持するために通信されるパケットである。具体的には、Ｄ－ｐｌａｎｅ（主信号）と同様の経路を介した集中制御通信用パケットと、内部ルートエンジン８５がクラスタ６１内部の経路情報を交換するためにＤ－ｐｌａｎｅ（主信号）と同様の経路を介する通信パケットの２つである。また、外部用パケットは、クラスタ６１外より送られてくるクラスタ６１外部の経路情報等のパケット｛ルーティングプロトコルのパケットや、ＡＲＰ（Address Resolution Protocolペケット）等｝である。
　この構成によれば、クラスタ６１の内部用パケットと、クラスタ６１の外部用パケットとを分離できるので、クラスタ内部では、クラスタ外部の経路と独立に動的な経路制御が可能となる。このため、クラスタ６１と、クラスタ外部の集中制御装置７３との単一障害点が回避可能となると共に、クラスタ内部の転送装置の故障や経路の故障においても、この故障経路を迂回する経路（迂回経路）を生成できるので、故障前の通信を継続できる。
　（２）内部ルートエンジン８５は、クラスタ６１の内部に各転送装置６１ａ～６１ｄと集中制御装置７３との間に接続経路が複数ある場合、それらの集中制御用通信を複数経路に分散することを可能とする経路制御を行う構成とした。
　この構成によれば、クラスタ内部に経路が複数ある場合は、集中制御装置７３との通信を複数経路に分散できる。これによって、クラスタ６１と、クラスタ外部の集中制御装置７３との単一障害点が回避可能となる。
　（３）内部ルートエンジン８５は、クラスタ６１の内部経路６５ｃ～６５ｆを、当該クラスタ６１の外部経路と独立して経路制御する構成とした。
　この構成によれば、クラスタの内部経路６５ｃ～６５ｆは、外部経路と独立して制御されるので、クラスタ内部の故障を検知した際に迂回経路を生成し、故障前の通信を継続できる。
　（４）転送装置６１ａ～６１ｄは、パケットフローコントローラ８７で分離されたクラスタ６１の外部向けの経路制御パケットを、集中制御装置７３へ転送する外部ルートエージェント８４を更に備える構成とした。
　この構成によれば、クラスタの外部向けの経路制御パケットを、内部向けの経路制御パケットと独立して集中制御装置７３へ転送できるので、集中制御装置７３がクラスタ外部の経路制御を容易に行うことができる。
　（５）内部ルートエンジン８５は、集中制御装置７３とクラスタ６１の内部の転送装置との通信を、当該クラスタ６１の内部経路６５ａ～６５ｆを介して行うように制御する構成とした。
　この構成によれば、集中制御装置７３がクラスタ内部の転送装置と通信する際に、内部ルートエンジン８５が生成した迂回経路等を介して行うことができる。
　また、本実施形態の転送システムは、通信の経路で接続された転送装置群によるクラスタ６１と、当該クラスタ６１の外部から集中制御を行う集中制御装置７３とを有し、集中制御装置７３で主信号経路を介してクラスタ６１の経路制御の通信を行う。集中制御装置７３は、クラスタ６１の外部向けの経路制御パケットに応じて、クラスタ６１の外部から当該クラスタ６１が単一ノードと見做せるように、当該外部との経路制御を行う構成とした。
　この構成によれば、クラスタの外部から、クラスタ内の転送装置６１ａ～６１ｄ群を単一ノードと見做して通信を行うことができる。このため、転送装置６１ａ～６１ｄ群への通信を単純化できる。つまり、纏めて1つのノードとして見せることで、クラスタ外部に対して経路情報が増加するのを抑圧できる。
　また、本実施形態のコンピュータで実行されるプログラムについて説明する。コンピュータは、経路接続された転送装置６１ａ～６１ｄ群によるクラスタ６１に外部から集中制御を行う集中制御装置７３に対して、Ｄ－ｐｌａｎｅ（主信号）と同様の経路を介して経路制御の通信を行う当該クラスタ６１の転送装置であるとする。このコンピュータは請求項に記載されており、転送装置内のＣＰＵ、又はＣＰＵ及びＡＳＩＣ等の半導体チップの両方を備えるものである。
　このプログラムは、上記コンピュータを、Ｄ－ｐｌａｎｅ（主信号）と同様の経路又は主信号と同様の経路を伝送する、クラスタ６１の内部用パケットと、当該クラスタ６１の外部用パケットとを分離する手段、クラスタ６１内部の複数経路を自在に辿る経路を求める経路制御を行う手段、分離においてクラスタ６１の内部向けの経路制御パケットを分離し、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行う手段、クラスタ６１内部の経路情報及びクラスタ６１外部の経路情報を、パケット転送機能（転送機能部８３）が用いる経路情報として通知する手段として機能させる。
　このプログラムによれば、上述した転送装置６１ａ～６１ｄと同様な効果を得ることができる。
　その他、具体的な構成について、本発明の主旨を逸脱しない範囲で適宜変更が可能である。
　６０　転送システム
　６１ａ～６１ｄ　転送装置
　６２ａ，６２ｂ　サーバ
　６３　外部ルータ
　６５ａ～６５ｇ　経路
　７４　外部ルーティング機能
　８１　マネージメントポート
　８２　ハードウエアＯＳ
　８３　転送機能部
　８４　外部ルートエージェント
　８５　内部ルートエンジン又は自律分散制御機能（内部経路制御部）
　８６　パケット制御エージェント（分離部）
　８７　パケットフローコントローラ（分離部）
　８８　転送機能ドライバ

Claims (8)

  1. 　通信の経路で接続された転送装置群によるスイッチクラスタに外部から集中制御を行う集中制御装置と、主信号経路を介して経路制御の通信を行う当該スイッチクラスタの転送装置であって、
    　前記主信号経路を伝送する、前記スイッチクラスタの内部用パケットと、当該スイッチクラスタの外部の経路制御を行う外部用パケットとを分離する分離部と、
    　前記スイッチクラスタの内部の経路制御を行う内部経路制御部と
    　を備え、
    　前記分離部は前記スイッチクラスタの内部向けの経路制御パケットを分離し、前記内部経路制御部は、当該分離された内部向けの経路制御パケットで前記スイッチクラスタ内の経路制御を行う
    　ことを特徴とする転送装置。
  2. 　前記内部経路制御部は、
    　前記スイッチクラスタの内部に転送装置群の接続経路が複数ある場合、前記主信号経路に係る通信を複数経路に分散することも可能な経路制御を行う
    　ことを特徴とする請求項１に記載の転送装置。
  3. 　前記内部経路制御部は、
    　前記スイッチクラスタの内部経路を、当該スイッチクラスタの外部経路と独立して経路制御する
    　ことを特徴とする請求項１又は２に記載の転送装置。
  4. 　前記分離部で分離された前記スイッチクラスタの外部向けの経路制御パケットを、前記集中制御装置へ転送する外部ルートエージェントを更に備える
    　ことを特徴とする請求項１～３の何れか１項に記載の転送装置。
  5. 　前記内部経路制御部は、
    　前記集中制御装置と前記スイッチクラスタの内部の転送装置との通信を、当該スイッチクラスタの内部経路を介して行うように制御する
    　ことを特徴とする請求項１～４の何れか１項に記載の転送装置。
  6. 　通信の経路で接続された転送装置群によるスイッチクラスタと、当該スイッチクラスタの外部から集中制御を行う集中制御装置とを有し、当該集中制御装置で主信号経路を介して当該スイッチクラスタの経路制御の通信を行う転送システムであって、
    　前記集中制御装置は、
    　前記スイッチクラスタの外部向けの経路制御パケットに応じて、当該スイッチクラスタの外部からこのスイッチクラスタが単一ノードと見做せるように、当該外部との経路制御を行う
    　ことを特徴とする転送システム。
  7. 　通信の経路で接続された転送装置群によるスイッチクラスタに外部から集中制御を行う集中制御装置と、主信号経路を介して経路制御の通信を行う当該スイッチクラスタの転送装置による転送方法であって、
    　前記転送装置は、
    　前記主信号経路を伝送する、前記スイッチクラスタの内部用パケットと、当該スイッチクラスタの外部用パケットとを分離するステップと、
    　前記スイッチクラスタ内部の複数経路を自在に辿る経路を求める経路制御を行うステップと、
    　前記分離において前記スイッチクラスタの内部向けの経路制御パケットを分離し、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行うステップと
    　を実行することを特徴とする転送方法。
  8. 　通信の経路で接続された転送装置群によるスイッチクラスタに外部から集中制御を行う集中制御装置と、主信号経路を介して経路制御の通信を行う当該スイッチクラスタの転送装置としてのコンピュータを、
    　前記主信号経路を伝送する、前記スイッチクラスタの内部用パケットと、当該スイッチクラスタの外部用パケットとを分離する手段、
    　前記スイッチクラスタ内部の複数経路を自在に辿る経路を求める経路制御を行う手段、
    　前記分離において前記スイッチクラスタの内部向けの経路制御パケットを分離し、当該分離された内部向けの経路制御パケットの不通時に当該不通の経路を迂回する経路を生成する経路制御を行う手段、
    　前記スイッチクラスタ内部の経路情報及び前記スイッチクラスタ外部の経路情報を、パケット転送機能が用いる経路情報として通知する手段
    　として機能させるためのプログラム。
PCT/JP2019/028883 2018-08-07 2019-07-23 転送装置、転送システム、転送方法及びプログラム WO2020031687A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/264,890 US11799801B2 (en) 2018-08-07 2019-07-23 Transfer device, transfer system, transfer method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018148897A JP7091923B2 (ja) 2018-08-07 2018-08-07 転送装置、転送方法及びプログラム
JP2018-148897 2018-08-07

Publications (2)

Publication Number Publication Date
WO2020031687A1 true WO2020031687A1 (ja) 2020-02-13
WO2020031687A9 WO2020031687A9 (ja) 2021-02-11

Family

ID=69413489

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028883 WO2020031687A1 (ja) 2018-08-07 2019-07-23 転送装置、転送システム、転送方法及びプログラム

Country Status (3)

Country Link
US (1) US11799801B2 (ja)
JP (1) JP7091923B2 (ja)
WO (1) WO2020031687A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10942788B2 (en) 2018-06-15 2021-03-09 Vmware, Inc. Policy constraint framework for an sddc
US10812337B2 (en) 2018-06-15 2020-10-20 Vmware, Inc. Hierarchical API for a SDDC
US10833973B1 (en) * 2019-02-15 2020-11-10 Juniper Networks, Inc. Enabling selection of a bypass path from available paths in an open shortest path first (OSPF) domain and an intermediate system to intermediate system (ISIS) domain
CN115380514B (zh) 2020-04-01 2024-03-01 威睿有限责任公司 为异构计算元件自动部署网络元件
US11803408B2 (en) 2020-07-29 2023-10-31 Vmware, Inc. Distributed network plugin agents for container networking
US11863352B2 (en) 2020-07-30 2024-01-02 Vmware, Inc. Hierarchical networking for nested container clusters
EP3961989B1 (en) * 2020-08-24 2023-05-03 Deutsche Telekom AG Method for an operation of a broadband access network of a telecommunications network comprising a plurality of central office points of delivery, broadband access network or telecommunications network, central office point of delivery cluster, system, program and computer-readable medium
US20230231741A1 (en) 2022-01-14 2023-07-20 Vmware, Inc. Per-namespace ip address management method for container networks
US11848910B1 (en) 2022-11-11 2023-12-19 Vmware, Inc. Assigning stateful pods fixed IP addresses depending on unique pod identity
US11831511B1 (en) 2023-01-17 2023-11-28 Vmware, Inc. Enforcing network policies in heterogeneous systems
US12101244B1 (en) 2023-06-12 2024-09-24 VMware LLC Layer 7 network security for container workloads

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014160922A (ja) * 2013-02-19 2014-09-04 Nippon Telegr & Teleph Corp <Ntt> 通信システム、及び経路制御方法
JP2015080105A (ja) * 2013-10-17 2015-04-23 日本電気株式会社 通信中継装置、通信中継システム、中継定義情報の更新方法及び更新プログラム
JP2017228935A (ja) * 2016-06-22 2017-12-28 日本電信電話株式会社 パケット転送制御装置、パケット転送制御方法、およびパケット転送制御プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544163A (en) * 1994-03-08 1996-08-06 Excel, Inc. Expandable telecommunications system
US6473608B1 (en) * 1999-01-12 2002-10-29 Powerdsine Ltd. Structure cabling system
US8144574B1 (en) * 2007-10-31 2012-03-27 World Wide Packets, Inc. Distributed control packet processing
US7940753B2 (en) * 2007-11-29 2011-05-10 Alcatel Lucent Enhancing routing optimality in IP networks requiring path establishment
US8775674B2 (en) * 2009-02-27 2014-07-08 Telecom Recovery Systems and methods for seamless communications recovery and backup using networked communication devices
EP2523403B1 (en) * 2010-01-05 2014-08-20 Nec Corporation Network system and network redundancy method
US9525647B2 (en) * 2010-07-06 2016-12-20 Nicira, Inc. Network control apparatus and method for creating and modifying logical switching elements
US9124526B2 (en) * 2010-10-15 2015-09-01 Nec Corporation Switch system, and data forwarding method
US9178833B2 (en) * 2011-10-25 2015-11-03 Nicira, Inc. Chassis controller
US9426060B2 (en) * 2013-08-07 2016-08-23 International Business Machines Corporation Software defined network (SDN) switch clusters having layer-3 distributed router functionality
US9614726B2 (en) * 2014-01-21 2017-04-04 Telefonaktiebolaget L M Ericsson (Publ) Method and system for deploying maximally redundant trees in a data network
US20150319081A1 (en) * 2014-03-14 2015-11-05 Avni Networks Inc. Method and apparatus for optimized network and service processing
US10356011B2 (en) * 2014-05-12 2019-07-16 Futurewei Technologies, Inc. Partial software defined network switch replacement in IP networks
US9800522B2 (en) * 2014-10-13 2017-10-24 Ciena Corporation Make-before-break systems and methods decoupling a control plane from a data plane
WO2016105330A1 (en) * 2014-12-22 2016-06-30 Hewlett Packard Enterprise Development Lp Response to an inoperative network device managed by a controller
US9699116B2 (en) * 2015-01-26 2017-07-04 Telefonaktiebolaget L M Ericsson (Publ) SDN based interdomain and intradomain traffic engineering
US9756121B2 (en) * 2015-06-24 2017-09-05 International Business Machines Corporation Optimizing routing and load balancing in an SDN-enabled cloud during enterprise data center migration
JP6471066B2 (ja) 2015-08-10 2019-02-13 日本電信電話株式会社 ネットワーク管理装置、および、アドレス設定方法
US20170195253A1 (en) * 2015-12-31 2017-07-06 Fortinet, Inc. Flexible pipeline architecture for multi-table flow processing
WO2017122847A1 (ko) * 2016-01-12 2017-07-20 쿨클라우드(주) Sdn 기반의 네트워크 시스템의 멀티 테넌트 지원 방법 및 그 시스템
CN114900858A (zh) * 2016-12-30 2022-08-12 英特尔公司 用于无线电通信的方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014160922A (ja) * 2013-02-19 2014-09-04 Nippon Telegr & Teleph Corp <Ntt> 通信システム、及び経路制御方法
JP2015080105A (ja) * 2013-10-17 2015-04-23 日本電気株式会社 通信中継装置、通信中継システム、中継定義情報の更新方法及び更新プログラム
JP2017228935A (ja) * 2016-06-22 2017-12-28 日本電信電話株式会社 パケット転送制御装置、パケット転送制御方法、およびパケット転送制御プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ASHIDA, YUTA ET AL.: "A hierarchical control method with domain aggregation on OpenFlow network", IEICE TECHNICAL REPORT, vol. 112, no. 10, 12 April 2012 (2012-04-12), pages 35 - 40, XP008179022 *
HIRASAWA, TAKAYOSHI ET AL.: "Consideration of cooperative communication band in distributed cooperative Openflow controller, ''2. Proposed device control method for network device", PROCEEDINGS OF THE 2017 IEICE SOCIETY CONFERENCE 2, 29 August 2017 (2017-08-29) *
ONO, KANICHIRO ET AL.: "Multi service fabric (MSF) Realize flexible operation and service provision with new network configuration and control technology", BUSINESS COMMUNICATION, vol. 52, no. 7, 1 July 2015 (2015-07-01), pages 10 - 13 *

Also Published As

Publication number Publication date
US20210306285A1 (en) 2021-09-30
WO2020031687A9 (ja) 2021-02-11
US11799801B2 (en) 2023-10-24
JP7091923B2 (ja) 2022-06-28
JP2020025201A (ja) 2020-02-13

Similar Documents

Publication Publication Date Title
WO2020031687A1 (ja) 転送装置、転送システム、転送方法及びプログラム
US10868757B2 (en) Efficient routing in software defined networks
US6751191B1 (en) Load sharing and redundancy scheme
JP4688765B2 (ja) ネットワークの冗長方法及び中位スイッチ装置
JP5660211B2 (ja) 通信経路制御システム、及び通信経路制御方法
JP6008801B2 (ja) 伝送システム、送信方法、及び伝送装置
US9191139B1 (en) Systems and methods for reducing the computational resources for centralized control in a network
EP3484074B1 (en) Data center optical transport failure protection
US20160248669A1 (en) Systems and methods of inter data center out-bound traffic management
JP5764820B2 (ja) 伝送システムおよび伝送システムの制御方法
US11646960B2 (en) Controller provided protection paths
CN104754025A (zh) 可编程分布式联网
US20110299551A1 (en) Method and Apparatus for Transferring Data Packets Between a First Network and a Second Network
JP6109954B2 (ja) 仮想シャーシシステムにおけるパススルーモードのためのシステムおよび方法
US8625407B2 (en) Highly available virtual packet network device
US7869351B2 (en) Communication techniques and generic layer 3 automatic switching protection
US8732335B2 (en) Device communications over unnumbered interfaces
JP2020078007A (ja) 制御装置及び制御方法
JP3895749B2 (ja) ネットワーク間接続方法、仮想ネットワーク間接続装置およびその装置を用いたネットワーク間接続システム
JP2014003451A (ja) 通信装置及び通信方法
JP2012165233A (ja) 通信システム、通信制御方法及び通信装置
KR20120075013A (ko) 이중화된 네트워크에서 유니캐스트 플로딩 방지 방법 및 네트워크 시스템
JP2015106894A (ja) 通信制御装置、通信システム、及び通信方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19848528

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19848528

Country of ref document: EP

Kind code of ref document: A1