JP2000307637A - Multimedia terminal device and inter-network connecting device - Google Patents
Multimedia terminal device and inter-network connecting deviceInfo
- Publication number
- JP2000307637A JP2000307637A JP10872299A JP10872299A JP2000307637A JP 2000307637 A JP2000307637 A JP 2000307637A JP 10872299 A JP10872299 A JP 10872299A JP 10872299 A JP10872299 A JP 10872299A JP 2000307637 A JP2000307637 A JP 2000307637A
- Authority
- JP
- Japan
- Prior art keywords
- information
- adaptation
- network
- circuit
- encoded data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Telephonic Communication Services (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Small-Scale Networks (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、インタネット(In
ternet)のような可変遅延網に接続されるマルチメディ
ア端末装置及び多種多様なネットワークを相互接続する
網間接続装置に関し、特に、パケットの同期管理、順序
制御、廃棄制御などのアダプテーション処理技術に関す
る。[0001] The present invention relates to the Internet (In)
The present invention relates to a multimedia terminal device connected to a variable delay network such as ternet) and an inter-network connecting device interconnecting various networks, and more particularly to an adaptation processing technology such as packet synchronization management, sequence control, and discard control.
【0002】[0002]
【従来の技術】ネットワークを介して音声や映像を実時
間転送するための国際標準規格は、ITU−T (Internatio
nal Telecommunication Union Telecommunication
Standardization Sector)、ISO/IEC (International
Organization for Standardization, Internation
al Electro−technical Commission)、IETF (Interne
tEngineering Task Force)などの標準化団体によって
定められている。特にデータ多重化手段については、ネ
ットワーク毎に最適化が図られており、ATM (Asynchron
ous Transfer Mode)網やディジタル放送網で使われる
ISO/IEC MPEG−2 Systems規格/ITU−T H.222.0勧
告、電話網や移動体通信網で使われるITU−T H.223勧
告、ローカルエリアネットワークやインタネットで使わ
れるITU−TH.225.0勧告、IETF RFC1889 RTP (Real−t
ime Transport Protocol)などが知られている。な
お、MPEG−2 SystemsとH.222.0はISO/IECとITU−Tのジ
ョイント規格であり、またH.225.0は、RTPを公式に参照
・包含する勧告である。2. Description of the Related Art An international standard for real-time transfer of audio and video over a network is ITU-T (Internatio
nal Telecommunication Union Telecommunication
Standardization Sector, ISO / IEC (International
Organization for Standardization, International
al Electro-technical Commission), IETF (Interne
tEngineering Task Force). In particular, data multiplexing means is optimized for each network, and ATM (Asynchronous)
ous Transfer Mode) Used in networks and digital broadcasting networks
ISO / IEC MPEG-2 Systems standard / ITU-T H.222.0 recommendation, ITU-T H.223 recommendation for use in telephone networks and mobile communication networks, ITU-TH.225.0 recommendation for use in local area networks and the Internet, IETF RFC1889 RTP (Real-t
ime Transport Protocol) is known. MPEG-2 Systems and H.222.0 are joint standards of ISO / IEC and ITU-T, and H.225.0 is a recommendation that officially refers to and includes RTP.
【0003】図31は、これらに共通して使われるプロ
トコル階層を示している。図31には、端末Aから端末
Bに向けて音声や映像などのメディア情報が転送される
場合の例が示されている。まず端末Aでは、入力された
メディア情報を符号化し、また制御情報を符号化し、そ
れぞれの品質要求に応じたアダプテーション情報を付加
してから多重化を行い、ネットワークに送出する。FIG. 31 shows a protocol layer commonly used for these. FIG. 31 shows an example in which media information such as audio and video is transferred from terminal A to terminal B. First, the terminal A encodes the input media information, encodes the control information, adds adaptation information according to the respective quality requirements, multiplexes the information, and sends it to the network.
【0004】端末Bでは、ネットワークから多重化され
たビットストリームを受信し、多重化分離を行い、付加
されたアダプテーション情報に従って誤り処理、同期処
理などを行い、メディア情報は復号して出力し、制御情
報はその後の端末制御に使用する。The terminal B receives the multiplexed bit stream from the network, performs demultiplexing, performs error processing, synchronization processing, and the like according to the added adaptation information, decodes and outputs media information, and performs control. The information is used for subsequent terminal control.
【0005】次に図32は、主な標準規格で規定されて
いるアダプテーション情報を表形式で例示したものであ
る。図32において、再同期情報は、例えば映像情報の
圧縮データに誤りが発生した場合、受信端末が1フレー
ムの圧縮データをすべて廃棄するのではなく、後続する
再同期点から復号可能とし、誤りの影響を局所的に抑え
るための仕組みである。スライス構造などがその代表例
である。映像情報の圧縮アルゴリズムに応じて、圧縮ア
ルゴリズムによって提供される場合と、システム側で別
途アダプテーション情報として提供される場合とがあ
る。[0005] Fig. 32 is a table showing an example of adaptation information specified in major standards. In FIG. 32, for example, when an error occurs in the compressed data of the video information, the resynchronization information allows the receiving terminal to decode from the subsequent resynchronization point instead of discarding all the compressed data of one frame. This is a mechanism to suppress the influence locally. A typical example is a slice structure. Depending on the compression algorithm of the video information, there are cases where it is provided by a compression algorithm and cases where it is separately provided as adaptation information on the system side.
【0006】シーケンスナンバは、例えばパケット交換
網においてパケットの転送順序が入れ替わったり、網の
輻輳によってパケットが廃棄されたりした場合に、受信
端末で適切な順序制御や廃棄検出を可能にするための仕
組みである。[0006] The sequence number is a mechanism for enabling a receiving terminal to perform appropriate order control and discard detection when, for example, the transfer order of packets is changed in a packet switching network or a packet is discarded due to network congestion. It is.
【0007】タイムスタンプは、例えば固定転送遅延が
保証されていないネットワークにおいて、受信端末で適
切な同期再生を可能にするための付加情報である。[0007] The time stamp is additional information for enabling a receiving terminal to perform appropriate synchronous reproduction in, for example, a network where a fixed transfer delay is not guaranteed.
【0008】誤り検出・訂正符号は、ネットワークを転
送中にランダムエラーやバーストエラーが発生した場
合、受信端末でエラー検出を行ったり、可能であれば訂
正を行うための付加情報である。これらは主に実時間性
の要求されるメディア情報に対して付加される。実時間
性よりも信頼性の要求される制御情報に対しては、別の
プロトコルによって誤り訂正符号が提供されたり、デー
タの再送メカニズムが適用されたりすることもある。[0008] The error detection / correction code is additional information for performing error detection at the receiving terminal and correcting if possible when a random error or a burst error occurs during transmission through the network. These are mainly added to media information requiring real-time properties. For control information that requires more reliability than real-time performance, an error correction code may be provided by another protocol, or a data retransmission mechanism may be applied.
【0009】図33は、図31に示したプロトコル階層
(すなわち、多重化、アダプテーション、メディア・制
御の階層)をより具体的に示したものである。ISO/IEC
MPEG−2 Systems規格のトランスポートストリーム(T
S:Transport Stream)を使用する場合、圧縮された音
響、あるいは映像データから、まず、PES(PacketizedEl
ementary Stream)と呼ばれるパケットが構成される。
このPESは、数十ミリ秒の音響データであったり、1フレ
ームの映像データであったりする。また、PESのヘッダ
部にはタイムスタンプが付与される。FIG. 33 shows the protocol layer (ie, the multiplexing, adaptation, media / control layer) shown in FIG. 31 more specifically. ISO / IEC
MPEG-2 Systems standard transport stream (T
When using S: Transport Stream, PES (Packetized Ellipse) is first used from compressed audio or video data.
ementary stream).
This PES is audio data of several tens of milliseconds or video data of one frame. In addition, a time stamp is added to the header part of the PES.
【0010】次にPESを分割し、188バイトのトランスポ
ートパケットと呼ばれる固定長パケットによって多重化
を行う。トランスポートパケットのヘッダ部には4ビッ
トのシーケンスナンバが付与される。Next, the PES is divided and multiplexed by a fixed-length packet called a 188-byte transport packet. A 4-bit sequence number is assigned to the header of the transport packet.
【0011】制御情報や一般的なアプリケーションデー
タの転送に関して、MPEG−2 TSは、さまざまな形態を
許しており、誤り検出・訂正符号を付加したり、放送形
態の場合には、同じデータを繰り返し転送したりする。[0011] Regarding the transfer of control information and general application data, the MPEG-2 TS allows various forms, such as adding an error detection / correction code or repeating the same data in the case of a broadcast form. Or transfer.
【0012】MPEG−2 TS方式は、ATM網やディジタル放
送網のような、一般的に転送遅延の変動の少ない高速ネ
ットワークでの使用を前提としている。[0012] The MPEG-2 TS system is presumed to be used in a high-speed network such as an ATM network or a digital broadcasting network, which generally has little fluctuation in transfer delay.
【0013】ITU−T H.223勧告を使用する場合は、制
御情報とアプリケーションデータ、音声データ、映像デ
ータそれぞれがAL1、AL2、AL3と呼ばれるアダ
プテーション層に渡され、適度なサイズに分割された後
にメディア毎に異なる種類のアダプテーション情報が付
加され、多重化される。When the ITU-T H.223 recommendation is used, control information and application data, audio data, and video data are respectively passed to adaptation layers called AL1, AL2, and AL3, and are divided into appropriate sizes. Different types of adaptation information are added to each medium and multiplexed.
【0014】また、H.223勧告にはいくつかのレベルが
あり、アダプテーション機能も高いレベルほど強くな
る。音声に関しては、誤り検出とシーケンスナンバが選
択可能である。映像に関しては、誤り検出、シーケンス
ナンバ、再送が選択可能である。The H.223 recommendation has several levels, and the higher the adaptation function, the stronger the adaptation function. For voice, error detection and sequence number can be selected. For video, error detection, sequence number, and retransmission can be selected.
【0015】制御情報に関しては、それ自身で誤り検
出、シーケンスナンバ、再送を行う場合、LAPM(Link A
ccess Procedure for Modems)などの上位プロトコル
を使用する場合、アプリケーション自体が誤り訂正を行
う場合等、多様な形態が想定されている。なお、使用す
るアダプテーション情報の選択は、上記制御情報を介し
て行われる。H.223方式は、電話網や移動体通信網のよ
うな、一般的に固定遅延の低速ネットワークでの使用を
前提としている。このため、タイムスタンプは使用され
ない。Regarding control information, when error detection, sequence number, and retransmission are performed by itself, LAPM (Link A
Various forms are assumed, for example, when using a higher-level protocol such as “Ccess Procedure for Modems”, or when the application itself performs error correction. The selection of the adaptation information to be used is performed via the control information. The H.223 scheme is generally intended for use in low-speed networks with fixed delays, such as telephone networks and mobile communication networks. Therefore, no time stamp is used.
【0016】ITU−T H.225.0勧告を使用する場合、音
声と映像データは適度なサイズにパケット化され、RTP
ヘッダを付加した後にUDP(User Datagram Protocol)
層、IP(Internet Protocol)層を介して多重化される。
制御情報はTCP(Transport Control Protocol) 層、IP
層を介して多重化される。TCPは再送メカニズムなどに
よって遅延は増大するが、信頼性の高いデータ転送を保
証する。When the ITU-T H.225.0 recommendation is used, audio and video data are packetized to an appropriate size, and RTP
UDP (User Datagram Protocol) after adding header
Multiplexed via the Internet Protocol (IP) layer.
Control information consists of TCP (Transport Control Protocol) layer, IP
Multiplexed through layers. TCP guarantees reliable data transfer, although the delay increases due to the retransmission mechanism.
【0017】一方、UDPはTCPを簡略化したものである。
このUDPにおいては、再送を行わないために遅延は減
少するが、パケットの廃棄が発生する。RTPは、アダプ
テーション情報としてシーケンスナンバを提供し、かつ
同期再生用のタイムスタンプを付与する。On the other hand, UDP is a simplified version of TCP.
In this UDP, delay is reduced because retransmission is not performed, but packet discarding occurs. RTP provides a sequence number as adaptation information and adds a time stamp for synchronous reproduction.
【0018】また、RTPの補助として、RTCP(Real−time
Transport Control Protocol)が規定されており、R
TCPを用いて端末間で転送遅延、ジッタ、パケット廃棄
率などの情報が交換される。H.225.0方式は、インタネ
ットのような、一般的に転送遅延が変動するパケット交
換網での使用を前提としている。As an aid to RTP, RTCP (Real-time
Transport Control Protocol).
Information such as transfer delay, jitter, and packet loss rate is exchanged between terminals using TCP. The H.225.0 scheme is intended for use in a packet switching network such as the Internet, where transfer delay generally fluctuates.
【0019】異なるネットワーク間で音声や映像の多重
化されたストリームデータを相互交換するための国際標
準規格としては、ITU−T H.246勧告が知られている。I
TU−TではHシリーズと呼ばれるネットワーク毎のマルチ
メディア端末を勧告化しており、H.246は異なるHシリー
ズ端末間、あるいは既存の電話端末との通信を可能にす
るための網間接続装置の勧告化を目的としている。The ITU-T H.246 recommendation is known as an international standard for mutually exchanging multiplexed audio and video stream data between different networks. I
The TU-T recommends a multimedia terminal for each network called the H series, and H.246 recommends an inter-network connection device for enabling communication between different H series terminals or existing telephone terminals. The purpose is to make.
【0020】図34は、網間接続装置で使われる一般的
なプロトコル階層を示している。ここでは、端末Aから
網間接続装置を介して端末Bに音声や映像などのメディ
ア情報が転送される場合を示している。網間接続装置
は、端末A側には第1のネットワークに対応するインタ
フェースを、端末B側には第2のネットワークに対応す
るインタフェースを備えている。まず端末Aが、メディ
ア情報と制御情報を符号化し、第1のネットワークに適
合したアダプテーション情報を付加して多重化を行い、
第1のネットワークに送出する。網間接続装置は、第1
のネットワークから多重化されたビットストリームを受
信し、多重化分離を行い、付加されたアダプテーション
情報を処理し、必要に応じてメディア情報、制御情報の
いずれか、あるいは両方をトランスコードし、今度は第
2のネットワークに適合したアダプテーション情報を付
加して多重化を行い、第2のネットワークに送出する。
端末Bでは、第2のネットワークから多重化されたビッ
トストリームを受信し、多重化分離を行い、付加された
アダプテーション情報に従って誤り処理、同期処理など
を行い、メディア情報は復号して出力し、制御情報はそ
の後の端末制御に使用する。FIG. 34 shows a general protocol layer used in the network connection device. Here, a case is shown in which media information such as audio and video is transferred from terminal A to terminal B via the network connection device. The network connection device has an interface corresponding to the first network on the terminal A side, and an interface corresponding to the second network on the terminal B side. First, terminal A encodes media information and control information, and performs multiplexing by adding adaptation information suitable for the first network,
Send to the first network. The network connection device is the first
Receives the multiplexed bit stream from the network, performs demultiplexing, processes the added adaptation information, transcodes media information, control information, or both as needed, and Multiplexing is performed by adding adaptation information suitable for the second network, and transmitted to the second network.
The terminal B receives the multiplexed bit stream from the second network, performs demultiplexing, performs error processing, synchronization processing, and the like according to the added adaptation information, and decodes and outputs media information. The information is used for subsequent terminal control.
【0021】ただし、上に述べた国際標準規格は多重化
ストリームを作成するためのシンタクスと各フィールド
のセマンティクスを規定しているだけで、マルチメディ
ア端末装置の詳細な実装手段に関しては何ら言及してい
ない。特に、インタネット端末におけるシーケンスナン
バとタイムスタンプを用いたアダプテーション手段の実
装に関しては、さまざまな方式が乱立しているのが現状
である。However, the above-mentioned international standard only defines the syntax for creating a multiplexed stream and the semantics of each field, but does not mention any detailed means for mounting a multimedia terminal device. Absent. In particular, regarding the implementation of adaptation means using a sequence number and a time stamp in an Internet terminal, at present, various systems are inconsistent.
【0022】また、網間接続装置に関しても、ITU−T
H.246勧告は現在制定作業中であり、現状では、ISDN(In
tegrated Digital Services Network) に接続される
H.320端末とインタネットに接続されるH.323端末の相互
接続手順が勧告化されているに過ぎず、残りのHシリー
ズ間の接続手順は空欄になっている。さらに、その接続
手順に関しても、制御情報の変換ルールが記載されてい
るに過ぎない。Further, regarding the inter-network connecting device, ITU-T
The H.246 Recommendation is currently in the process of being enacted and is currently under ISDN (In
integrated Digital Services Network)
The interconnection procedure between the H.320 terminal and the H.323 terminal connected to the Internet is only recommended, and the connection procedure between the remaining H series is blank. Further, the conversion procedure of the control information is described only for the connection procedure.
【0023】シーケンスナンバ、タイムスタンプを含む
アダプテーション情報処理の具体的な実装手段として
は、例えば特開平4−319832号公報(発明の名称:「セ
ル情報保障方式」)等の記載が参照される。この方式で
は、ATM網を介して送られてきたパケットに対し、パケ
ットに付加されたシーケンスナンバを参照してパケット
廃棄を検出し、廃棄を検出した場合には廃棄位置にダミ
ーデータを挿入する。これによってパケット送信者への
再送要求が不要になり、音声や映像に適した即時性が実
現できる旨が記載されている。For specific implementation means of adaptation information processing including a sequence number and a time stamp, reference is made to, for example, the description of Japanese Patent Application Laid-Open No. Heisei 4-319832 (Title of Invention: "Cell Information Security System"). In this method, packet discarding is detected for a packet sent via an ATM network by referring to a sequence number added to the packet, and when discarding is detected, dummy data is inserted at a discarding position. It is described that this eliminates the need for a retransmission request to the packet sender and realizes immediacy suitable for audio and video.
【0024】また、例えば特開平10−84388号公報
(「パケットデータの時間間隔補正装置及び再生方
法」)には、受信端末はまずパケットからタイムスタン
プを分離してカウンタを初期化し、カウンタ値が分離し
たタイムスタンプ値に一致した時点でパケットデータを
メモリに書き込み、時刻再生を実現して次の処理にデー
タを渡す構成が開示されており、これは、メモリサイズ
を抑制することを目的にしている。Also, for example, in Japanese Patent Application Laid-Open No. 10-84388 (“Packet Data Time Interval Correction Apparatus and Reproducing Method”), a receiving terminal first separates a time stamp from a packet and initializes a counter. A configuration is disclosed in which packet data is written to a memory at the time of matching with the separated time stamp value, time reproduction is performed, and the data is passed to the next processing, which aims at suppressing the memory size. I have.
【0025】また、特開平10−271482号公報(発明の名
称:「符号化映像の同期再生制御方法及びシステム」)
には、音声と映像が多重化されるマルチメディアデータ
において、音声、映像それぞれの転送パケットにタイム
スタンプを付与し、パケットの受信端末では音声に付加
されたタイムスタンプを基準として、映像に付加された
タイムスタンプが早い場合には映像データを逐次復号
し、遅い場合にはバッファリングして時間を揃えてから
映像データを復号する構成が開示されており、音声と映
像の同期再生の同期ずれのない再生が可能となる旨が記
載されている。Japanese Patent Application Laid-Open No. Hei 10-271482 (Title of Invention: "Synchronous playback control method and system for encoded video")
In multimedia data in which audio and video are multiplexed, a time stamp is added to each of the audio and video transfer packets, and the packet receiving terminal adds the time stamp to the video based on the time stamp added to the audio. If the time stamp is early, video data is sequentially decoded, and if the time stamp is late, buffering is performed and the time is adjusted, and then the video data is decoded. No reproduction is possible.
【0026】次に、網間接続装置の構成として、例えば
特開平10−164143号公報(発明の名称:「ゲートウェイ
装置及びそれを用いた通信システム」)には、CATVのよ
うな固定遅延網とインタネットのような可変遅延網の間
に位置する網間接続装置において、インタネット側での
帯域保証プロトコルの使用を前提として、固定遅延網か
ら可変遅延網に向かう符号化された映像データにトラン
スコードを施し、帯域保証プロトコルで保証された転送
レートに変換する構成が開示されており、これは、安定
した映像信号の配信を行うことを目的とする。Next, as a configuration of an inter-network connecting device, for example, Japanese Patent Laid-Open No. 10-164143 (title of the invention: "Gateway device and communication system using the same") discloses a fixed delay network such as CATV. In an interconnection device located between variable delay networks such as the Internet, transcoding of encoded video data from a fixed delay network to a variable delay network is performed on the assumption that a bandwidth guarantee protocol is used on the Internet side. A configuration for converting the transfer rate to a transfer rate guaranteed by a bandwidth guarantee protocol is disclosed, which aims at performing stable video signal distribution.
【0027】また、例えば特開平10−164129号公報(発
明の名称:「通話システム」)には、通常の電話網とイ
ンタネットを結ぶ網間接続装置の構成に関して、第一の
網間接続装置は通常の電話端末からの発呼を受け、イン
タネット、及び第二の網間接続装置を介して相手の電話
端末に着信し、音声通話を行うための手順が開示されて
いる。この方式は、二つの網間接続装置間のパケット転
送遅延を測定し、その遅延時間に応じて送信音声パケッ
ト、もしくは受信音声パケットを選択的に廃棄し、電話
端末間の全体の転送遅延を削減することを目的としてい
る。For example, Japanese Patent Laid-Open Publication No. Hei 10-164129 (title of the invention: "communication system") discloses a structure of an inter-network connecting device for connecting a normal telephone network to the Internet. There is disclosed a procedure for receiving a call from a normal telephone terminal, receiving a call to the other telephone terminal via the Internet and a second network connection device, and making a voice call. This method measures the packet transfer delay between two network interconnecting devices and selectively discards the transmitted voice packet or the received voice packet according to the delay time, thereby reducing the overall transfer delay between telephone terminals. It is intended to be.
【0028】さらに、例えば特開平10−173696号公報
(発明の名称:「広域ネットワークを基礎とする音声ゲ
ートウェイ」)には、電話網、ATM、フレームリレー、
インタネットなどの異なる伝送標準を使用するネットワ
ーク間を結ぶ網間接続装置において、呼設定プロトコル
の変換と符号化フォーマットの変換を行う網間接続装置
が開示されており、これは、異なるネットワークを跨っ
て、音声、映像信号を運ぶ通信セッションを確立するこ
とを目的としている。Further, for example, Japanese Patent Application Laid-Open No. 10-173696 (title of the invention: "Voice gateway based on wide area network") includes a telephone network, an ATM, a frame relay,
In an interworking device that connects networks using different transmission standards such as the Internet, an interworking device that performs a conversion of a call setting protocol and a conversion of an encoding format has been disclosed. It aims to establish a communication session carrying audio and video signals.
【0029】[0029]
【発明が解決しようとする課題】しかしながら、上記各
刊行物等に記載された技術では、とりわけインタネット
のような可変遅延網において十分なアダプテーション処
理が実現されているとは言いがたい。However, it cannot be said that the techniques described in the above publications realize a sufficient adaptation process especially in a variable delay network such as the Internet.
【0030】より詳細には、上記特開平4−319832号公
報に記載される方式は、受信端末でエラーを含むパケッ
トを廃棄し、シーケンスナンバによって廃棄検出を行っ
ているが、ネットワークによってパケットの順序が入れ
替わる場合は想定していない。このため、タイムアウト
時間内に届いたパケットであっても、順序が反転してい
れば廃棄されることになり、インタネットのような可変
遅延網には適用しにくい。More specifically, in the method described in Japanese Patent Laid-Open No. Hei 4-319832, a packet containing an error is discarded at a receiving terminal and discarding is detected by a sequence number. It is not assumed that is replaced. Therefore, even if the packet arrives within the timeout period, the packet is discarded if the order is reversed, and it is difficult to apply the packet to a variable delay network such as the Internet.
【0031】また上記特開平10−84388号公報に記載さ
れる方式は、タイムスタンプに従った安定した同期再生
を可能にするが、パケットの到着順番の入れ替わりを制
御する順序制御については何ら言及していない。このた
め、インタネットのような可変遅延網に直接的に適用す
ることはできない。The system described in Japanese Patent Application Laid-Open No. H10-84388 enables stable synchronous reproduction in accordance with a time stamp. However, there is no mention of order control for controlling the switching of the arrival order of packets. Not. Therefore, it cannot be directly applied to a variable delay network such as the Internet.
【0032】上記特開平10−271482号公報に記載される
方式は、タイムスタンプに従った音声と映像の二つのメ
ディアの安定した同期再生を可能にするが、やはりパケ
ットの順序制御については言及していない。このため、
インタネットのような可変遅延網に直接的に適用するこ
とはできない。The method described in Japanese Patent Laid-Open No. Hei 10-271482 enables stable synchronous reproduction of two media, audio and video, in accordance with a time stamp. Not. For this reason,
It cannot be applied directly to variable delay networks such as the Internet.
【0033】上記特開平10−164143号公報に記載される
方式は、インタネットにおける帯域保証プロトコルの信
頼性に依存している。しかしながら、高速から低速、高
信頼から低信頼と、地域に応じて多種多様な品質環境が
混在するインタネットでは、前記の帯域保証プロトコル
が常に安定して機能するとは限らない。逆に、現時点で
は適用できないケースのほうが多い。このため、適用範
囲がかなり限定されてしまうことになる。The method described in Japanese Patent Laid-Open No. Hei 10-164143 relies on the reliability of a bandwidth guarantee protocol in the Internet. However, in the Internet where high-speed to low-speed and high-reliability to low-reliability mixed with various quality environments according to regions, the above-mentioned bandwidth guarantee protocol does not always function stably. Conversely, in many cases this is not the case at the moment. For this reason, the application range is considerably limited.
【0034】上記特開平10−164129号公報に記載される
方式は、受信端末は従来の電話機であり、アダプテーシ
ョン処理は網間接続装置だけで行うことを想定してい
る。また、網間接続装置が選択的にパケットを棄却する
が、インタネット上のパケット廃棄やパケットの順序制
御に関しては何ら言及していない。このため、映像を含
むマルチメディア通信に直接的に適用することはできな
い。The method described in the above-mentioned Japanese Patent Application Laid-Open No. 10-164129 assumes that the receiving terminal is a conventional telephone, and the adaptation processing is performed only by the network connection device. Further, although the network connection device selectively discards packets, it does not mention anything about packet discarding on the Internet or packet order control. Therefore, it cannot be directly applied to multimedia communication including video.
【0035】上記特開平10−173696号公報に記載される
方式は、符号化フォーマットの変換について言及はして
いるものの、主な目的は多様なネットワークを跨る呼設
定プロトコルの変換であって、アダプテーション処理の
効率化手段を何ら提供するものではない。このため、マ
ルチメディア端末装置、及び網間接続装置における音
声、映像等のメディア情報の効率的な同期再生に寄与す
るものではない。Although the method described in Japanese Patent Application Laid-Open No. 10-173696 describes conversion of an encoding format, the main purpose is conversion of a call setup protocol across various networks, and adaptation is performed. It does not provide any means for improving processing efficiency. For this reason, it does not contribute to efficient synchronous reproduction of media information such as audio and video in the multimedia terminal device and the network connection device.
【0036】このほかにも、すでに各所でインタネット
電話端末、インタネット映像端末、ならびにインタネッ
ト端末と既存の電話網やISDNに接続された電話機を相互
接続する網間接続装置は実現されているが、簡易過ぎる
廃棄制御のためにパケット廃棄率が増加してしまう、複
雑過ぎる順序制御のために回路が複雑になってしまう、
などの問題を抱えている。将来的な映像サービスの多様
化、大規模化、ならびに現存する多種多様なネットワー
ク上の映像サービスをインタネット上にも展開するため
には、端末装置、及び網間接続装置におけるアダプテー
ション処理の効率化と簡素化の並立が必須である。In addition, Internet telephone terminals, Internet video terminals, and inter-network connecting devices for interconnecting Internet terminals with telephones connected to an existing telephone network or ISDN have already been realized in various places. Packet discard rate will increase due to excessive discard control, circuit will be complicated due to too complicated sequence control,
And have other problems. In order to diversify and increase the scale of video services in the future, and to deploy video services on various existing networks to the Internet, it is necessary to improve the efficiency of adaptation processing in terminal devices and inter-network connection devices. Parallel simplification is essential.
【0037】したがって本発明は、上記問題点に鑑みて
なされたものであって、その主たる目的は、マルチメデ
ィア端末装置、ならびに網間接続装置において、パケッ
トの同期管理、順序制御、廃棄処理などのアダプテーシ
ョン処理の効率化と簡素化を同時に実現する装置を提供
することにある。これ以外の本発明の目的、利点等は以
下の説明で容易に明らかとされるであろう。Accordingly, the present invention has been made in view of the above problems, and a main object of the present invention is to provide a multimedia terminal apparatus and an inter-network connection apparatus with respect to packet synchronization management, sequence control, discard processing, and the like. It is an object of the present invention to provide a device that simultaneously realizes efficiency and simplification of adaptation processing. Other objects, advantages and the like of the present invention will be easily clarified in the following description.
【0038】[0038]
【課題を解決するための手段】前記目的を達成する本発
明のマルチメディア端末装置は、ネットワークを介して
送られてくる音声信号、映像信号、制御情報等の符号化
データを受信・復号・再生するマルチメディア端末装置
であって、前記符号化データにはタイムスタンプやシー
ケンスナンバ等のアダプテーション情報が付加され、前
記マルチメディア端末装置は、前記符号化データの多重
化ビットストリームを多重化分離する多重化分離手段
と、前記アダプテーション情報を処理し、同期制御、廃
棄制御等を行うアダプテーション情報処理手段と、前記
アダプテーション情報処理手段から得られるネットワー
ク品質情報を保持する品質統計量保持手段と、前記符号
化データが音声や映像等のメディア情報である場合に復
号を行うメディア復号手段と、復号された前記メディア
情報を出力する手段と、前記符号化データが制御情報で
ある場合に復号を行う制御情報復号手段と、復号された
前記制御情報と前記品質統計量保持手段に保持されたネ
ットワーク品質情報に従って端末装置の制御を行う制御
手段とを備える。本発明において、前記アダプテーショ
ン情報処理手段は、パケット受信手段と、受信された前
記パケットをアダプテーション情報と符号化データに分
離するアダプテーション情報分離手段と、前記アダプテ
ーション情報を保持するアダプテーション情報保持手段
と、オフセット付き時刻を与えるオフセット遅延付加手
段と、前記アダプテーション情報と前記オフセット付き
時刻を用いてアダプテーション処理を実行するアダプテ
ーション処理手段と、前記アダプテーション情報と前記
オフセット付き時刻を用いて出力タイミングを提供する
出力タイミング発生手段と、前記アダプテーション処理
手段から与えられる符号化データを保持し、前記出力タ
イミングに従って前記符号化データを出力する蓄積手段
と、を備える。According to the present invention, there is provided a multimedia terminal apparatus for receiving, decoding, and reproducing encoded data such as audio signals, video signals, and control information transmitted through a network. A multimedia terminal device, wherein adaptation information such as a time stamp and a sequence number is added to the encoded data, and the multimedia terminal device performs multiplexing and demultiplexing on a multiplexed bit stream of the encoded data. Processing means for processing the adaptation information, performing synchronization control, discarding control, etc .; a quality statistic holding means for holding network quality information obtained from the adaptation information processing means; Media decoding that decodes when data is media information such as audio and video Means, means for outputting the decoded media information, control information decoding means for decoding when the encoded data is control information, and holding in the decoded control information and the quality statistic holding means. Control means for controlling the terminal device according to the obtained network quality information. In the present invention, the adaptation information processing means includes a packet receiving means, an adaptation information separating means for separating the received packet into adaptation information and encoded data, an adaptation information holding means for holding the adaptation information, and an offset. Offset delay adding means for providing an attached time, adaptation processing means for performing an adaptation process using the adaptation information and the time with the offset, and output timing generation for providing an output timing using the adaptation information and the time with the offset Means for storing encoded data provided from the adaptation processing means and outputting the encoded data in accordance with the output timing.
【0039】本発明においては、好ましくは、前記アダ
プテーション処理手段は、前記アダプテーション情報と
前記オフセット付き時刻を用いて選択的に符号化データ
を廃棄し、かつネットワーク品質の評価を行い前記品質
統計量保持手段に通知するタイムアウト判定手段と、前
記アダプテーション情報を用いてネットワーク品質の評
価を行い前記品質統計量保持手段に通知する順序番号比
較手段と、前記アダプテーション情報を用いて前記蓄積
手段に符号化データを書き込む書き込み手段とを備え
る。In the present invention, preferably, the adaptation processing means selectively discards encoded data using the adaptation information and the time with offset, evaluates network quality, and stores the quality statistic. Time-out determining means for notifying the means, sequence number comparing means for evaluating the network quality using the adaptation information and notifying the quality statistic holding means, and encoding data to the storage means using the adaptation information. Writing means for writing.
【0040】本発明においては、好ましくは、さらに前
記蓄積手段は、前記アダプテーション情報と符号化デー
タの有効・無効を示す情報と符号化データの長さを示す
情報を管理情報として保持し、符号化データを保持する
記憶手段と、前記出力タイミングと前記管理情報に従っ
て符号化データを出力する読み出し制御手段とを備え
る。In the present invention, preferably, the storage means further stores the adaptation information, information indicating the validity / invalidity of the encoded data, and information indicating the length of the encoded data as management information. A storage unit for holding data; and a read control unit for outputting encoded data according to the output timing and the management information.
【0041】本発明マルチメディア端末装置は、前記マ
ルチメディア端末装置におけるアダプテーション情報処
理手段において、前記オフセット遅延付加手段は、さら
に前記品質統計量保持手段に保持されたネットワーク品
質情報と前記メディア復号手段からの入力を用いてオフ
セット遅延を適応的に変化させる。[0041] In the multimedia terminal device of the present invention, in the adaptation information processing means in the multimedia terminal device, the offset delay adding means may further include network quality information held in the quality statistic holding means and the media decoding means. To adaptively change the offset delay.
【0042】本発明のマルチメディア端末装置は、前記
マルチメディア端末装置において、さらに、音声や映像
等のメディア情報を入力する手段と、前記メディア情報
を符号化するメディア符号化手段と、前記制御手段の出
力する制御情報を符号化する制御情報符号化手段と、前
記メディア符号化手段、及び前記制御情報符号化手段の
出力である符号化データに新たなアダプテーション情報
を付加するアダプテーション情報付加手段と、前記アダ
プテーション情報付加手段の出力を多重化してネットワ
ークに送出する多重化手段を備える。The multimedia terminal device according to the present invention is the multimedia terminal device, further comprising: a unit for inputting media information such as audio and video; a media encoding unit for encoding the media information; Control information encoding means for encoding control information to be output, the media encoding means, and adaptation information adding means for adding new adaptation information to encoded data output from the control information encoding means, Multiplexing means for multiplexing the output of the adaptation information adding means and sending the multiplexed output to the network.
【0043】本発明の網間接続装置は、異なる伝送方式
を使用する第1のネットワークと第2のネットワークの
間に位置し、前記第1のネットワークに接続された端末
と前記第2のネットワークに接続された端末を相互接続
し、音声信号、映像信号、制御情報等の符号化データを
転送する網間接続装置であって、前記符号化データには
タイムスタンプやシーケンスナンバ等のアダプテーショ
ン情報が付加され、前記網間接続装置は、前記第1のネ
ットワークから前記第2のネットワークに向かう網間接
続手段を備え、前記網間接続手段は、前記符号化データ
の多重化ビットストリームを多重化分離する多重化分離
手段と、前記アダプテーション情報を処理し、同期制
御、廃棄制御等を行うアダプテーション情報処理手段
と、前記アダプテーション情報処理手段から与えられる
第1の制御情報の符号化データを変換し、もしくは新規
生成し、第2の制御情報の符号化データを出力する制御
情報トランスコード手段と、前記アダプテーション情報
処理手段から与えられる第1のメディア情報の符号化デ
ータを、前記制御情報トランスコード手段の制御出力に
応じて変換、もしくは通過し、第2のメディア情報の符
号化データを出力するメディア・トランスコード手段
と、新たなアダプテーション情報を付加するアダプテー
ション情報付加手段と、前記アダプテーション情報付加
手段の出力を多重化してネットワークに送出する多重化
手段とを備える。An inter-network connecting apparatus according to the present invention is located between a first network and a second network using different transmission systems, and is provided between a terminal connected to the first network and the second network. An inter-network connection device for interconnecting connected terminals and transferring encoded data such as audio signals, video signals, and control information, wherein said encoded data is added with adaptation information such as a time stamp and a sequence number. The network connection apparatus further includes network connection means for going from the first network to the second network, and the network connection means demultiplexes a multiplexed bit stream of the encoded data. Demultiplexing means, adaptation information processing means for processing the adaptation information and performing synchronization control, discard control, and the like; and the adaptation information processing means. Control information transcoding means for converting or newly generating encoded data of the first control information given from the information processing means, and outputting encoded data of the second control information; Media transcoding means for converting or passing the given encoded data of the first media information according to the control output of the control information transcoding means and outputting the encoded data of the second media information; An adaptation information adding unit for adding new adaptation information, and a multiplexing unit for multiplexing an output of the adaptation information adding unit and transmitting the multiplexed output to a network.
【0044】本発明において、前記制御情報トランスコ
ード手段は、前記第1の制御情報の符号化データを復号
する制御情報復号手段と、前記アダプテーション情報処
理手段から得られるネットワーク品質情報を保持する品
質統計量保持手段と、前記品質統計量保持手段に保持さ
れたネットワーク品質情報を用いて前記第1の制御情報
を変換し、必要に応じて新規生成を行い、前記第2の制
御情報を出力する制御情報変換・生成手段と、前記第1
の制御情報、及び前記第2の制御情報を解析・蓄積する
制御情報解析手段と、前記第2の制御情報を符号化する
制御情報符号化手段とから構成される。In the present invention, the control information transcoding means includes a control information decoding means for decoding encoded data of the first control information, and a quality statistic holding network quality information obtained from the adaptation information processing means. Control for converting the first control information using the network quality information held in the quality statistic holding unit, generating the new control information as needed, and outputting the second control information Information conversion / generation means;
And control information analyzing means for analyzing and accumulating the second control information, and control information encoding means for encoding the second control information.
【0045】[0045]
【発明の実施の形態】次に、本発明の好ましい実施の形
態について説明する。本発明に係るマルチメディア端末
装置は、その好ましい実施の形態において、図1を参照
すると、ネットワークを介して送られてくる、音声及び
/又は映像信号と制御情報の符号化データに、タイムス
タンプ及びシーケンスナンバを少なくとも含むアダプテ
ーション情報が付加されているパケットデータを受信
し、復号、及び再生するものであって、ネットワークか
ら送られ受信したパケットデータの多重化ビットストリ
ームを多重化分離する多重化分離手段(1)と、前記ア
ダプテーション情報を処理し、同期制御、廃棄制御を行
うアダプテーション情報処理手段(2)と、前記アダプ
テーション情報処理手段(2)から得られるネットワー
ク品質情報を保持する品質統計量保持手段(6)と、前
記符号化データのうち音声や映像のメディア情報を復号
するメディア復号手段(3)と、復号された前記メディ
ア情報を出力する手段(4)と、前記符号化データのう
ち制御情報を復号する制御情報復号手段(5)と、復号
された前記制御情報と前記品質統計量保持手段に保持さ
れたネットワーク品質情報に基づき端末装置の制御を行
う制御手段(7)と、を備えている。Next, a preferred embodiment of the present invention will be described. In a preferred embodiment of the multimedia terminal device according to the present invention, referring to FIG. 1, a time stamp and a time stamp are added to encoded data of audio and / or video signals and control information transmitted via a network. Demultiplexing means for receiving, decoding, and reproducing packet data to which adaptation information including at least a sequence number is added, and for demultiplexing a multiplexed bit stream of packet data received from a network. (1) an adaptation information processing means (2) for processing the adaptation information to perform synchronization control and discard control; and a quality statistic holding means for holding network quality information obtained from the adaptation information processing means (2). (6) and media of audio and video in the encoded data. Media decoding means (3) for decoding information; means (4) for outputting the decoded media information; control information decoding means (5) for decoding control information in the encoded data; A control unit (7) for controlling a terminal device based on the control information and the network quality information held in the quality statistic holding unit.
【0046】本発明に係るマルチメディア端末装置は、
その好ましい実施の形態において、図2を参照すると、
アダプテーション情報処理手段(2)は、前記多重化分
離手段から出力されるパケットデータを受信する受信手
段(11)と、受信された前記パケットデータをアダプ
テーション情報と符号化データとに分離するアダプテー
ション情報分離手段(12)と、前記アダプテーション
情報を保持するアダプテーション情報保持手段(13)
と、クロック生成手段(14)からの出力に基づきオフ
セット付き時刻情報を与えるオフセット遅延付加手段
(15)と、アダプテーション情報と前記オフセット付
き時刻情報とを用いてアダプテーション処理を実行する
アダプテーション処理手段(16)と、前記アダプテー
ション情報と前記オフセット付き時刻を用いて出力タイ
ミングを生成する出力タイミング発生手段(17)と、
前記アダプテーション処理手段から与えられる符号化デ
ータを保持し、前記出力タイミングに従って前記符号化
データを出力する蓄積手段(18)と、を備えている。The multimedia terminal device according to the present invention comprises:
In its preferred embodiment, referring to FIG.
The adaptation information processing means (2) includes a receiving means (11) for receiving the packet data output from the demultiplexing means, and an adaptation information separation means for separating the received packet data into adaptation information and encoded data. Means (12), and adaptation information holding means (13) for holding the adaptation information
An offset delay adding means (15) for providing time information with offset based on the output from the clock generating means (14); and an adaptation processing means (16) for executing adaptation processing using the adaptation information and the time information with offset. ), Output timing generating means (17) for generating output timing using the adaptation information and the time with offset,
A storage unit (18) for holding the encoded data provided from the adaptation processing unit and outputting the encoded data according to the output timing.
【0047】本発明に係るマルチメディア端末装置は、
その好ましい実施の形態において、図3を参照すると、
前記アダプテーション処理手段(16)は、前記アダプ
テーション情報と前記オフセット付き時刻を用いて選択
的に符号化データを廃棄するとともに、ネットワーク品
質の評価を行いデータ廃棄数を含む品質評価結果を前記
品質統計量保持手段(6)に通知するタイムアウト判定
手段(23)と、前記アダプテーション情報を用いてシ
ーケンスナンバーをチェックすることでネットワーク品
質の評価を行い評価結果を前記品質統計量保持手段
(6)に通知する順序番号比較手段(24)と、前記ア
ダプテーション情報を用いて前記蓄積手段(18)に符
号化データを書き込む書き込み手段(25)と、備えて
いる。The multimedia terminal device according to the present invention comprises:
In its preferred embodiment, referring to FIG.
The adaptation processing means (16) selectively discards encoded data using the adaptation information and the time with offset, evaluates network quality, and outputs a quality evaluation result including the number of data discards to the quality statistic. A timeout determination unit (23) for notifying the holding unit (6), and a network quality evaluation by checking a sequence number using the adaptation information, and notifying the quality statistic holding unit (6) of an evaluation result. An order number comparing unit (24) and a writing unit (25) for writing encoded data into the storage unit (18) using the adaptation information are provided.
【0048】本発明に係るマルチメディア端末装置は、
その好ましい実施の形態において、図4を参照すると、
前記蓄積手段(18)は、前記アダプテーション情報と
符号化データの有効・無効を示す情報と符号化データの
長さを示す情報を管理情報として保持し、符号化データ
を保持する記憶手段(27)と、前記出力タイミングと
前記管理情報に従って符号化データを出力する読み出し
制御手段(26)と、を備えている。The multimedia terminal device according to the present invention comprises:
In its preferred embodiment, referring to FIG.
The storage unit (18) stores the adaptation information, information indicating whether the encoded data is valid / invalid, and information indicating the length of the encoded data as management information, and a storage unit (27) that retains the encoded data. And read control means (26) for outputting encoded data according to the output timing and the management information.
【0049】本発明に係るマルチメディア端末装置は、
その好ましい実施の形態において、図14を参照する
と、オフセット遅延付加手段(75)を、前記品質統計
量保持手段(6)に保持されたネットワーク品質情報と
前記メディア復号手段(3)からの入力とを用いてオフ
セット遅延を適応的に変化させるように構成してもよ
い。The multimedia terminal device according to the present invention comprises:
In a preferred embodiment of the present invention, referring to FIG. 14, the offset delay adding means (75) is provided with the network quality information held in the quality statistic holding means (6) and the input from the media decoding means (3). May be used to adaptively change the offset delay.
【0050】次に本発明に係る網間接続装置は、その好
ましい実施の形態において、図18を参照すると、異な
る伝送方式を使用する第1のネットワークと第2のネッ
トワークの間に配設され、前記第1のネットワークに接
続された端末と前記第2のネットワークに接続された端
末とを相互接続し、音声信号、映像信号、及び制御情報
等の符号化データを転送するものであって、前記符号化
データには、タイムスタンプやシーケンスナンバを少な
くとも含むアダプテーション情報が付加されており、網
間接続装置は、前記第1のネットワークから前記第2の
ネットワークに向かう網間接続手段を備え、前記網間接
続手段が、前記符号化データの多重化ビットストリーム
を多重化分離する多重化分離手段(201)と、前記ア
ダプテーション情報を処理し、同期制御、廃棄制御等を
行うアダプテーション情報処理手段(202)と、前記
アダプテーション情報処理手段から与えられる第1の制
御情報の符号化データを変換するか、もしくは新たに生
成し、第2の制御情報の符号化データを出力する制御情
報トランスコード手段(203)と、アダプテーション
情報処理手段(202)から与えられる第1のメディア
情報の符号化データを、制御情報トランスコード手段
(203)からの制御出力に応じて変換するか、もしく
は通過し、第2のメディア情報の符号化データを出力す
るメディア・トランスコード手段(204)と、制御情
報トランスコード手段(203)及びメディア・トラン
スコード手段(204)からの符号化データ出力を受
け、新たなアダプテーション情報を付加するアダプテー
ション情報付加手段(205)と、前記アダプテーショ
ン情報付加手段の出力を多重化してネットワークに送出
する多重化手段(206)と、を備える。Next, an interworking apparatus according to the present invention, in a preferred embodiment thereof, is arranged between a first network and a second network using different transmission systems, as shown in FIG. Interconnecting a terminal connected to the first network and a terminal connected to the second network, and transferring encoded data such as an audio signal, a video signal, and control information, Adapted information including at least a time stamp and a sequence number is added to the encoded data, and the internetwork connecting apparatus includes internetwork connecting means for going from the first network to the second network. Multiplexing / demultiplexing means (201) for multiplexing / demultiplexing a multiplexed bit stream of the encoded data; And an adaptation information processing means (202) for performing synchronization control, discard control, etc., and converting or newly generating encoded data of the first control information given from the adaptation information processing means. Control information transcoding means (203) for outputting encoded data of the second control information; and control information transcoding means (203) for encoding the encoded data of the first media information provided from the adaptation information processing means (202). Media transcoding means (204) for converting or passing according to the control output from the control unit and outputting encoded data of the second media information, control information transcoding means (203) and media transcoding Receiving encoded data output from the means (204) and adding new adaptation information That includes a adaptation information adding means (205), and a multiplexing means (206) for sending to the network by multiplexing the output of the adaptation information adding means.
【0051】このアダプテーション情報処理手段(20
2)は、前記マルチメディア端末装置における、アダプ
テーション情報処理手段(2)と同一の構成とされる。The adaptation information processing means (20
2) has the same configuration as the adaptation information processing means (2) in the multimedia terminal device.
【0052】本発明に係る網間接続装置は、その好まし
い実施の形態において、図19を参照すると、制御情報
トランスコード手段は、前記第1の制御情報の符号化デ
ータを復号する制御情報復号手段(211)と、前記ア
ダプテーション情報処理手段(202)から得られるネ
ットワーク品質情報を保持する品質統計量保持手段(2
12)と、前記品質統計量保持手段(212)に保持さ
れたネットワーク品質情報を用いて前記第1の制御情報
を変換し、必要に応じて新たに生成を行い、前記第2の
制御情報を出力する制御情報変換生成手段(213)
と、前記第1の制御情報及び前記第2の制御情報を解析
・蓄積する制御情報解析手段(215)と、前記第2の
制御情報を符号化する制御情報符号化手段(214)
と、備える。In a preferred embodiment of the interworking apparatus according to the present invention, referring to FIG. 19, the control information transcoding means comprises control information decoding means for decoding the encoded data of the first control information. (211) and a quality statistic holding unit (2) for holding network quality information obtained from the adaptation information processing unit (202).
12) and converting the first control information using the network quality information held by the quality statistic holding means (212), newly generating the control information as needed, and converting the second control information Output control information conversion generation means (213)
Control information analyzing means (215) for analyzing and accumulating the first control information and the second control information; and control information encoding means (214) for encoding the second control information.
And prepare.
【0053】本発明に係る網間接続装置は、その好まし
い実施の形態において、図20を参照すると、前記メデ
ィア・トランスコード手段が、前記第1のメディア情報
の符号化データを復号するメディア復号手段(222)
と、前記メディア復号手段の出力をトランスコードする
メディア符号化手段(223)と、制御情報トランスコ
ード手段(203)から与えられる制御情報に従ってメ
ディア情報のトランスコードの実行を制御する切り替え
手段(221、224)と、を備える。In a preferred embodiment of the interworking apparatus according to the present invention, referring to FIG. 20, the media transcoding means comprises a media decoding means for decoding encoded data of the first media information. (222)
Media encoding means (223) for transcoding the output of the media decoding means, and switching means (221, 221) for controlling the execution of transcoding of the media information according to the control information given from the control information transcoding means (203). 224).
【0054】上記した本発明の実施の形態についてさら
に詳細に説明すべく、本発明の各種実施例について図面
を参照して以下に詳細に説明する。In order to describe the above-described embodiment of the present invention in more detail, various embodiments of the present invention will be described below in detail with reference to the drawings.
【0055】[0055]
【実施例】図1は、本発明の第1の実施例をなすマルチ
メディア端末装置の構成を示す図である。図1を参照す
ると、本発明の第1の実施例は、多重化分離回路1と、
アダプテーション情報処理回路2と、メディア復号回路3
と、メディア出力回路4と、制御情報復号回路5と、品質
統計量保持回路6と、制御回路7とを備えている。これら
の回路の概略は次のように機能動作するように構成され
ている。FIG. 1 is a diagram showing a configuration of a multimedia terminal device according to a first embodiment of the present invention. Referring to FIG. 1, a first embodiment of the present invention includes a multiplexing / demultiplexing circuit 1,
Adaptation information processing circuit 2 and media decoding circuit 3
, A media output circuit 4, a control information decoding circuit 5, a quality statistic holding circuit 6, and a control circuit 7. The outline of these circuits is configured to operate as follows.
【0056】多重化分離回路1は、ネットワークから受
信した音声、映像信号、制御情報などの符号化データの
多重化されたビットストリームを多重化分離する。な
お、音声情報、映像情報、制御情報それぞれについて、
タイムスタンプ、シーケンスナンバ、誤り検出符号、誤
り訂正符号などのアダプテーション情報が付加されてい
るものとする。なお、以下では、符号化データは、パケ
ットとして転送されているものとして説明するが、ISDN
のような固定遅延網では、各データが時分割スロット上
にあらかじめ定められた多重化パターンに従って配置さ
れている場合もある。この場合でも、パケットを時分割
スロットに置きかえることで、本発明は、適用できるこ
とは勿論である。The demultiplexing circuit 1 demultiplexes a multiplexed bit stream of coded data such as audio, video signals and control information received from the network. For each of the audio information, video information, and control information,
It is assumed that adaptation information such as a time stamp, a sequence number, an error detection code, and an error correction code is added. In the following, description is made assuming that the encoded data is transferred as a packet.
In such a fixed delay network, each data may be arranged on a time-division slot according to a predetermined multiplexing pattern. Even in this case, the present invention can be applied by replacing the packet with the time division slot.
【0057】またアダプテーション情報処理回路2は、
多重化分離回路1によって分離された音声、映像、制御
情報などの符号化データそれぞれについて、付加された
アダプテーション情報に従い、誤り検出、誤り訂正、同
期管理、廃棄制御、などのアダプテーション処理を実行
する。このアダプテーション情報処理回路2の詳細な構
成、及び動作については後述する。The adaptation information processing circuit 2
Adaptation processing such as error detection, error correction, synchronization management, and discard control is performed on each of the encoded data such as audio, video, and control information separated by the demultiplexing / demultiplexing circuit 1 in accordance with the added adaptation information. The detailed configuration and operation of the adaptation information processing circuit 2 will be described later.
【0058】そしてメディア復号回路3は、アダプテー
ション情報処理回路2によって適切な同期管理、誤り制
御などの施された音声、映像の符号化データを復号す
る。符号化アルゴリズムとしては、音声信号の場合はIT
U−T G勧告シリーズ、音響信号の場合はISO/IECのMPEG
オーディオ規格、映像信号の場合はITU−TのH.26x勧告
シリーズやISO/IECのMPEGビデオ規格などが知られてお
り、メディア復号回路3はこれらの規格に従って復号動
作を行う。The media decoding circuit 3 decodes the encoded audio and video data on which the appropriate synchronization management and error control have been performed by the adaptation information processing circuit 2. The coding algorithm is IT for audio signals.
U-TG Recommendation Series, ISO / IEC MPEG for audio signals
In the case of audio standards and video signals, ITU-T H.26x recommendation series and ISO / IEC MPEG video standards are known, and the media decoding circuit 3 performs a decoding operation according to these standards.
【0059】メディア出力回路4は、メディア復号回路3
の出力として与えられる音声、映像などのメディア情報
を出力再生、表示する。The media output circuit 4 is a media decoding circuit 3
Output, reproduce, and display media information such as audio and video provided as an output.
【0060】制御情報復号回路5は、アダプテーション
情報処理回路2によって適切な誤り制御等が施された制
御情報の符号化データを復号する。符号化アルゴリズム
としては、ITU−TH.245勧告で使用されているASN.1 PER
方式や、ITU−T H.221勧告やMPEG−2 Systems で用いら
れているビット単位のシンタクスを用いる方式が知られ
ており、制御情報復号回路5はこれらに従った復号動作
を実行する。The control information decoding circuit 5 decodes the coded data of the control information to which appropriate error control or the like has been performed by the adaptation information processing circuit 2. As an encoding algorithm, ASN.1 PER used in the ITU-TH.245 recommendation is used.
A method and a method using bit-unit syntax used in the ITU-T H.221 recommendation and MPEG-2 Systems are known, and the control information decoding circuit 5 executes a decoding operation according to these.
【0061】品質統計量保持回路6は、アダプテーショ
ン情報処理回路2によって与えられるビット誤り率、パ
ケット廃棄率、パケット転送遅延、パケット転送遅延の
揺らぎなどの情報からネットワークの品質統計量を計算
し、これらを保持する。The quality statistic holding circuit 6 calculates the quality statistic of the network from information such as the bit error rate, the packet discard rate, the packet transfer delay, and the fluctuation of the packet transfer delay provided by the adaptation information processing circuit 2. Hold.
【0062】制御回路7は、制御情報復号回路5から与え
られる制御情報と品質統計量保持回路6に蓄積されたネ
ットワークの品質統計量を用いて、端末の適切な制御動
作を実行する。The control circuit 7 uses the control information given from the control information decoding circuit 5 and the quality statistics of the network stored in the quality statistics holding circuit 6 to execute an appropriate control operation of the terminal.
【0063】図2は、図1に示した本発明の第1の実施
例におけるアダプテーション情報処理回路2の構成を示
す図である。図2を参照すると、アダプテーション情報
処理回路2は、パケット受信回路11と、アダプテーショ
ン情報分離回路12と、アダプテーション情報保持回路13
と、オフセット遅延付加回路15と、アダプテーション処
理回路16と、出力タイミング発生回路17と、蓄積回路18
とを備えている。図1では図示されていないが、アダプ
テーション情報処理回路2の外部には、図2に示すよう
に、クロック生成回路14が配設されている。FIG. 2 is a diagram showing a configuration of the adaptation information processing circuit 2 in the first embodiment of the present invention shown in FIG. Referring to FIG. 2, the adaptation information processing circuit 2 includes a packet reception circuit 11, an adaptation information separation circuit 12, and an adaptation information holding circuit 13
, An offset delay adding circuit 15, an adaptation processing circuit 16, an output timing generating circuit 17, and a storage circuit 18.
And Although not shown in FIG. 1, a clock generation circuit 14 is provided outside the adaptation information processing circuit 2 as shown in FIG.
【0064】また図2を参照すると、受信パケットはア
ダプテーション情報と符号化データよりなる。Referring again to FIG. 2, the received packet includes adaptation information and encoded data.
【0065】アダプテーション情報処理回路2を構成す
る上記各回路は概略以下のような機能を有する。Each of the above circuits constituting the adaptation information processing circuit 2 has the following functions.
【0066】パケット受信回路11は、多重化分離回路1
から与えられるパケットを受信する。The packet receiving circuit 11 includes a demultiplexing circuit 1
Receives the packet given by.
【0067】アダプテーション情報分離回路12は、パケ
ット受信回路11から与えられるパケットをアダプテーシ
ョン情報と符号化データとに分離する。符号化データ
は、音声、映像、制御情報などの符号化データそのもの
である。また、アダプテーション情報を検査し、データ
誤りなどによってアダプテーション処理が不可能な場合
にはパケットを廃棄し、パケットの廃棄を品質統計量保
持回路6に通知する。The adaptation information separating circuit 12 separates a packet supplied from the packet receiving circuit 11 into adaptation information and encoded data. The encoded data is encoded data itself such as audio, video, control information, and the like. In addition, the adaptation information is checked, and if the adaptation processing cannot be performed due to a data error or the like, the packet is discarded, and the discard of the packet is notified to the quality statistic holding circuit 6.
【0068】アダプテーション情報保持回路13は、アダ
プテーション情報分離回路12によって分離されたアダプ
テーション情報を蓄積する。The adaptation information holding circuit 13 accumulates the adaptation information separated by the adaptation information separation circuit 12.
【0069】オフセット遅延付加回路15は、クロック生
成回路14から与えられる時刻情報にあらかじめ定められ
たオフセット遅延の値を加えて出力とする。オフセット
遅延の値の決定としては、あらかじめ定めたオフセット
値にセットするか、あるいは最初に到着したパケットの
タイムスタンプに従ってセットする、等の形態で行われ
る。The offset delay adding circuit 15 adds a predetermined offset delay value to the time information supplied from the clock generating circuit 14 and outputs the result. The value of the offset delay is determined by, for example, setting the offset value to a predetermined offset value or setting the value according to the time stamp of the packet that has arrived first.
【0070】アダプテーション処理回路16は、アダプテ
ーション情報保持回路13から与えられるアダプテーショ
ン情報、及びオフセット遅延付加回路15から与えられる
時刻情報に従い、アダプテーション情報分離回路12から
与えられる符号化データに対して、誤り検出、誤り訂
正、遅延制御、廃棄制御などのアダプテーション処理を
適宜実行し、蓄積回路18に符号化データを書き込む。ま
た、アダプテーション処理の結果として得られるネット
ワークの品質に関する統計量を、アダプテーション情報
処理回路2の外部に設けられている品質統計量保持回路6
に渡す。このアダプテーション処理回路16の詳細な構
成、及び動作については後述する。The adaptation processing circuit 16 performs error detection on the encoded data supplied from the adaptation information separating circuit 12 in accordance with the adaptation information supplied from the adaptation information holding circuit 13 and the time information supplied from the offset delay adding circuit 15. Adaptation processing such as error correction, delay control, and discard control is appropriately performed, and the encoded data is written to the storage circuit 18. Further, a statistic related to network quality obtained as a result of the adaptation processing is stored in a quality statistic holding circuit 6 provided outside the adaptation information processing circuit 2.
Pass to. The detailed configuration and operation of the adaptation processing circuit 16 will be described later.
【0071】出力タイミング発生回路17は、アダプテー
ション情報保持回路13から与えられるアダプテーション
情報としてのタイムスタンプ、ならびにオフセット遅延
付加回路15から与えられる時刻情報に従い、適切なタイ
ミングで蓄積回路18から符号化データを出力するように
指示を与え、同時に、アダプテーション情報処理回路2
の外部に設けられているメディア復号回路3又は制御情
報復号回路5に復号動作の開始を指示する。The output timing generation circuit 17 converts the encoded data from the storage circuit 18 at an appropriate timing in accordance with the time stamp as the adaptation information given from the adaptation information holding circuit 13 and the time information given from the offset delay adding circuit 15. Output, and at the same time, adaptation information processing circuit 2
Is instructed to start a decoding operation to the media decoding circuit 3 or the control information decoding circuit 5 provided outside the device.
【0072】ネットワークが固定遅延網で、アダプテー
ション情報としてタイムスタンプが提供されない場合に
は、ネットワークが固定遅延を保証しているため、オフ
セット遅延付加回路15から与えられる時刻情報のみを用
いてタイミング情報を発生してもよい。When the network is a fixed delay network and a time stamp is not provided as adaptation information, since the network guarantees a fixed delay, the timing information is obtained using only the time information provided from the offset delay adding circuit 15. May occur.
【0073】蓄積回路18は、アダプテーション処理回路
16から与えられる符号化データを所定の形式で保持し、
また出力タイミング発生回路17から与えられるタイミン
グで保持した符号化データを出力し、外部の復号回路に
符号化データを渡す。この蓄積回路18の詳細な構成、及
び動作については後述する。The storage circuit 18 is an adaptation processing circuit
Holding the encoded data given from 16 in a predetermined format,
Also, it outputs the encoded data held at the timing given from the output timing generation circuit 17 and passes the encoded data to an external decoding circuit. The detailed configuration and operation of the storage circuit 18 will be described later.
【0074】アダプテーション情報処理回路2の外部に
存在するクロック生成回路14は、オフセット遅延付加回
路15、ならびに、本実施例では説明を省略するが、端末
全体の各回路へのクロックを供給する。The clock generation circuit 14 existing outside the adaptation information processing circuit 2 supplies a clock to the offset delay addition circuit 15 and, although not described in the present embodiment, to each circuit of the entire terminal.
【0075】端末が存在するネットワーク環境によって
は、ISDNのようにネットワークから網クロックが供給さ
れる場合、MPEG−2Systemsのようにビットストリーム中
に参照クロックが埋め込まれて配送される場合などがあ
り、それぞれのクロック情報は、クロック生成回路14の
出力を制御するための入力として利用してもよい。Depending on the network environment in which the terminal exists, there is a case where a network clock is supplied from a network like ISDN, and a case where a reference clock is embedded in a bit stream like MPEG-2 Systems and delivered. Each piece of clock information may be used as an input for controlling the output of the clock generation circuit 14.
【0076】また、アダプテーション情報処理回路2の
外部に存在する復号回路は、符号化データに応じて、メ
ディア復号回路3である場合と制御情報復号回路5である
場合とがある。The decoding circuit existing outside the adaptation information processing circuit 2 may be a media decoding circuit 3 or a control information decoding circuit 5 depending on the encoded data.
【0077】図3は、図2に示した本発明の一実施例の
アダプテーション処理回路16の構成を示す図である。図
3を参照すると、アダプテーション処理回路16は、誤り
検出回路21と、誤り訂正回路22と、タイムアウト判定回
路23と、順序番号比較回路24と、書き込み回路25とを備
えている。これら各回路の機能・動作は以下の様なもの
となる。FIG. 3 is a diagram showing the configuration of the adaptation processing circuit 16 of one embodiment of the present invention shown in FIG. Referring to FIG. 3, the adaptation processing circuit 16 includes an error detection circuit 21, an error correction circuit 22, a timeout determination circuit 23, a sequence number comparison circuit 24, and a write circuit 25. The functions and operations of these circuits are as follows.
【0078】誤り検出回路21は、アダプテーション情報
保持回路13から与えられる誤り検出符号を用いて符号化
データ中の誤りを検出し、符号化データを誤り訂正回路
22に渡す。また、得られたビット誤り率を品質統計量保
持回路6に渡す。The error detection circuit 21 detects an error in the coded data using the error detection code given from the adaptation information holding circuit 13 and converts the coded data into an error correction circuit.
Pass to 22. Further, the obtained bit error rate is passed to the quality statistic holding circuit 6.
【0079】誤り訂正回路22は、アダプテーション情報
保持回路13から与えられる誤り訂正符号を用いて符号化
データ中の誤りを訂正し、誤りが訂正不可能な場合は符
号化データを廃棄する。また、得られたパケット廃棄数
を品質統計量保持回路6に渡す。なお、符号化データ中
に誤りがない場合には、誤り訂正回路22は何もしない。The error correction circuit 22 corrects an error in the coded data using the error correction code provided from the adaptation information holding circuit 13, and discards the coded data if the error cannot be corrected. The obtained packet discard number is passed to the quality statistic holding circuit 6. When there is no error in the encoded data, the error correction circuit 22 does nothing.
【0080】タイムアウト判定回路23は、アダプテーシ
ョン情報保持回路13から与えられるタイムスタンプ値と
オフセット遅延付加回路15から与えられる時刻情報とを
比較し、タイムスタンプ値が時刻情報よりも大きい場合
にはパケットの到着時刻が遅すぎると判断して符号化デ
ータを廃棄する。また、得られたパケット廃棄数、転送
遅延、転送遅延の揺らぎ情報(ジッタ)を品質統計量保持
回路6に渡す。The time-out judgment circuit 23 compares the time stamp value given from the adaptation information holding circuit 13 with the time information given from the offset delay adding circuit 15, and if the time stamp value is larger than the time information, the It determines that the arrival time is too late and discards the encoded data. Further, the obtained packet discard number, transfer delay, and transfer delay fluctuation information (jitter) are passed to the quality statistic holding circuit 6.
【0081】順序番号比較回路24は、アダプテーション
情報保持回路13から与えられるシーケンスナンバと期待
されるシーケンスナンバとの比較を行い、シーケンスナ
ンバのスキップ、あるいは逆転が生じた場合には後述す
るメカニズムで、品質統計量保持回路6のパケット廃棄
数の情報を更新する。The sequence number comparing circuit 24 compares the sequence number given from the adaptation information holding circuit 13 with the expected sequence number, and when the sequence number is skipped or reversed, a mechanism described later is used. The information of the number of discarded packets of the quality statistic holding circuit 6 is updated.
【0082】書き込み回路25は、アダプテーション情報
保持回路13から与えられるタイムスタンプ値とシーケン
スナンバに従い、一通りのアダプテーション処理の終了
した符号化データを蓄積回路18に書き込む。なお、伝送
方式によっては上記のアダプテーション情報がすべて提
供されるとは限らず、その場合には対応する回路を省略
してアダプテーション処理を実行する。The writing circuit 25 writes the encoded data, which has undergone one kind of adaptation processing, to the storage circuit 18 in accordance with the time stamp value and the sequence number given from the adaptation information holding circuit 13. Note that not all of the above adaptation information is provided depending on the transmission method, and in that case, the corresponding circuit is omitted and the adaptation processing is executed.
【0083】図4は、図2に示した蓄積回路18の構成の
一例を示す図である。図4を参照すると、蓄積回路18
は、読み出し制御回路26と記憶回路27とを備えている。FIG. 4 is a diagram showing an example of the configuration of the storage circuit 18 shown in FIG. Referring to FIG. 4, the storage circuit 18
Includes a read control circuit 26 and a storage circuit 27.
【0084】読み出し制御回路26は、出力タイミング発
生回路17から与えられる出力タイミングに従い、記憶回
路27に蓄積された符号化データの出力を制御する。The read control circuit 26 controls the output of the encoded data stored in the storage circuit 27 according to the output timing given from the output timing generation circuit 17.
【0085】記憶回路27は、アダプテーション処理回路
16から与えられる符号化データ、ならびにシーケンスナ
ンバ、タイムスタンプなどのアダプテーション情報を保
持し、読み出し制御回路26からの指示に従って符号化デ
ータを出力し、復号回路に渡す。The storage circuit 27 is an adaptation processing circuit
It holds encoded data provided from 16 and adaptation information such as a sequence number and a time stamp, outputs encoded data in accordance with an instruction from the read control circuit 26, and passes it to a decoding circuit.
【0086】図5は、蓄積回路18で蓄積管理される符号
化データ、及び付随する管理データの一例を示す図であ
る。図5を参照すると、蓄積回路18は、シーケンスナン
バ、もしくはそれを縮退させた番号毎に記憶領域を有し
ており、その記憶領域は、さらにタイムスタンプ、デー
タ領域の有効フラグ、区切りフラグ、有効データ長、な
らびに符号化データを保持するデータ領域から構成され
ている。なお、管理情報の保持については、読み出し制
御回路26が保持する場合、記憶回路27が保持する場合等
いずれの構成としてもよい。FIG. 5 is a diagram showing an example of encoded data stored and managed by the storage circuit 18 and associated management data. Referring to FIG. 5, the storage circuit 18 has a storage area for each sequence number or a degenerated number thereof, and the storage area further includes a time stamp, a valid flag of a data area, a delimiter flag, It consists of a data length and a data area that holds encoded data. The management information may be held by the read control circuit 26 or by the storage circuit 27.
【0087】蓄積回路18において、シーケンスナンバの
最大値に一致する数の記憶領域を準備してもよいが、例
えばシーケンスナンバが16ビットで表現される場合、65
536(=2の16乗)個分の記憶領域を用意しなければなら
ず、不効率である。そこで、例えばシーケンスナンバの
下4ビット分に相当する縮退(degeneration)を行えば、
記憶領域の数は16(=2の4乗)個で済む。In the storage circuit 18, a number of storage areas corresponding to the maximum value of the sequence number may be prepared. For example, when the sequence number is represented by 16 bits, 65
536 (= 2 to the 16th power) storage areas must be prepared, which is inefficient. Therefore, for example, if degeneration corresponding to the lower 4 bits of the sequence number is performed,
The number of storage areas can be 16 (= 2 to the fourth power).
【0088】また、タイムスタンプは、例えば映像信号
のように1フレームの情報が複数のパケットに分割され
て送出される場合、同じフレームを構成する符号化デー
タを識別するのに有効である。データ領域の有効フラグ
は、例えば初期値は「0」とし、符号化データが正しく
到着した場合に「1」とする。これによって、符号化デ
ータが廃棄された場合には有効フラグは「0」のままで
あり、対応するシーケンスナンバの符号化データは復号
回路には渡されない。The time stamp is effective for identifying encoded data constituting the same frame when information of one frame is divided into a plurality of packets and transmitted, such as a video signal. For example, the initial value of the valid flag of the data area is “0”, and is “1” when the encoded data has correctly arrived. As a result, when the encoded data is discarded, the valid flag remains “0”, and the encoded data of the corresponding sequence number is not passed to the decoding circuit.
【0089】区切りフラグは、例えば映像信号のように
1フレームの情報が複数のパケットに分割されて送出さ
れる場合、対応するパケットがフレームの最後の情報で
あることを示すために使用される。この機能は、例えば
既にIETFRTPのMフィールドとして提供されているもの
で、本発明でもオプションとして使用する。また、音声
のような短いデータ長の場合には、一般的に1つのパケ
ット単位に区切りになる。複数の有効データ長は、受け
取った符号化データ、すなわちパケット単位の符号化デ
ータの長さを示す情報である。MPEG−2TSのように固定
長パケットを強いる伝送方式もあるが、一般的には符号
化データの長さはパケット毎に異なっており、それを示
すために使用される。When one frame of information is divided into a plurality of packets and transmitted, such as a video signal, the delimiter flag is used to indicate that the corresponding packet is the last information of the frame. This function is already provided, for example, as the M field of IETFRTP, and is used as an option in the present invention. In the case of a short data length such as voice, the data is generally divided into one packet unit. The plurality of effective data lengths are information indicating the length of the received encoded data, that is, the encoded data in packet units. Although there is a transmission method such as MPEG-2TS that imposes fixed-length packets, the length of encoded data generally differs from packet to packet, and is used to indicate this.
【0090】データ領域は、符号化データを蓄積するた
めの領域である。The data area is an area for storing encoded data.
【0091】図6は、本発明の第1の実施例におけるア
ダプテーション情報処理回路2の動作の一例を示すフロ
ーチャートである。図6、及び図2を参照して、アダプ
テーション情報処理回路2の動作を説明する。FIG. 6 is a flowchart showing an example of the operation of the adaptation information processing circuit 2 according to the first embodiment of the present invention. The operation of the adaptation information processing circuit 2 will be described with reference to FIGS.
【0092】ステップ31で、アダプテーション情報処理
が開始される。At step 31, the adaptation information processing is started.
【0093】ステップ32でパケットを受信した場合には
ステップ33に進み、受信していない場合は元に戻りパケ
ットの受信を待つ。以上が、パケット受信回路11の動作
である。If a packet has been received in step 32, the process proceeds to step 33, and if not, the process returns to the beginning and waits for reception of the packet. The above is the operation of the packet receiving circuit 11.
【0094】ステップ33では、受信したパケットからア
ダプテーション情報と符号化データを分離し、ステップ
34に進む。In step 33, the adaptation information and the encoded data are separated from the received packet.
Proceed to 34.
【0095】ステップ34では、アダプテーション情報を
検査し、アダプテーション処理が不可能な場合はステッ
プ35に進み、アダプテーション処理が可能な場合はステ
ップ36に進む。In step 34, the adaptation information is checked. If the adaptation processing is not possible, the process proceeds to step 35, and if the adaptation process is possible, the process proceeds to step 36.
【0096】ステップ35では、パケットの廃棄を実行
し、パケットの受信待ち状態に戻る。以上が、アダプテ
ーション情報分離回路12の動作である。In step 35, the packet is discarded, and the process returns to the packet waiting state. The above is the operation of the adaptation information separation circuit 12.
【0097】ステップ36では、アダプテーション処理を
実行し、符号化データを蓄積し、パケットの受信待ち状
態に戻る。ステップ36は、アダプテーション処理回路16
の動作であり、その詳細については後述する。In step 36, an adaptation process is executed, the encoded data is accumulated, and the process returns to a packet reception waiting state. Step 36 is the adaptation processing circuit 16
The operation will be described later in detail.
【0098】ステップ37では、出力時刻かどうかを検査
し、出力時刻であれば符号化データを送出してステップ
38に進み、出力時刻でなければ出力時刻の待ち状態に戻
る。At step 37, it is checked whether or not the time is the output time.
Proceed to 38 and return to the wait state for the output time if it is not the output time.
【0099】ステップ38では、外部の復号回路に符号化
データを出力し、終了後、出力時刻の待ち状態に戻る。
以上が蓄積回路18の動作であり、ステップ38の詳細につ
いては後述する。In step 38, the coded data is output to the external decoding circuit, and after completion, the process returns to the wait state for the output time.
The above is the operation of the storage circuit 18, and the details of step 38 will be described later.
【0100】図7は、図6のステップ36(アダプテーシ
ョン処理)の動作の詳細を示すフローチャートである。
図7及びアダプテーション処理回路16の構成を示す図
3を参照して、アダプテーション処理について以下に説
明する。FIG. 7 is a flowchart showing details of the operation of step 36 (adaptation processing) in FIG.
With reference to FIG. 7 and FIG. 3 showing the configuration of the adaptation processing circuit 16, the adaptation processing will be described below.
【0101】ステップ41では、符号化データ中にデータ
誤りがないかどうか検査を行い、データ誤りがない場合
はステップ45に進み、データ誤りがある場合はステップ
42に進む。以上は、誤り検出回路21の動作である。In step 41, it is checked whether there is a data error in the encoded data. If there is no data error, the process proceeds to step 45. If there is a data error, the process proceeds to step 45.
Proceed to 42. The above is the operation of the error detection circuit 21.
【0102】ステップ42では、ステップ41によってデー
タ誤りが検出された場合、そのデータ誤りが訂正かどう
か検査を行い、訂正可能である場合はステップ43に進
み、訂正不可能である場合はステップ44に進む。ステッ
プ43では、データ誤りの訂正を行い、ステップ45に進
む。ステップ44では符号化データを廃棄し、パケットの
受信待ち状態に戻る。以上は、誤り訂正回路22の動作で
ある。In step 42, if a data error is detected in step 41, it is checked whether the data error is corrected. If the data error can be corrected, the process proceeds to step 43, and if not, the process proceeds to step 44. move on. In step 43, a data error is corrected, and the process proceeds to step 45. In step 44, the encoded data is discarded, and the process returns to a packet reception waiting state. The above is the operation of the error correction circuit 22.
【0103】ステップ45では、タイムスタンプ値とオフ
セット時刻の比較を行い、パケットの到着がタイムアウ
ト時刻を越えている場合にはステップ44に進み、超えて
いない場合にはステップ46に進む。以上は、タイムアウ
ト判定回路23の動作である。In step 45, the time stamp value is compared with the offset time. If the packet arrival exceeds the timeout time, the flow proceeds to step 44, and if not, the flow proceeds to step 46. The above is the operation of the timeout determination circuit 23.
【0104】ステップ46では、実際のシーケンスナンバ
と保存された期待されるシーケンスナンバ値との比較を
行い、実際のシーケンスナンバが期待されるシーケンス
ナンバの値に一致した場合はステップ50に進み、一致し
ない場合はステップ47に進む。In step 46, the actual sequence number is compared with the stored expected sequence number value. If the actual sequence number matches the expected sequence number value, the process proceeds to step 50, where If not, go to step 47.
【0105】図8は、図6のステップ38(出力処理)の
動作の詳細を示すフローチャートでより、図3の書き込
み回路25の制御動作を示している。FIG. 8 is a flowchart showing the details of the operation of step 38 (output processing) in FIG. 6, and shows the control operation of the write circuit 25 in FIG.
【0106】ステップ51では、蓄積回路18において、
現在のポインタが示す記憶領域の有効フラグを取得し、
ステップ52に進む。In step 51, the storage circuit 18
Gets the valid flag of the storage area indicated by the current pointer,
Proceed to step 52.
【0107】ステップ52では、有効フラグに従ってデー
タ領域が有効か否か、すなわち、符号化データが正しく
到着したか廃棄されたかを判定し、データ領域が無効な
場合はステップ53に進み、データ領域が有効な場合はス
テップ54に進む。In step 52, it is determined whether the data area is valid according to the validity flag, that is, whether the encoded data has arrived correctly or has been discarded. If the data area is invalid, the process proceeds to step 53, where the data area is determined. If it is valid, go to step 54.
【0108】ステップ53では、記憶領域を示すポインタ
を一つ進め、ステップ52に戻る。In step 53, the pointer indicating the storage area is advanced by one, and the process returns to step 52.
【0109】ステップ54では、現在のポインタが示す記
憶領域のタイムスタンプを取得し、ステップ55に進む。In step 54, the time stamp of the storage area indicated by the current pointer is obtained, and the flow advances to step 55.
【0110】ステップ55では、出力タイミング発生回路
17から与えられた出力時刻と前記タイムスタンプとの値
を比較し、一致しない場合はステップ56に進み、一致し
た場合はステップ57に進む。In step 55, an output timing generation circuit
The value of the output time provided from 17 is compared with the value of the time stamp. If they do not match, the process proceeds to step 56.
【0111】ステップ56では、前記タイムスタンプの値
が出力時刻の値よりも小さい場合はステップ53に進み、
大きい場合はステップ60に進む。In step 56, if the value of the time stamp is smaller than the value of the output time, the process proceeds to step 53,
If it is larger, go to step 60.
【0112】ステップ57では、現在のポインタが示す記
憶領域の有効データ長に従ってデータ領域のデータを出
力し、すなわち符号化データを出力し、ステップ58に進
む。In step 57, the data in the data area is output according to the effective data length of the storage area indicated by the current pointer, that is, the encoded data is output.
【0113】ステップ58では、現在のポインタが示す記
憶領域の区切りフラグを取得し、ステップ59に進む。In step 58, a delimiter flag of the storage area indicated by the current pointer is obtained, and the flow advances to step 59.
【0114】ステップ59では、現在のポインタが示す記
憶領域の符号化データが復号の区切りかどうかを判定
し、区切りの場合はステップ60に進み、区切りではない
場合はステップ53に進む。あるいはまた、区切りフラグ
を使用しない場合にはステップ58とステップ59が存在せ
ず、ステップ57からステップ53に進むことになる。In step 59, it is determined whether or not the coded data in the storage area indicated by the current pointer is a delimiter for decoding. If it is a delimiter, the flow proceeds to step 60; otherwise, the flow proceeds to step 53. Alternatively, if the delimiter flag is not used, steps 58 and 59 do not exist, and the process proceeds from step 57 to step 53.
【0115】ステップ60では、現在のポインタの値を一
つ進めて保存し、データの出力処理を終了する。In step 60, the current pointer value is advanced by one and stored, and the data output process ends.
【0116】図9は、本発明の第1の実施例によって実
現される符号化、パケット送信、ネットワーク転送、パ
ケット受信、復号の一連の動作を、具体例を用いて時系
列で示したものである。FIG. 9 shows a series of operations of encoding, packet transmission, network transfer, packet reception, and decoding realized by the first embodiment of the present invention in a time series using a concrete example. is there.
【0117】図9を参照すると、送信端末では、時刻10
000、10100、10200、10300、10400、10500において、そ
れぞれメディア情報を入力、符号化、パケット化して、
ネットワークに送信している。なお、図9に示す例で
は、時刻10200に送出されたパケットがネットワーク内
で廃棄されている。Referring to FIG. 9, at the transmitting terminal, time 10
In 000, 10100, 10200, 10300, 10400, 10500, input, encode, packetize media information,
Sending to the network. In the example shown in FIG. 9, the packet transmitted at time 10200 is discarded in the network.
【0118】受信端末では、パケットを受信し、オフセ
ット遅延を加えた時間軸上で、時刻10000、10100、1030
0、10500において、それぞれメディア情報を復号、再生
している。なお、図9に示す例では、時刻10400に復号
が行われるべきパケットが、転送遅延が大きすぎたため
に受信端末内で廃棄されている。At the receiving terminal, the packets are received, and the time 10,000, 10100, 1030
At 0 and 10500, the media information is decoded and reproduced, respectively. In the example shown in FIG. 9, the packet to be decoded at time 10400 is discarded in the receiving terminal because the transfer delay is too large.
【0119】図10、及び図11は、本発明の第1の実
施例によって実現されるパケット受信から復号までの過
程を、具体例を用いて詳細に示したものである。FIGS. 10 and 11 show in detail a process from packet reception to decoding realized by the first embodiment of the present invention, using a specific example.
【0120】図10に示す例では、シーケンスナンバ10
0、101、102を付加されたパケット、及びシーケンスナ
ンバ103、104を付加されたパケットに、それぞれ同じタ
イムスタンプ10000、及び10100が付加されている。ただ
し、シーケンスナンバ101を付加されたパケットは、何
らかの要因で廃棄され、シーケンスナンバのスキップが
生じている。In the example shown in FIG. 10, the sequence number 10
The same time stamps 10000 and 10100 are added to the packets to which 0, 101, and 102 are added, and to the packets to which the sequence numbers 103 and 104 are added. However, the packet to which the sequence number 101 is added is discarded for some reason, and the sequence number is skipped.
【0121】図2に示した蓄積回路18には、シーケンス
ナンバに従った記憶領域に、符号化データが保存されて
いる。オフセット遅延を加えた時間軸上で、時刻1000
0、及び10100に復号が実行される。しかし、シーケンス
ナンバ101に対応するパケットは廃棄されており、時刻1
0000には、復号回路にシーケンスナンバ100と102の符号
化データのみが提供される。ただし、後述するように、
符号化データへの再同期情報の付加によって、誤りの影
響は低く抑えられる。In the storage circuit 18 shown in FIG. 2, encoded data is stored in a storage area according to the sequence number. Time 1000 on the time axis with offset delay
Decoding is performed at 0 and 10100. However, the packet corresponding to sequence number 101 has been discarded, and time 1
In 0000, only the encoded data of the sequence numbers 100 and 102 are provided to the decoding circuit. However, as described below,
By adding the resynchronization information to the encoded data, the effect of the error can be reduced.
【0122】図11に示す例でもまた、シーケンスナン
バ100、101、102を付加されたパケット、及びシーケン
スナンバ103、104を付加されたパケットに、それぞれ同
じタイムスタンプ10000、及び10100が付加されている。
ただし、図10に示す例とは異なり、図11に示す例で
は、シーケンスナンバ101を付加されたパケットは、シ
ーケンスナンバの逆転は発生したが、正しく受信され、
蓄積回路に書き込まれている。このため、時刻10000の
復号実行時にはシーケンスナンバ100、101、102の符号
化データがすべて提供され、廃棄の影響無く復号が行わ
れている。Also in the example shown in FIG. 11, the same time stamps 10000 and 10100 are added to the packets to which sequence numbers 100, 101 and 102 are added, and to the packets to which sequence numbers 103 and 104 are added. .
However, unlike the example shown in FIG. 10, in the example shown in FIG. 11, the packet to which the sequence number 101 is added
Written in the storage circuit. For this reason, at the time of decoding at time 10000, all the encoded data of the sequence numbers 100, 101, and 102 are provided, and decoding is performed without being affected by discard.
【0123】図12は、特に映像信号の場合、符号化デ
ータの具体的な構成方法の一例を示している。図12
(a)は、圧縮データの先頭に再同期情報が付加された形
態、また図12(b)は、圧縮情報の間に再同期情報が挿
入された形態をそれぞれ示している。再同期情報に関し
ては、ISO/IECの映像信号の符号化アルゴリズムである
MPEG−1、MPEG−2、MPEG−4、もしくはITU−TのH.263の
新しいバージョンのように、スライス構造として符号化
アルゴリズム自体によって提供される場合と、ITU−Tの
H.261、もしくはH.263の古いバージョンのように、符号
化アルゴリズムの外側で提供される場合とがある。いず
れにしても、パケットの廃棄が発生した場合でも、この
再同期情報から再び復号を開始することが可能であり、
パケット廃棄の影響を低く抑えることが可能である。FIG. 12 shows an example of a specific method of forming encoded data, particularly in the case of a video signal. FIG.
FIG. 12A shows a form in which resynchronization information is added to the head of compressed data, and FIG. 12B shows a form in which resynchronization information is inserted between compressed information. Regarding resynchronization information, it is an encoding algorithm for ISO / IEC video signals.
When provided by the encoding algorithm itself as a slice structure, such as MPEG-1, MPEG-2, MPEG-4, or a new version of H.263 of ITU-T;
In some cases, such as H.261, or older versions of H.263, are provided outside of the encoding algorithm. In any case, even when a packet is discarded, it is possible to start decoding again from this resynchronization information,
It is possible to suppress the influence of packet discard.
【0124】図13は、図7の流れ図においてステップ
46、47、48、49で示した順序番号比較回路24の動作を、
具体例を用いて示したものである。FIG. 13 is a flowchart showing steps in the flowchart of FIG.
The operation of the sequence number comparison circuit 24 indicated by 46, 47, 48, 49
This is shown using a specific example.
【0125】図13に示す例では、シーケンスナンバが
99、100、103、104、102、105のパケットが順に受信さ
れている。また、シーケンスナンバが99のパケットを受
信する前には、次パケットのシーケンスナンバの期待値
が99、パケット廃棄数を示す廃棄カウンタの値が5に設
定されていたとする。まず、受信したパケットのシーケ
ンスナンバの値が期待値の値に一致した場合には、次パ
ケットのシーケンスナンバの期待値を一つ加算し、廃棄
カウンタの値はそのままにする。In the example shown in FIG. 13, the sequence number is
The packets of 99, 100, 103, 104, 102, and 105 are received in order. Further, it is assumed that the expected value of the sequence number of the next packet is set to 99 and the value of the discard counter indicating the number of discarded packets is set to 5 before receiving the packet having the sequence number of 99. First, when the value of the sequence number of the received packet matches the value of the expected value, one is added to the expected value of the sequence number of the next packet, and the value of the discard counter remains unchanged.
【0126】図13に示す例で、シーケンスナンバ103
のパケットを受信した場合のように、シーケンスナンバ
のスキップが発生した場合には、次パケットのシーケン
スナンバの期待値を、受信したパケットのシーケンスナ
ンバの値に「1」を加えた値にセットし、廃棄カウンタ
には受信したパケットのシーケンスナンバの値からシー
ケンスナンバの期待値を引いた値を加算する。In the example shown in FIG.
If a sequence number skip occurs, as in the case of receiving a packet of the next packet, the expected value of the sequence number of the next packet is set to a value obtained by adding `` 1 '' to the value of the sequence number of the received packet. , A value obtained by subtracting the expected value of the sequence number from the value of the sequence number of the received packet is added to the discard counter.
【0127】また図13に示す例で、シーケンスナンバ
102のパケットを受信した場合のように、シーケンスナ
ンバの逆転が発生した場合には、次パケットのシーケン
スナンバの期待値はそのままにし、廃棄カウンタは1つ
減算する。このような簡単な処理によって、パケット廃
棄率の評価を効率的に行うことができる。Further, in the example shown in FIG.
When the sequence number is reversed, such as when the packet of 102 is received, the expected value of the sequence number of the next packet is left as it is, and the discard counter is decremented by one. By such a simple process, the packet discard rate can be efficiently evaluated.
【0128】以上示したように、本発明の第1の実施例
によって、特にインタネットのような可変遅延網を介し
てマルチメディア情報が多重化されて送信されてくる場
合に、パケットの同期管理、順序制御、廃棄処理などの
アダプテーション処理に関して効率化、簡素化が図ら
れ、特に、すべての処理が逐次的に行われるために、従
来の方式に比して、効果的なマルチメディア処理端末が
実現されている。As described above, according to the first embodiment of the present invention, in particular, when multimedia information is multiplexed and transmitted via a variable delay network such as the Internet, packet synchronization management, Efficiency and simplification of adaptation processing such as order control and discard processing are achieved, and in particular, since all processing is performed sequentially, an effective multimedia processing terminal is realized compared to the conventional method Have been.
【0129】本発明の第1の実施例では、送信端末にお
けるメディア入力から受信端末におけるメディア出力ま
でに要する再生遅延時間やパケット廃棄に大きな影響を
与えるオフセット遅延を固定的に割り当てるものとして
いる。このため、例えばネットワークがすいていて廃
棄、遅延がほとんど生じない場合でも、再生遅延は固定
的に変わらないことになってしまう。In the first embodiment of the present invention, a reproduction delay time required from a media input at a transmitting terminal to a media output at a receiving terminal and an offset delay which has a great influence on packet discarding are fixedly assigned. For this reason, for example, even when the network is busy and discarding and delay hardly occur, the reproduction delay is not fixedly changed.
【0130】そこで、ネットワークの状態に応じて、オ
フセット遅延の値を適応的に制御すればよい。しかし、
全く自由にオフセット遅延の値を変更できるようにする
と、例えば音声のような時間的に連続して再生されるメ
ディア情報において、音声が途切れたり、あるいは突然
短縮されてしまい、主観的な音質が著しく損なわれてし
まうという問題が生じる。本発明の第2の実施例は、こ
の問題に対処するものである。Therefore, the value of the offset delay may be adaptively controlled according to the state of the network. But,
If the value of the offset delay can be changed completely freely, the audio is interrupted or suddenly shortened in media information that is reproduced continuously in time, such as audio, and the subjective sound quality is significantly reduced. There is a problem of being damaged. A second embodiment of the present invention addresses this problem.
【0131】図14は、本発明の第2の実施例のアダプ
テーション情報処理回路2の構成を示す図である。なお
端末の構成は図1に示したものと同様とされる。FIG. 14 is a diagram showing the configuration of the adaptation information processing circuit 2 according to the second embodiment of the present invention. The configuration of the terminal is the same as that shown in FIG.
【0132】図14を参照すると、本発明の第2の実施
例は、アダプテーション情報処理回路2が、パケット受
信回路71と、アダプテーション情報分離回路72と、アダ
プテーション情報保持回路73と、オフセット遅延付加回
路75と、アダプテーション処理回路76と、出力タイミン
グ発生回路77と、蓄積回路78から構成されている。さら
に、図2に示した構成と同様に、アダプテーション情報
処理回路2の外部には、クロック生成回路74が存在して
いる。Referring to FIG. 14, according to the second embodiment of the present invention, the adaptation information processing circuit 2 includes a packet receiving circuit 71, an adaptation information separating circuit 72, an adaptation information holding circuit 73, and an offset delay adding circuit. 75, an adaptation processing circuit 76, an output timing generation circuit 77, and a storage circuit 78. Further, similarly to the configuration shown in FIG. 2, a clock generation circuit 74 exists outside the adaptation information processing circuit 2.
【0133】パケット受信回路71、アダプテーション情
報分離回路72、アダプテーション情報保持回路73、アダ
プテーション処理回路76、出力タイミング発生回路77、
蓄積回路78、ならびにクロック生成回路74の動作は、前
記した本発明の第1の実施例に同じである。A packet receiving circuit 71, an adaptation information separating circuit 72, an adaptation information holding circuit 73, an adaptation processing circuit 76, an output timing generating circuit 77,
The operations of the storage circuit 78 and the clock generation circuit 74 are the same as those in the first embodiment of the present invention.
【0134】本発明の第2の実施例においては、オフセ
ット遅延75に品質統計量回路6と復号回路3からの入力が
加わっていることが、前記第1の実施例と相違してい
る。The second embodiment of the present invention is different from the first embodiment in that inputs from the quality statistic circuit 6 and the decoding circuit 3 are added to the offset delay 75.
【0135】すなわち、オフセット遅延付加回路75は、
クロック生成回路74からのクロック入力に加えて、品質
統計量回路6から与えられるネットワークの品質統計量
と、復号回路3から与えられるメディアの復号状態を入
力とし、オフセット遅延の値を適応的に更新する。That is, the offset delay adding circuit 75
In addition to the clock input from the clock generation circuit 74, the network quality statistic given from the quality statistic circuit 6 and the decoding state of the media given from the decoding circuit 3 are input, and the value of the offset delay is adaptively updated. I do.
【0136】図15は、オフセット遅延付加回路75の動
作の一例を示すフローチャートである。FIG. 15 is a flowchart showing an example of the operation of the offset delay adding circuit 75.
【0137】ステップ81から、オフセット遅延の更新動
作が開始される。At step 81, the operation of updating the offset delay is started.
【0138】ステップ82では、例えば音声の復号回路か
らの入力によって無声区間を検出し、無声区間ではない
場合は次の入力の待ち状態に戻り、無声区間である場合
はステップ83に進む。In step 82, an unvoiced section is detected based on, for example, an input from a speech decoding circuit. If the section is not a voiceless section, the process returns to the standby state for the next input.
【0139】ステップ83では、ネットワークの品質統計
量を評価し、例えば遅延廃棄率が大きく変化した場合は
ステップ84に進み、一方変化していない場合には次の入
力の待ち状態に戻る。In step 83, the quality statistic of the network is evaluated. For example, if the delay discard rate has changed significantly, the process proceeds to step 84, while if it has not changed, the process returns to the state of waiting for the next input.
【0140】ステップ84では、例えば遅延廃棄率が減少
した場合にはステップ85に進み、一方、増加した場合に
はステップ86に進む。In step 84, for example, if the delay discard rate has decreased, the process proceeds to step 85, while if it has increased, the process proceeds to step 86.
【0141】ステップ85ではオフセット遅延を減少し
て、次の入力の待ち状態に戻る。ステップ86ではオフセ
ット遅延を増加して、次の入力の待ち状態に戻る。In step 85, the offset delay is reduced, and the process returns to the state of waiting for the next input. In step 86, the offset delay is increased, and the process returns to the state of waiting for the next input.
【0142】音声の符号化アルゴリズムによっては、例
えばITU−TのG.723.1のように無声区間をシンタクスと
して通知するアルゴリズムもある。また、符号化アルゴ
リズムの外側、すなわちアダプテーション情報の一部と
して、無声区間を通知する方式も存在する。この場合に
は、復号回路からの入力を待たずにオフセット遅延の変
更を実行できる。あるいはまた、映像信号の静止領域を
検出し、この区間を利用してオフセット遅延を変更する
ことも可能である。映像の場合は音声とは異なり、再生
遅延時間が変化してもそれほど気にならないという特徴
もある。一方、再生遅延時間の許容される最大値が決ま
っている場合には、オフセット遅延の最大値がその許容
値を越えないように制御する。この場合、一時的なパケ
ットの大量廃棄や、それによる品質劣化は避けられない
が、ネットワーク、もしくは送信端末に品質改善を要求
するメッセージを通知し、廃棄率が改善されるのを待
つ。Depending on the speech encoding algorithm, there is an algorithm for notifying an unvoiced section as syntax, for example, as in ITU-T G.723.1. There is also a method of notifying an unvoiced section outside the encoding algorithm, that is, as a part of adaptation information. In this case, the offset delay can be changed without waiting for an input from the decoding circuit. Alternatively, it is also possible to detect a still area of the video signal and change the offset delay using this section. In the case of video, unlike audio, there is a characteristic that even if the reproduction delay time changes, the user is not so concerned. On the other hand, when the allowable maximum value of the reproduction delay time is determined, control is performed so that the maximum value of the offset delay does not exceed the allowable value. In this case, it is inevitable that a large amount of packets are temporarily discarded and the quality is deteriorated due to the temporary discarding.
【0143】以上説明したように、本発明の第2の実施
例においては、ネットワークの状況に適応しながら効率
よく再生遅延時間を低く抑え、かつ廃棄率が増加した場
合には適応的に対応するマルチメディア端末装置の実現
が可能になる。As described above, in the second embodiment of the present invention, the reproduction delay time is efficiently reduced while adapting to the network conditions, and the case where the discard rate increases is adaptively dealt with. A multimedia terminal device can be realized.
【0144】上記した本発明の第1の実施例、ならびに
第2の実施例では、マルチメディア端末装置は受信専用
であり、自らの送信手段を備えていない。本発明の第3
の実施例は送信手段を備えたものである。In the above-described first and second embodiments of the present invention, the multimedia terminal device is dedicated to reception and does not have its own transmission means. Third of the present invention
The embodiment of the present invention has a transmitting means.
【0145】図16は、本発明の第3の実施例の構成を
示す図である。図16を参照すると、本発明の第3の実
施例は、多重化分離回路91と、アダプテーション情報処
理回路92と、メディア復号回路93と、メディア出力回路
94と、制御情報復号回路95と、品質統計量保持回路96
と、制御回路97と、制御情報符号化回路98と、メディア
入力回路99と、メディア符号化回路100と、アダプテー
ション情報付加回路101と、多重化回路102とを備えてい
る。FIG. 16 is a diagram showing the configuration of the third embodiment of the present invention. Referring to FIG. 16, a third embodiment of the present invention provides a demultiplexing circuit 91, an adaptation information processing circuit 92, a media decoding circuit 93, a media output circuit
94, a control information decoding circuit 95, and a quality statistic holding circuit 96
, A control circuit 97, a control information encoding circuit 98, a media input circuit 99, a media encoding circuit 100, an adaptation information adding circuit 101, and a multiplexing circuit 102.
【0146】ここで、多重化分離回路91、アダプテーシ
ョン情報処理回路92、メディア復号回路93、メディア出
力回路94、制御情報復号回路95、品質統計量保持回路96
の動作は、上記した本発明の第1の実施例、もしくは第
2の実施例に示した多重化分離回路1、アダプテーショ
ン情報処理回路2、メディア復号回路3、メディア出力回
路4、制御情報復号回路5、品質統計量保持回路6の動作
と同じである。Here, the demultiplexing circuit 91, the adaptation information processing circuit 92, the media decoding circuit 93, the media output circuit 94, the control information decoding circuit 95, the quality statistic holding circuit 96
The operations of the multiplexing / demultiplexing circuit 1, the adaptation information processing circuit 2, the media decoding circuit 3, the media output circuit 4, the control information decoding circuit and the demultiplexing circuit 1 shown in the first embodiment or the second embodiment of the present invention described above. 5. The operation is the same as the operation of the quality statistic holding circuit 6.
【0147】制御回路97は、上記した本発明の第1の実
施例、もしくは第2の実施例と同じく、制御情報復号回
路95から与えられる制御情報と品質統計量保持回路96に
蓄積されたネットワークの品質統計量を用いて端末の適
切な制御動作を実行するが、さらに制御情報を出力す
る。The control circuit 97 includes the control information supplied from the control information decoding circuit 95 and the network stored in the quality statistic holding circuit 96, as in the above-described first or second embodiment of the present invention. Performs an appropriate control operation of the terminal using the quality statistic, and further outputs control information.
【0148】制御情報符号化回路98は、制御回路97の出
力である制御情報を符号化する。メディア入力回路99
は、音声や映像のようなメディア情報を入力する。メデ
ィア符号化回路100は、メディア入力回路99から与えら
れるメディア情報を符号化する。アダプテーション情報
付加回路101は、制御情報符号化回路99、ならびにメデ
ィア符号化回路100から与えられる符号化データに対し
て適切なアダプテーション情報を付加する。多重化回路
102は、アダプテーション情報付加回路101の出力から、
音声、映像信号、制御情報などの符号化データの多重化
されたビットストリームを生成し、ネットワークへ出力
する。The control information encoding circuit 98 encodes control information output from the control circuit 97. Media input circuit 99
Inputs media information such as audio and video. The media encoding circuit 100 encodes the media information provided from the media input circuit 99. The adaptation information adding circuit 101 adds appropriate adaptation information to the encoded data provided from the control information encoding circuit 99 and the media encoding circuit 100. Multiplexing circuit
102 is obtained from the output of the adaptation information adding circuit 101,
It generates a multiplexed bit stream of coded data such as audio, video signals, control information, and outputs the multiplexed bit stream to a network.
【0149】図17は、アダプテーション情報付加回路
101の構成の一例を示す図である。図17を参照する
と、アダプテーション情報付加回路101は、パケット化
回路111と、順序番号付加回路112と、タイムスタンプ付
加回路113と、誤り検出符号・誤り訂正符号付加回路114
とを備える。FIG. 17 shows an adaptation information adding circuit.
FIG. 2 is a diagram showing an example of the configuration of 101. Referring to FIG. 17, the adaptation information adding circuit 101 includes a packetizing circuit 111, a sequence number adding circuit 112, a time stamp adding circuit 113, and an error detecting code / error correcting code adding circuit 114.
And
【0150】パケット化回路111は、符号化回路から与
えられる符号化データを多重化手段に合わせた適切なサ
イズに分割、または統合し、パケットを構成する。The packetizing circuit 111 divides or integrates the encoded data supplied from the encoding circuit into an appropriate size suitable for the multiplexing means, and forms a packet.
【0151】順序番号付加回路112は、主にメディア情
報のパケットに適用され、パケット化回路111から与え
られるパケットに対してシーケンスナンバを付加する。The sequence number adding circuit 112 is mainly applied to a packet of media information, and adds a sequence number to a packet given from the packetizing circuit 111.
【0152】タイムスタンプ付加回路113は、主にメデ
ィア情報のパケットに対して適用され、一般的にはメデ
ィア情報の入力時刻を付加する。The time stamp adding circuit 113 is mainly applied to media information packets, and generally adds the input time of media information.
【0153】誤り検出符号・誤り訂正符号付加回路114
は、構成されたパケットに対する誤り検出符号、誤り訂
正符号を付加して出力し、多重化回路102にパケットを
渡す。多重化回路102に与えたパケットがそのまま転送
される場合もあれば、多重化回路102によって再度パケ
ット化される場合もある。また、MPEG−2TSのように、
パケットに参照クロックの値を付与する場合には、図1
7の構成にさらに参照クロック付加回路を追加する。Error detection code / error correction code adding circuit 114
Adds an error detection code and an error correction code to the composed packet, outputs the packet, and passes the packet to the multiplexing circuit 102. The packet given to the multiplexing circuit 102 may be transferred as it is, or may be packetized again by the multiplexing circuit 102. Also, like MPEG-2TS,
In the case where a reference clock value is added to a packet, FIG.
7, a reference clock adding circuit is further added.
【0154】以上説明したように、本発明の第3の実施
例においては、本発明の効率的なアダプテーション処理
の長所は保ちつつ、受信、送信双方を行うマルチメディ
ア端末装置の実現が可能となる。As described above, in the third embodiment of the present invention, it is possible to realize a multimedia terminal device that performs both reception and transmission while maintaining the advantage of the efficient adaptation processing of the present invention. .
【0155】ただし、以上の上記各実施例に述べた本発
明に係るマルチメディア端末装置におけるアダプテーシ
ョン処理の利点は、異なるネットワークを相互接続する
網間接続装置においても有効である。以下に、本発明に
係る網間接続装置の実施例について説明する。However, the advantage of the adaptation processing in the multimedia terminal device according to the present invention described in each of the above embodiments is also effective in an inter-network connecting device interconnecting different networks. Hereinafter, an embodiment of the network connection apparatus according to the present invention will be described.
【0156】図18は、本発明の第4の実施例の構成を
示す図である。図18を参照すると、本発明の第4の実
施例は、多重化分離回路201と、アダプテーション情報
処理回路202と、制御情報トランスコード回路203と、メ
ディア・トランスコード回路204と、アダプテーション
情報付加回路205と、多重化回路206とを備えている。ま
た、多重化分離回路201は第1のネットワークに、多重
化回路206は第2のネットワークに、それぞれ接続され
ている。FIG. 18 is a diagram showing the configuration of the fourth embodiment of the present invention. Referring to FIG. 18, a fourth embodiment of the present invention provides a demultiplexing circuit 201, an adaptation information processing circuit 202, a control information transcoding circuit 203, a media transcoding circuit 204, and an adaptation information adding circuit. 205 and a multiplexing circuit 206. The demultiplexing circuit 201 is connected to the first network, and the multiplexing circuit 206 is connected to the second network.
【0157】多重化分離回路201は、第1のネットワー
クから受信した音声、映像信号、制御情報などの符号化
データの多重化されたビットストリームを多重化分離す
る。[0157] The demultiplexing circuit 201 demultiplexes and demultiplexes a multiplexed bit stream of coded data such as audio, video signals and control information received from the first network.
【0158】アダプテーション情報処理回路202は、多
重化分離回路201によって分離された音声、映像、制御
情報などの符号化データそれぞれについて、付加された
アダプテーション情報に従い、誤り検出、誤り訂正、同
期管理、廃棄制御、などのアダプテーション処理を実行
する。The adaptation information processing circuit 202 performs error detection, error correction, synchronization management, discarding on encoded data such as audio, video, and control information separated by the demultiplexing circuit 201 in accordance with the added adaptation information. Execute adaptation processing such as control.
【0159】制御情報トランスコード回路203は、アダ
プテーション情報処理回路から与えられる符号化された
第1の制御情報と第1のネットワークの品質情報を入力
とし、第1の制御情報を第2の制御情報に変換、符号化
して出力する。また、保持した制御情報に従って、メデ
ィア・トランスコード回路204のトランスコード動作を
制御する。この制御情報トランスコード回路の詳細な構
成、及び動作については後述する。The control information transcoding circuit 203 receives as input the encoded first control information and the first network quality information provided from the adaptation information processing circuit, and converts the first control information into the second control information. , Encoded and output. In addition, it controls the transcoding operation of the media transcoding circuit 204 according to the held control information. The detailed configuration and operation of this control information transcoding circuit will be described later.
【0160】メディア・トランスコード回路204は、制
御情報トランスコード回路203から与えられる制御情報
に従って、アダプテーション情報処理回路から与えられ
る符号化された第1のメディア情報を第2のメディア情
報にトランスコードして出力する。端末間の事前のネゴ
シエーション、あるいは第1のネットワークと第2のネ
ットワークで伝送帯域の問題が起こらない場合には、ト
ランスコードを行わずに符号化データを通過される場合
もあり、どちらを行うかは制御情報トランスコード回路
203によって決定される。このメディア・トランスコー
ド回路204の詳細な構成、及び動作については後述す
る。The media transcoding circuit 204 transcodes the encoded first media information supplied from the adaptation information processing circuit into second media information in accordance with the control information supplied from the control information transcoding circuit 203. Output. If there is no prior negotiation between the terminals, or if there is no problem with the transmission band between the first network and the second network, the coded data may be passed without transcoding. Is the control information transcoding circuit
Determined by 203. The detailed configuration and operation of the media transcoding circuit 204 will be described later.
【0161】アダプテーション情報付加回路205は、制
御情報トランスコード回路203、ならびにメディア・ト
ランスコード回路204から与えられる符号化データに対
して、第2のネットワークに適合した適切なアダプテー
ション情報を付加する。The adaptation information adding circuit 205 adds appropriate adaptation information suitable for the second network to the encoded data supplied from the control information transcoding circuit 203 and the media transcoding circuit 204.
【0162】多重化回路206は、アダプテーション情報
付加回路205の出力から、音声、映像信号、制御情報な
どの符号化データの多重化されたビットストリームを生
成し、第2のネットワークへ出力する。The multiplexing circuit 206 generates, from the output of the adaptation information adding circuit 205, a multiplexed bit stream of coded data such as audio, video signals, control information and the like, and outputs the multiplexed bit stream to the second network.
【0163】なお、アダプテーション情報処理回路202
は、上記本発明の第1の実施例、もしくは第2の実施例
で説明した、前述のアダプテーション情報処理回路2と
同じものを使用する。また、多重化分離回路201、アダ
プテーション情報付加回路205、多重化回路206は、それ
ぞれ前述の多重化分離回路1、アダプテーション情報付
加回路101、多重化回路102と同じ動作を行う。The adaptation information processing circuit 202
Uses the same one as the adaptation information processing circuit 2 described in the first embodiment or the second embodiment of the present invention. Further, the multiplexing / demultiplexing circuit 201, the adaptation information adding circuit 205, and the multiplexing circuit 206 perform the same operations as the multiplexing / demultiplexing circuit 1, the adaptation information adding circuit 101, and the multiplexing circuit 102, respectively.
【0164】図19は、制御情報トランスコード回路20
3の構成の一例を示す図である。図19を参照すると、
制御情報トランスコード回路203は、制御情報復号回路2
11と、品質統計量保持回路212と、制御情報変換・生成
回路213と、制御情報符号化回路214と、制御情報解析回
路215とを備えている。FIG. 19 shows a control information transcoding circuit 20.
FIG. 6 is a diagram illustrating an example of the configuration of FIG. Referring to FIG.
The control information transcoding circuit 203 includes a control information decoding circuit 2
11, a quality statistic holding circuit 212, a control information conversion / generation circuit 213, a control information encoding circuit 214, and a control information analysis circuit 215.
【0165】制御情報復号回路211は、アダプテーショ
ン情報処理回路202から与えられる第1の制御情報の符
号化データを復号して出力する。The control information decoding circuit 211 decodes and outputs the encoded data of the first control information supplied from the adaptation information processing circuit 202.
【0166】品質統計量保持回路212は、アダプテーシ
ョン情報処理回路202から与えられる第1のネットワー
クの品質情報を保持する。The quality statistic holding circuit 212 holds the quality information of the first network given from the adaptation information processing circuit 202.
【0167】制御情報変換・生成回路213は、入力され
た第1の制御情報を第2の制御情報に変換して出力す
る。あるいはまた、必要に応じて、新規の制御情報を作
成する。制御情報の変換については、すでにITU−TH.24
6勧告に記載されているものはそれに従い、記載されて
いないものは独自のルールを定めて変換するものとす
る。特に、ネットワーク品質に関する制御情報は注意が
必要であり、品質統計量保持回路212に保持されたネッ
トワーク品質情報を参照して動作を決定するが、その詳
細については後述する。The control information conversion / generation circuit 213 converts the input first control information into second control information and outputs it. Alternatively, new control information is created as needed. Regarding the conversion of control information, ITU-TH.24
6 Those described in the recommendation shall be followed, and those not described shall be converted according to their own rules. In particular, it is necessary to pay attention to the control information related to the network quality, and the operation is determined with reference to the network quality information held in the quality statistic holding circuit 212. The details will be described later.
【0168】制御情報符号化回路214は、第2の制御情
報を符号化して出力する。The control information coding circuit 214 codes and outputs the second control information.
【0169】制御情報解析回路215は、制御情報変換・
生成回路213から与えられる第1の制御情報、及び第2
の制御情報を解析し、必要に応じて蓄積し、その後の制
御情報の変換動作で参照できるようにする。また、制御
情報によって判断される送信端末の符号化能力と受信端
末の復号能力の適合性、あるいは制御情報によって判断
される、もしくは推測される第1のネットワークと第2
のネットワークの伝送帯域の適合性などを判断要因とし
て保持し、メディア・トランスコード回路204の動作を
制御する。一般的に、メディア情報のトランスコードは
処理量の大幅な増加を引き起こすので、避けられる場合
には避けた方が良く、また避けられない場合にはその処
理を軽減することが望まれる。このために、網間接続装
置は、端末間、あるいは端末と網間接続装置の間で制御
情報として交換されるメディア情報の符号化・復号能力
を監視し、処理が最小となる組み合わせを選択する、も
しくは端末に選択させるようにしてもよい。The control information analysis circuit 215 converts the control information
The first control information provided from the generation circuit 213 and the second control information
This control information is analyzed, accumulated as necessary, and can be referred to in the subsequent control information conversion operation. Also, the compatibility between the encoding capability of the transmitting terminal and the decoding capability of the receiving terminal determined by the control information, or the first network and the second network determined or estimated by the control information.
Of the transmission band of the network as a determination factor, and controls the operation of the media transcoding circuit 204. In general, transcoding of media information causes a large increase in the amount of processing, so it is better to avoid it if it can be avoided, and it is desirable to reduce the processing if it cannot be avoided. For this purpose, the network connection device monitors the encoding / decoding capability of media information exchanged as control information between terminals or between the terminal and the network connection device, and selects a combination that minimizes processing. Alternatively, the terminal may be made to select.
【0170】なお、制御情報復号回路211、品質統計量
保持回路212、制御情報符号化回路214は、それぞれ前述
の制御情報復号回路95、品質統計量保持回路96、制御情
報符号化回路98と同じ動作を行う。The control information decoding circuit 211, the quality statistic holding circuit 212, and the control information coding circuit 214 are the same as the control information decoding circuit 95, the quality statistic holding circuit 96, and the control information coding circuit 98, respectively. Perform the operation.
【0171】図20は、メディア・トランスコード回路
204の構成の一例を示す図である。図20を参照する
と、メディア・トランスコード回路204は、第1の切り
替え回路221と、メディア復号回路222と、メディア符号
化回路223と、第2の切り替え回路224とを備えている。FIG. 20 shows a media transcoding circuit.
FIG. 2 is a diagram illustrating an example of the configuration of a 204. Referring to FIG. 20, the media transcoding circuit 204 includes a first switching circuit 221, a media decoding circuit 222, a media encoding circuit 223, and a second switching circuit 224.
【0172】第1の切り替え回路221と第2の切り替え
回路224は、いずれも制御情報トランスコード回路203か
らの指示に従い、第1のメディア情報の符号化データを
トランスコードするか、あるいはそのまま通過させるか
を決定する。Each of the first switching circuit 221 and the second switching circuit 224 transcodes the encoded data of the first media information or passes the encoded data as it is in accordance with an instruction from the control information transcoding circuit 203. To decide.
【0173】メディア復号回路222は、トランスコード
が選択された場合に、第1のメディア情報の符号化デー
タを復号する。[0173] The media decoding circuit 222 decodes the encoded data of the first media information when transcoding is selected.
【0174】メディア符号化回路223は、トランスコー
ドが選択された場合に、メディア復号回路222の復号結
果に対して再符号化を施し、第2のメディア情報の符号
化データを生成する。トランスコードの目的に関して
は、同じ符号化アルゴリズムを使用し符号化レートだけ
変更させる場合、あるいは異なる符号化アルゴリズムを
使用しアルゴリズム変換を行う場合などがある。図20
では省略しているが、これらの動作は制御情報トランス
コード203によって決定され、メディア復号回路222、及
びメディア符号化回路223に通知される。When transcoding is selected, the media encoding circuit 223 re-encodes the decoding result of the media decoding circuit 222 to generate encoded data of the second media information. Regarding the purpose of transcoding, there are cases where the same encoding algorithm is used and only the encoding rate is changed, and cases where algorithm conversion is performed using a different encoding algorithm. FIG.
Although not shown, these operations are determined by the control information transcode 203 and are notified to the media decoding circuit 222 and the media encoding circuit 223.
【0175】なお、メディア復号回路222とメディア符
号化回路223は、それぞれ前述のメディア復号回路93、
メディア符号化回路100と同じ動作を行う。It is to be noted that the media decoding circuit 222 and the media encoding circuit 223 correspond to the media decoding circuit 93,
The same operation as the media encoding circuit 100 is performed.
【0176】以上説明したように、本発明の第4の実施
例においては、本発明の第1、及び第2の実施例で述べ
たアダプテーション処理の有効性を保持した網間接続装
置の構成が可能となる。As described above, in the fourth embodiment of the present invention, the configuration of the inter-network connecting apparatus which maintains the effectiveness of the adaptation processing described in the first and second embodiments of the present invention is described. It becomes possible.
【0177】本発明の第4の実施例では、メディア情報
の符号化データが第1のネットワークから第2のネット
ワークに向かう片方向の網間接続しか想定していない。
双方向の網間接続の実施例を以下に説明する。In the fourth embodiment of the present invention, it is assumed that the encoded data of the media information is only a unidirectional network connection from the first network to the second network.
An embodiment of the bidirectional network connection will be described below.
【0178】図21は、本発明の第5の実施例の構成を
示す図である。図21を参照すると、本発明の第5の実
施例は、多重化分離回路301と、アダプテーション情報
処理回路302と、制御情報トランスコード回路303と、メ
ディア・トランスコード回路304と、アダプテーション
情報付加回路305と、多重化回路306と、多重化分離回路
307と、アダプテーション情報処理回路308と、制御情報
トランスコード回路309と、メディア・トランスコード
回路310と、アダプテーション情報付加回路311と、多重
化回路312とを備えている。また、多重化分離回路301と
多重化回路312は第1のネットワークに、多重化回路306
と多重化分離回路307は第2のネットワークに、それぞ
れ接続されている。FIG. 21 is a diagram showing the configuration of the fifth embodiment of the present invention. Referring to FIG. 21, a fifth embodiment of the present invention provides a demultiplexing circuit 301, an adaptation information processing circuit 302, a control information transcoding circuit 303, a media transcoding circuit 304, and an adaptation information adding circuit. 305, multiplexing circuit 306, and demultiplexing circuit
307, an adaptation information processing circuit 308, a control information transcoding circuit 309, a media transcoding circuit 310, an adaptation information adding circuit 311 and a multiplexing circuit 312. The multiplexing / demultiplexing circuit 301 and the multiplexing circuit 312 are connected to the first network by the multiplexing circuit 306.
And the demultiplexing circuit 307 are connected to the second network.
【0179】第1のネットワークから第2のネットワー
クへの第1の網間接続を実現している多重化分離回路30
1と、アダプテーション情報処理回路302と、メディア・
トランスコード回路304と、アダプテーション情報付加
回路305と、多重化回路306、ならびに第2のネットワー
クから第1のネットワークへの第2の網間接続を実現し
ている多重化分離回路307と、アダプテーション情報処
理回路308と、メディア・トランスコード回路310と、ア
ダプテーション情報付加回路311と、多重化回路312は、
それぞれ、前記本発明の第4の実施例で説明した多重化
分離回路201と、アダプテーション情報処理回路202と、
メディア・トランスコード回路204と、アダプテーショ
ン情報付加回路205と、多重化回路206、それぞれと同じ
動作を行う。ただし、第1の網間接続で使用される制御
情報トランスコード回路303と、第2の網間接続で使用
される制御情報トランスコード回路309の間で、相互に
情報を交換できるようになっている。A demultiplexing circuit 30 for realizing a first inter-network connection from the first network to the second network.
1, the adaptation information processing circuit 302,
A transcoding circuit 304, an adaptation information adding circuit 305, a multiplexing circuit 306, and a multiplexing / demultiplexing circuit 307 realizing a second network connection from the second network to the first network; The processing circuit 308, the media transcoding circuit 310, the adaptation information adding circuit 311 and the multiplexing circuit 312
Each of the multiplexing / demultiplexing circuit 201 and the adaptation information processing circuit 202 described in the fourth embodiment of the present invention,
The media transcoding circuit 204, the adaptation information adding circuit 205, and the multiplexing circuit 206 perform the same operation as each. However, information can be exchanged between the control information transcoding circuit 303 used in the first network connection and the control information transcoding circuit 309 used in the second network connection. I have.
【0180】図22は、制御情報トランスコード回路30
3と制御情報トランスコード回路309の構成の一例を示し
た図である。図22を参照すると、制御情報トランスコ
ード回路303は、制御情報復号回路321と、品質統計量保
持回路322と、制御情報変換・生成回路323と、制御情報
符号化回路324と、制御情報解析回路325とを備えてい
る。同様に、制御情報トランスコード回路309は、制御
情報復号回路331と、品質統計量保持回路332と、制御情
報変換・生成回路333と、制御情報符号化回路334と、制
御情報解析回路335とから構成される。FIG. 22 shows a control information transcoding circuit 30.
3 is a diagram illustrating an example of the configuration of a control information transcoding circuit 309. FIG. Referring to FIG. 22, the control information transcoding circuit 303 includes a control information decoding circuit 321, a quality statistic holding circuit 322, a control information conversion / generation circuit 323, a control information encoding circuit 324, and a control information analysis circuit. 325. Similarly, the control information transcoding circuit 309 includes a control information decoding circuit 331, a quality statistic holding circuit 332, a control information conversion / generation circuit 333, a control information encoding circuit 334, and a control information analysis circuit 335. Be composed.
【0181】制御情報トランスコード回路303を構成す
る制御情報復号回路321と、品質統計量保持回路322と、
制御情報符号化回路324と、制御情報解析回路325の動
作、ならびに制御情報トランスコード回路309を構成す
る制御情報復号回路331と、品質統計量保持回路332と、
制御情報符号化回路334と、制御情報解析回路335の動作
は、それぞれ本発明の第4の実施例で示した制御情報復
号回路211と、品質統計量保持回路212と、制御情報符号
化回路214と、制御情報解析回路215の動作に同じであ
る。ただし、制御情報変換・生成回路323と制御情報変
換・生成回路333の間で、相互に情報を交換できるよう
になっている。The control information decoding circuit 321 constituting the control information transcoding circuit 303, the quality statistic holding circuit 322,
The control information encoding circuit 324, the operation of the control information analysis circuit 325, and the control information decoding circuit 331 constituting the control information transcoding circuit 309, the quality statistic holding circuit 332,
The operations of the control information coding circuit 334 and the control information analysis circuit 335 are respectively performed by the control information decoding circuit 211, the quality statistic holding circuit 212, and the control information coding circuit 214 shown in the fourth embodiment of the present invention. This is the same as the operation of the control information analysis circuit 215. However, information can be mutually exchanged between the control information conversion / generation circuit 323 and the control information conversion / generation circuit 333.
【0182】制御情報変換・生成回路323と制御情報変
換・生成回路333の間で相互に情報交換できるようにす
ることで、いくつかの利点が得られる。このうち最大の
利点として特筆すべき点は、網間接続装置が異なるネッ
トワークに接続された二つの端末になりすまし、第1の
ネットワークに接続された端末と第2のネットワークに
接続された端末との通信を、ネットワーク毎の異なる接
続として分離・終端できるということである。すなわ
ち、網間接続装置は、第1のネットワークに接続された
端末に対しては、第1のネットワークに接続された別の
端末として通信を終端し、第2のネットワークに接続さ
れた端末に対しては、第2のネットワークに接続された
別の端末として通信を終端する。メディア情報に関して
は、同期制御、遅延制御、廃棄制御などのアダプテーシ
ョン処理をいったん完了し、別のネットワークに適合し
たアダプテーション情報を付加して相手端末に送出す
る。By allowing information to be exchanged between the control information conversion / generation circuit 323 and the control information conversion / generation circuit 333, several advantages can be obtained. The most notable of these is that the inter-network connection device spoofed two terminals connected to different networks, and the terminal connected to the first network and the terminal connected to the second network This means that communication can be separated and terminated as a different connection for each network. That is, the network connection device terminates communication with a terminal connected to the first network as another terminal connected to the first network, and terminates communication with a terminal connected to the second network. Then, the communication is terminated as another terminal connected to the second network. For media information, adaptation processing such as synchronization control, delay control, discard control, etc. is completed once, and adaptation information suitable for another network is added and transmitted to the partner terminal.
【0183】制御情報については、第1のネットワーク
に接続された端末に対しては第1のネットワーク上の通
信としての制御情報を応答し、第2のネットワークに接
続された端末に対しては第2のネットワーク上の通信と
しての制御情報を応答する。そして、端末間で交換され
る制御情報に関しては、あらかじめ定められた変換ルー
ルを適用し、それぞれのネットワークに適合した第2の
制御情報を作成して転送する。As for the control information, the terminal connected to the first network is returned with the control information as communication on the first network, and the terminal connected to the second network is responded to the control information. The control information as communication on the second network is returned. Then, for control information exchanged between terminals, a predetermined conversion rule is applied, and second control information suitable for each network is created and transferred.
【0184】ところで、端末から転送される制御情報が
ネットワークの品質改善を要求するメッセージである場
合、それを転送した端末は、その原因が第1のネットワ
ークに起因するものか第2のネットワークに起因するも
のかを知らない場合がある。例えば、第1の端末が移動
体通信網に接続にしており、第2の端末がインタネット
に接続しており、何らかの原因で第1のネットワークで
ある移動体通信網に障害が発生した場合を考える。この
場合、第1の端末にはメディア品質の劣化が発生し、第
2の端末に対して、移動体通信網に適合した品質改善要
求メッセージを送出する。If the control information transferred from the terminal is a message requesting improvement of the quality of the network, the terminal that transferred the control information may be caused by the first network or the second network. May not know what to do. For example, consider a case where the first terminal is connected to the mobile communication network, the second terminal is connected to the Internet, and a failure occurs in the mobile communication network as the first network for some reason. . In this case, media quality degradation occurs in the first terminal, and a quality improvement request message suitable for the mobile communication network is sent to the second terminal.
【0185】次に、網間接続装置は、受け取ったメッセ
ージをインタネットに適合した品質改善要求メッセージ
に変換し、第2の端末に転送する。第2の端末は要求メ
ッセージに応答し、符号化レートを下げる、あるいは移
動体通信網上のIP接続の場合には誤り訂正機能を強化す
るなど、インタネットに適合した形態で品質改善動作を
実行する。しかし、移動体通信網上の障害は一向に改善
されず、前記の動作はさらにメディア品質を劣化させる
だけとなる。こうして、品質改善メッセージの繰り返し
によって、逆に品質が劣化してしまう事態が生じる。Next, the network connection device converts the received message into a quality improvement request message suitable for the Internet, and transfers it to the second terminal. The second terminal responds to the request message and performs a quality improvement operation in a form suitable for the Internet, such as reducing the coding rate or enhancing the error correction function in the case of IP connection on the mobile communication network. . However, the obstacles on the mobile communication network are not improved at all, and the above operation only further deteriorates the media quality. In this manner, a situation occurs in which the quality is deteriorated by the repetition of the quality improvement message.
【0186】以上の問題を解決するには、網間接続装置
がネットワーク品質も考慮した適切なメッセージ変換を
行えばよい。In order to solve the above problem, it is sufficient that the network connection device performs appropriate message conversion in consideration of network quality.
【0187】そこで、図23は、制御情報変換・生成回
路323と制御情報変換・生成回路333の動作の一例を示す
フローチャートである。この例では、第1のネットワー
クに接続された端末と第2のネットワークに接続された
端末とが通信を行っており、第1のネットワークに接続
された端末からの制御情報メッセージが網間接続装置に
着信した場合を想定している。FIG. 23 is a flowchart showing an example of the operation of the control information conversion / generation circuit 323 and the control information conversion / generation circuit 333. In this example, a terminal connected to the first network and a terminal connected to the second network are communicating with each other, and a control information message from the terminal connected to the first network is transmitted to the network connection device. It is assumed that there is an incoming call.
【0188】まずステップ341では、第1のネットワー
クから制御情報メッセージが入力され、ステップ342に
進む。First, in step 341, a control information message is input from the first network, and the flow advances to step 342.
【0189】ステップ342では、通常の変換ルールに従
って処理してよい制御情報かどうかを調べ、処理してよ
い場合はステップ343に、処理してはならない場合はス
テップ344に進む。In step 342, it is checked whether or not the control information can be processed according to the normal conversion rule. If the control information can be processed, the process proceeds to step 343. If not, the process proceeds to step 344.
【0190】ステップ343では、例えばITU−TH.246に記
載されている変換ルールなどに従って通常の制御情報の
変換・生成処理を実行し、作成した制御情報を第1のネ
ットワークに返すか、あるいは第2のネットワークに転
送する。In step 343, normal control information conversion / generation processing is executed in accordance with, for example, the conversion rules described in ITU-TH.246, and the created control information is returned to the first network or 2 to the network.
【0191】ステップ344では、入力された制御情報が
ネットワーク品質の改善要求かどうかを調べ、改善要求
である場合はステップ345に、改善要求でない場合はス
テップ348に進む。In step 344, it is checked whether or not the input control information is a request for improving the network quality. If the request is an improvement request, the process proceeds to step 345. If not, the process proceeds to step 348.
【0192】ステップ345では、品質統計量保持回路を
参照してネットワーク品質の劣化の原因を調査し、原因
が第1のネットワークにある場合はステップ346に、第
2のネットワークにある場合はステップ347に進む。In step 345, the cause of the deterioration of the network quality is investigated by referring to the quality statistic holding circuit. If the cause is in the first network, step 346 is performed. If the cause is in the second network, step 347 is performed. Proceed to.
【0193】ステップ346では、応答用の制御情報を作
成して第1のネットワークに返す。At step 346, control information for response is created and returned to the first network.
【0194】ステップ347では、第2のネットワーク用
の品質改善要求制御情報として第2のネットワークに転
送する。In step 347, the control information is transferred to the second network as the quality improvement request control information for the second network.
【0195】ステップ348では、入力された制御情報が
ネットワーク品質の改善要求に対する応答かどうかを調
べ、応答である場合はステップ349に、応答でない場合
はステップ350に進む。In step 348, it is checked whether or not the input control information is a response to the request for improving the network quality. If the response is a response, the process proceeds to step 349. If not, the process proceeds to step 350.
【0196】ステップ349では、拒絶メッセージとして
の制御情報を作成し、第2のネットワークに転送する。
なお、これは第2のネットワークに接続された端末から
事前に品質改善要求が行われた場合の対処の一例であ
る。At step 349, control information as a rejection message is created and transferred to the second network.
Note that this is an example of a measure to be taken when a quality improvement request is made in advance from a terminal connected to the second network.
【0197】ステップ350では、入力された制御情報は
未知のメッセージであるとして、その旨を通知する制御
情報を作成し、第1のネットワークに返す。At step 350, it is determined that the input control information is an unknown message, and control information for notifying the fact is created and returned to the first network.
【0198】図24、及び図25は、本発明の第5の実
施例によって実現される網間接続装置の動作を、具体例
を用いて模式的に示した図である。FIGS. 24 and 25 are diagrams schematically showing the operation of the network connection apparatus realized by the fifth embodiment of the present invention using a specific example.
【0199】図24は、第1のネットワークに接続され
た端末Aと、第2のネットワークに接続された端末B
が、第1のネットワークと第2のネットワークの間に位
置する網間接続装置を介して通信を行っており、特に端
末Aから端末Bに符号化データが片方向で送信されてい
る場合を示している。FIG. 24 shows a terminal A connected to the first network and a terminal B connected to the second network.
Is communicating via an inter-network connection device located between the first network and the second network, and particularly shows a case where encoded data is transmitted in one direction from terminal A to terminal B. ing.
【0200】端末Aから符号化データを受け取った網間
接続装置は、アダプテーション情報処理を実行し、その
結果として得られる第1のネットワークの遅延、ビット
誤り率、パケット廃棄率などの品質情報を自身の持つ品
質統計量保持回路に蓄積する。[0200] Upon receiving the encoded data from the terminal A, the inter-network connecting apparatus executes adaptation information processing, and transmits the resulting quality information such as the delay, bit error rate, and packet discard rate of the first network to itself. And accumulates it in the quality statistics holding circuit.
【0201】網間接続装置から符号化データを受け取っ
た端末Bは、同じくアダプテーション情報処理を実行
し、その結果として得られる第1のネットワークの遅
延、ビット誤り率、パケット廃棄率などの品質情報を自
身の持つ品質統計量保持回路に蓄積する。Terminal B, which has received the encoded data from the network connection device, also performs the adaptation information processing, and obtains the resulting quality information such as the first network delay, bit error rate, and packet discard rate. It accumulates in its own quality statistic holding circuit.
【0202】図24では、端末Aと端末Bの通信は網間
多重化装置によって一旦終端され、端末Bは第1のネッ
トワークに関する情報を何も知らない場合を想定してい
る。このため、端末Bは第2のネットワークの品質情報
のみを把握・保持している。ただし、誤りを通知するた
めに端末Bにダミーデータを転送する方式も可能であ
り、本発明は図24に例示したものに限定されるもので
はない。In FIG. 24, it is assumed that communication between terminal A and terminal B is temporarily terminated by the inter-network multiplexer, and terminal B does not know any information on the first network. Therefore, the terminal B grasps and holds only the quality information of the second network. However, a method of transferring dummy data to the terminal B to notify an error is also possible, and the present invention is not limited to the example illustrated in FIG.
【0203】図25は、図24に対応して、端末Bから
品質改善を要求する制御情報メッセージが送出された場
合の網間接続装置の動作の詳細を示している。FIG. 25 shows the details of the operation of the network connection apparatus when a control information message requesting quality improvement is transmitted from terminal B, corresponding to FIG.
【0204】端末Bからの品質改善要求を受け取ると、
網間接続装置は自身の品質統計量保持回路を参照して、
第1のネットワークに問題がないかを調査する。第1の
ネットワークに問題があると判断した場合、網間接続装
置は端末Aに対して、第1のネットワークに適合した形
態の品質改善要求メッセージを通知する。端末Aはこれ
に応答し、網間接続装置に対して応答メッセージを返
す。When a quality improvement request is received from terminal B,
The network connection device refers to its own quality statistic holding circuit,
Investigate the first network for any problems. If it is determined that there is a problem in the first network, the network connecting device notifies the terminal A of a quality improvement request message in a form suitable for the first network. Terminal A responds to this and returns a response message to the network connection device.
【0205】網間接続装置は端末Aからの応答メッセー
ジを受け取ると、端末Bに対して、端末Bからの品質改
善動作は拒絶する旨を伝える拒絶メッセージを通知す
る。端末Aが拒絶した場合には、網間接続装置はやはり
拒絶メッセージを作成し、端末Bに通知する。一方、第
1のネットワークに問題がないと判断した場合には、網
間接続装置は端末Bに対して応答メッセージを通知し、
かつ品質改善動作を実行する。以上の動作によって、そ
れぞれのネットワーク上の問題は緩和され、品質改善が
実現される。なお、以上の動作はすべての処理がアダプ
テーション情報の変更のみで実現される場合を想定して
いるが、伝送レートの変更など、符号化レベルの変更を
伴う場合には、その旨メッセージを追加して対応する。Upon receiving the response message from terminal A, the network connection device notifies terminal B of a rejection message notifying that the quality improvement operation from terminal B is rejected. When the terminal A rejects, the network connection device also creates a rejection message and notifies the terminal B. On the other hand, if it is determined that there is no problem in the first network, the internetwork connecting device notifies the terminal B of a response message,
And perform a quality improvement operation. Through the above operations, problems on each network are alleviated, and quality improvement is realized. Note that the above operation assumes that all processing is realized only by changing the adaptation information.However, if a change in the encoding level such as a change in the transmission rate is involved, a message to that effect is added. Correspond.
【0206】なお、上記の例では片方向のメディア転送
のみを示したが、双方向の場合でもそのまま適用され
る。さらにはまたインタネット上でRTPを使用する場合
には、その対としてRTCPが使用されるために、これを用
いて遅延や廃棄率を評価することも可能である。[0206] In the above example, only one-way media transfer is shown, but the present invention is applied to two-way media transfer as it is. Furthermore, when RTP is used on the Internet, since RTCP is used as a pair, it is possible to evaluate the delay and the drop rate using this.
【0207】図26は、具体的な例としてITU−T H.245
で使用される制御情報メッセージを示している。多重化
方式としてはH.222、H.223、及びH.225の場合を示して
いる。「共通」と記した項目は、ネットワークに依存せ
ず、すべての多重化手段共通に使用されるメッセージで
ある。「依存」、及び「使用する」と記した項目は、ネ
ットワークに依存して使用される項目である。この中
で、多重化モード、及び多重化再構成に関係するメッセ
ージがネットワーク品質に影響を与えるもので、本発明
が着目している制御情報である。FIG. 26 shows a specific example of ITU-T H.245.
2 shows a control information message used in the communication. The case of H.222, H.223 and H.225 is shown as a multiplexing method. The item described as “common” is a message that does not depend on the network and is used in common by all multiplexing means. Items described as “dependent” and “used” are items used depending on the network. Among these, messages related to the multiplexing mode and the multiplexing reconfiguration affect the network quality, and are the control information of which the present invention focuses.
【0208】以上説明したように、本発明の第5の実施
例においては、双方向の網間接続が実現され、さらには
ネットワークの品質改善要求に矛盾をきたさない制御情
報の通知が可能になり、安定したマルチメディア通信が
実現される。As described above, in the fifth embodiment of the present invention, a bidirectional network connection is realized, and furthermore, it is possible to notify control information which does not contradict a request for quality improvement of the network. , Stable multimedia communication is realized.
【0209】本発明の第5の実施例では、通信を行って
いる端末間に1つの網間接続装置が存在する場合しか想
定していない。以下では、端末間に複数の網間接続装置
が存在する例について説明する。In the fifth embodiment of the present invention, it is assumed that there is only one inter-network connecting device between the communicating terminals. Hereinafter, an example in which a plurality of inter-network connection devices exist between terminals will be described.
【0210】図27は、本発明の第6の実施例の構成を
示す図である。図27を参照すると、本発明の第6の実
施例は、第1のネットワークに接続された端末401と第3
のネットワークに接続された端末403が、第1のネット
ワークと第2のネットワークの間に位置する網間接続装
置402と、第2のネットワークと第3のネットワークの間
に位置する網間接続装置403を介して通信を行ってお
り、さらに網間接続装置402と網間接続装置403は相互に
ネットワークの品質統計量を情報交換する手段を備えて
いる。FIG. 27 is a diagram showing the configuration of the sixth embodiment of the present invention. Referring to FIG. 27, a sixth embodiment of the present invention relates to a terminal 401 connected to the first network and a third terminal.
A terminal 403 connected to the first network is an inter-network connection device 402 located between the first network and the second network, and an inter-network connection device 403 located between the second network and the third network. The network connection device 402 and the network connection device 403 are provided with means for mutually exchanging information on the quality statistic of the network.
【0211】次に、図28は、網間接続装置402、及び
網間接続装置403の動作シーケンスの詳細を示す図であ
る。図28では、第1のネットワークに接続された端末
Aと、第3のネットワークに接続された端末Bが、第1
のネットワークと第2のネットワークの間に位置する第
1の網間接続装置、及び第2のネットワークと第3のネ
ットワークの間に位置する第2の網間接続装置を介して
通信を行っており、端末Bから品質改善を要求する制御
情報メッセージが送出された場合の、それぞれの網間接
続装置の動作シーケンスの一例を示している。なお、網
間接続装置の間では事前に品質統計量の情報交換が行わ
れており、それぞれの網間接続装置が第1、第2、第3
のネットワークの通信状況を把握している。Next, FIG. 28 is a diagram showing details of the operation sequence of the network connection device 402 and the network connection device 403. In FIG. 28, terminal A connected to the first network and terminal B connected to the third network
The communication is performed via a first inter-network connection device located between the first network and the second network, and a second inter-connection device located between the second network and the third network. 5 shows an example of an operation sequence of each interworking apparatus when a control information message requesting quality improvement is transmitted from terminal B. In addition, information exchange of quality statistics is performed in advance between the internetworking devices, and the internetworking devices are connected to the first, second, and third networks, respectively.
Know the communication status of the network.
【0212】端末Bからの品質改善要求を受け取ると、
第2の網間接続装置は自身の品質統計量保持回路を参照
し、第2のネットワークに問題がないかを調査する。第
2のネットワークに問題があると判断した場合、第2の
網間接続装置は第1の網間接続装置に対して、第2のネ
ットワークに適合した形態の品質改善要求メッセージを
通知する。第2の網間接続装置からの品質改善要求を受
け取ると、第1の網間接続装置は自身の品質統計量保持
回路を参照し、第1のネットワークに問題がないかを調
査する。第1のネットワークに問題があると判断した場
合、第1の網間接続装置は端末Aに対して、第1のネッ
トワークに適合した形態の品質改善要求メッセージを通
知する。端末Aはこれに応答し、第1の網間接続装置に
対して応答メッセージを返す。端末Aからの応答メッセ
ージを受け取ると、第1の網間接続装置は第2の網間接
続装置に対して、第2の網間接続装置からの品質改善動
作は拒絶する旨を伝える拒絶メッセージを通知する。端
末Aが拒絶した場合にも、第1の網間接続装置はやはり
拒絶メッセージを作成し、第2の網間接続装置に通知す
る。第1の網間接続装置からの拒絶メッセージを受け取
ると、第2の網間接続装置は端末Bに対して、端末Bか
らの品質改善動作は拒絶する旨を伝える拒絶メッセージ
を通知する。次に、第1の網間接続装置が、第2のネッ
トワークに問題があると判断した場合、第1の網間接続
装置は第2の網間接続装置に対して応答メッセージを通
知し、かつ品質改善動作を実行する。第1の網間接続装
置からの応答メッセージを受け取ると、第2の網間接続
装置は端末Bに対して、端末Bからの品質改善動作は拒
絶する旨を伝える拒絶メッセージを通知する。When receiving a quality improvement request from terminal B,
The second network connection device refers to its own quality statistic holding circuit, and checks whether there is any problem in the second network. When it is determined that there is a problem in the second network, the second network device notifies the first network device of a quality improvement request message in a form suitable for the second network. Upon receiving the quality improvement request from the second network device, the first network device refers to its own quality statistic holding circuit and checks whether there is any problem in the first network. If it is determined that there is a problem in the first network, the first network connecting device notifies the terminal A of a quality improvement request message in a form suitable for the first network. Terminal A responds to this and returns a response message to the first network connection device. Upon receiving the response message from the terminal A, the first internetwork connecting device sends a rejection message to the second internetworking device, indicating that the quality improvement operation from the second internetworking device will be rejected. Notice. When the terminal A rejects the message, the first network device also creates a rejection message and notifies the second network device. Upon receiving the rejection message from the first network connection device, the second network connection device notifies terminal B of a rejection message notifying that the quality improvement operation from terminal B is rejected. Next, when the first network device determines that there is a problem with the second network, the first network device notifies the second network device of a response message, and Perform quality improvement operations. Upon receiving the response message from the first network connection device, the second network connection device notifies terminal B of a rejection message notifying that the quality improvement operation from terminal B is rejected.
【0213】次に、第2の網間接続装置が、第3のネッ
トワークに問題があると判断した場合、第2の網間接続
装置は端末Bに対して応答メッセージを通知し、かつ品
質改善動作を実行する。以上の動作によって、それぞれ
のネットワーク上の問題は緩和され、品質改善が実現さ
れる。なお、以上の動作はすべての処理がアダプテーシ
ョン情報の変更のみで実現される場合を想定している
が、伝送レートの変更など、符号化レベルの変更を伴う
場合には、その旨メッセージを追加して対応する。Next, if the second network device determines that there is a problem in the third network, the second network device notifies the terminal B of a response message and improves the quality. Perform the action. Through the above operations, problems on each network are alleviated, and quality improvement is realized. Note that the above operation assumes that all processing is realized only by changing the adaptation information.However, if a change in the encoding level such as a change in the transmission rate is involved, a message to that effect is added. Correspond.
【0214】インタネットの場合には、品質統計量の交
換はRTCPによって提供されるために冗長となるが、その
ほかのネットワークでは提供されないのが通常である。
また、その機能をすべての端末に強いるのは不効率であ
る。そこで、網間接続装置のみに上記の機能を付加する
のが効率的である。なお、網間接続装置間での具体的な
情報交換の手段については、RTCPの場合のように、メデ
ィア情報と共有されるチャネル上でインバンドに行う場
合と、通常の電話交換機のように、メディア情報のチャ
ネルとは別にアウトバンドで行う場合が考えられるが、
本発明ではこれについては何ら言及しないものとする。In the case of the Internet, the exchange of quality statistics is redundant because it is provided by RTCP, but is usually not provided by other networks.
Also, forcing that function to all terminals is inefficient. Therefore, it is efficient to add the above function only to the network connection device. In addition, specific means for information exchange between the network connection devices is, as in the case of RTCP, in-band on a channel shared with media information, and as in a normal telephone exchange, This may be done out-of-band separately from the media information channel,
In the present invention, this is not mentioned at all.
【0215】以上説明したように、本発明の第6の実施
例においては、複数個の網間接続装置が介在する場合で
も、ネットワークの品質改善要求に矛盾をきたさない制
御情報の通知が可能になり、安定したマルチメディア通
信が実現される。As described above, in the sixth embodiment of the present invention, even when a plurality of inter-network connecting devices are interposed, it is possible to notify control information that does not contradict a request for quality improvement of a network. Thus, stable multimedia communication is realized.
【0216】図29は、本発明に係るマルチメディア端
末装置及び本発明に係る網間接続装置を適用したシステ
ム構成の一例を示す図である。本発明に係るマルチメデ
ィア端末装置である端末Aと端末Bが、移動体通信網、
インタネット、ATM網を介してマルチメディア通信を行
っている、また、移動体通信網とインタネットの間、及
びインタネットとATM網の間には、それぞれ本発明に係
る網間接続装置が配置されている。FIG. 29 is a diagram showing an example of a system configuration to which the multimedia terminal device according to the present invention and the internetwork connecting device according to the present invention are applied. The terminal A and the terminal B, which are the multimedia terminal devices according to the present invention, are provided with a mobile communication network,
Multimedia communication is performed via the Internet and an ATM network, and an inter-network connection device according to the present invention is arranged between a mobile communication network and the Internet, and between the Internet and an ATM network. .
【0217】本発明に係るマルチメディア端末装置は、
音声情報、映像情報、制御情報の符号化データにアダプ
テーション情報を付加して送信し、またそれを受信して
復号、再生、表示を行っている。本発明のアダプテーシ
ョン情報処理のために、安定した同期再生、誤り制御が
実現されている。The multimedia terminal device according to the present invention comprises:
Adaptation information is added to encoded data of audio information, video information, and control information, transmitted, and received, decoded, reproduced, and displayed. For the adaptation information processing of the present invention, stable synchronous reproduction and error control are realized.
【0218】一方、本発明に係る網間接続装置は、ネッ
トワークから受信した符号化データに本発明のアダプテ
ーション情報処理を適用し、安定した同期再生、誤り制
御を実現した上で別のネットワークに適合したアダプテ
ーション情報を付加して転送している。本発明の制御情
報処理によって、安定した網間接続を実現している。On the other hand, the inter-network connecting apparatus according to the present invention applies the adaptation information processing of the present invention to encoded data received from a network, realizes stable synchronous reproduction and error control, and adapts to another network. Adaptation information is added and transferred. The control information processing according to the present invention realizes stable inter-network connection.
【0219】図30は、本発明に係るマルチメディア端
末装置及び本発明に係る網間接続装置を適用したシステ
ム構成の一例を示す図である。本発明に係るマルチメデ
ィア端末装置である端末Aと端末Bが、インタネット、
ISDN・電話網、移動体通信網を介してマルチメディア通
信を行っている、また、インタネットとISDN・電話網の
間、及びISDN・電話網と移動体通信網の間には、それぞ
れ本発明の網間接続装置が配置されている。FIG. 30 is a diagram showing an example of a system configuration to which the multimedia terminal device according to the present invention and the internetwork connecting device according to the present invention are applied. A terminal A and a terminal B, which are multimedia terminal devices according to the present invention, are connected to the Internet,
The multimedia communication is performed via the ISDN / telephone network and the mobile communication network, and between the Internet and the ISDN / telephone network and between the ISDN / telephone network and the mobile communication network. An internetwork connection device is arranged.
【0220】図29に示した構成と同じく、本発明に係
るマルチメディア端末装置は、音声情報、映像情報、制
御情報の符号化データにアダプテーション情報を付加し
て送信し、またそれを受信して復号、再生、表示を行っ
ている。本発明に係るマルチメディア端末装置における
前記したアダプテーション情報処理を行なうために、安
定した同期再生、誤り制御が実現されている。As with the configuration shown in FIG. 29, the multimedia terminal apparatus according to the present invention transmits adaptation information to encoded data of audio information, video information, and control information, transmits the encoded data, and receives and transmits it. It performs decryption, playback, and display. In order to perform the above-described adaptation information processing in the multimedia terminal device according to the present invention, stable synchronous reproduction and error control are realized.
【0221】一方、本発明に係る網間接続装置は、ネッ
トワークから受信した符号化データに本発明に係る網間
接続装置における前記したアダプテーション情報処理を
適用し、安定した同期再生、誤り制御を実現した上で別
のネットワークに適合したアダプテーション情報を付加
して転送しており、安定した網間接続を実現している。On the other hand, the interworking apparatus according to the present invention applies the above-described adaptation information processing in the interworking apparatus according to the present invention to the encoded data received from the network, and realizes stable synchronous reproduction and error control. Then, adaptation information suitable for another network is added and transferred, thereby achieving a stable inter-network connection.
【0222】[0222]
【発明の効果】以上説明したように、本発明によれば下
記記載の効果を奏する。As described above, according to the present invention, the following effects can be obtained.
【0223】本発明の第1の効果は、特にインタネット
のような可変遅延網を介してマルチメディア情報が送信
されてくる場合に、パケットの同期管理、順序制御、廃
棄処理などのアダプテーション処理に関して効率化を図
ることができ、効果的なマルチメディア処理端末が実現
可能としている、ということである。The first effect of the present invention is that, particularly when multimedia information is transmitted via a variable delay network such as the Internet, the efficiency of adaptation processing such as packet synchronization management, order control, and discard processing is improved. That is, an effective multimedia processing terminal can be realized.
【0224】その理由は、本発明においては、特に時刻
管理と廃棄制御の相互作用に対する工夫、及び順序制御
を簡略化する符号化データの保持手段に対する工夫によ
るものである。The reason for this is that, in the present invention, in particular, there is a contrivance for the interaction between time management and discard control, and contrivance for a means for holding encoded data which simplifies order control.
【0225】本発明の第2の効果は、特にインタネット
のような可変遅延網においても、ネットワークの状況に
適応しながら再生遅延時間を低く抑え、かつ廃棄率が増
加した場合には順応に対処するマルチメディア端末装置
を実現可能としている、ということである。その理由
は、メディア情報の特性を活用した柔軟な遅延制御、な
らびに廃棄制御に対する工夫によるものである。The second effect of the present invention is to adapt adaptively to a variable delay network such as the Internet, in particular, to reduce the reproduction delay time while adapting to the network conditions and to increase the discard rate. This means that a multimedia terminal device can be realized. The reason for this is due to the ingenuity of flexible delay control utilizing the characteristics of media information and discard control.
【0226】本発明の第3の効果は、従来に比して効果
的な受信、送信双方を行うマルチメディア端末装置が実
現可能としている、ということである。その理由は、第
1、及び第2の効果を保ちつつ、端末装置に送信手段を
組み込んだためである。A third effect of the present invention is that a multimedia terminal device that performs both reception and transmission more effectively than before can be realized. The reason is that the transmission unit is incorporated in the terminal device while maintaining the first and second effects.
【0227】本発明の第4の効果は、従来に比して効果
的な網間接続装置を実現可能としている、ということで
ある。これは、第1、及び第2の効果を、網間接続装置
に対しても組み込んだためである。A fourth effect of the present invention is that an inter-network connection device that is more effective than the conventional one can be realized. This is because the first and second effects are incorporated in the network connection device.
【0228】本発明の第5の効果は、従来に比して安定
したマルチメディア転送を行う網間接続装置を実現可能
としている、ということである。これは、ネットワーク
の品質改善要求に矛盾をきたさないように、制御情報の
通知メカニズムに工夫を加えたからである。[0228] A fifth effect of the present invention is that it is possible to realize an inter-network connection device that performs stable multimedia transfer as compared with the related art. This is because the control information notification mechanism has been devised so as not to contradict the request for quality improvement of the network.
【0229】本発明の第6の効果は、複数の網間接続装
置が介在する場合でも、従来に比して安定したマルチメ
ディア転送を行う網間接続装置を実現可能としている、
ということである。これは、網間接続装置間でネットワ
ークの品質情報を相互交換できるようにしたからであ
る。[0229] The sixth effect of the present invention is that, even when a plurality of inter-network connecting devices are interposed, an inter-network connecting device capable of performing more stable multimedia transfer than before can be realized.
That's what it means. This is because network quality information can be exchanged between the network connecting devices.
【図1】本発明に係るマルチメディア端末装置の第1の
実施例の構成を示す図である。FIG. 1 is a diagram showing a configuration of a multimedia terminal device according to a first embodiment of the present invention.
【図2】本発明の第1の実施例におけるアダプテーショ
ン情報処理回路の構成を示す図である。FIG. 2 is a diagram illustrating a configuration of an adaptation information processing circuit according to the first embodiment of the present invention.
【図3】本発明の第1の実施例におけるアダプテーショ
ン処理回路の構成を示す図である。FIG. 3 is a diagram illustrating a configuration of an adaptation processing circuit according to the first embodiment of the present invention.
【図4】本発明の第1の実施例における蓄積回路の構成
を示す図である。FIG. 4 is a diagram illustrating a configuration of a storage circuit according to the first embodiment of the present invention.
【図5】本発明の第1の実施例における蓄積回路に記録
されるデータ構造を示す図である。FIG. 5 is a diagram showing a data structure recorded in a storage circuit according to the first embodiment of the present invention.
【図6】本発明の第1の実施例におけるアダプテーショ
ン情報処理回路の動作を示す図である。FIG. 6 is a diagram illustrating an operation of an adaptation information processing circuit according to the first embodiment of the present invention.
【図7】本発明の第1の実施例におけるアダプテーショ
ン処理の動作を示す流れ図である。FIG. 7 is a flowchart showing an operation of an adaptation process in the first embodiment of the present invention.
【図8】本発明の第1の実施例におけるアダプテーショ
ン情報処理回路の出力処理の動作を示す流れ図である。FIG. 8 is a flowchart illustrating an operation of an output process of an adaptation information processing circuit according to the first embodiment of the present invention.
【図9】本発明に係るマルチメディア端末装置の第1の
実施例におけるパケット廃棄を示す図である。FIG. 9 is a diagram showing packet discarding in the first embodiment of the multimedia terminal device according to the present invention.
【図10】本発明に係るマルチメディア端末装置の第1
の実施例におけるデータ蓄積例を示す図である。FIG. 10 shows a first example of the multimedia terminal device according to the present invention.
FIG. 9 is a diagram showing an example of data storage in the embodiment.
【図11】本発明のマルチメディア端末装置の第1の実
施例におけるデータ蓄積例を示す図である。FIG. 11 is a diagram showing an example of data storage in the multimedia terminal device of the first embodiment of the present invention.
【図12】再同期情報を示す図である。FIG. 12 is a diagram showing resynchronization information.
【図13】本発明に係るマルチメディア端末装置の第1
の実施例におけるシーケンスナンバの扱いを説明するた
めの図である。FIG. 13 shows a first example of the multimedia terminal device according to the present invention.
FIG. 10 is a diagram for explaining handling of a sequence number in the embodiment of FIG.
【図14】本発明に係るマルチメディア端末装置の第2
の実施例におけるアダプテーション情報処理回路の構成
を示す図である。FIG. 14 shows a second example of the multimedia terminal device according to the present invention.
FIG. 6 is a diagram illustrating a configuration of an adaptation information processing circuit in the example of FIG.
【図15】本発明に係るマルチメディア端末装置の第2
の実施例におけるオフセット遅延回路の動作を示す流れ
図である。FIG. 15 shows a second example of the multimedia terminal device according to the present invention.
9 is a flowchart showing the operation of the offset delay circuit in the embodiment of FIG.
【図16】本発明に係るマルチメディア端末装置の第3
の実施例の構成を示す図である。FIG. 16 shows a third example of the multimedia terminal device according to the present invention.
FIG. 3 is a diagram illustrating a configuration of an example of FIG.
【図17】本発明の第3の実施例におけるアダプテーシ
ョン情報付加回路の構成を示す図である。FIG. 17 is a diagram illustrating a configuration of an adaptation information adding circuit according to a third embodiment of the present invention.
【図18】本発明に係る網間接続装置の一実施例の構成
を示す図である。FIG. 18 is a diagram showing a configuration of an embodiment of an internetwork connecting apparatus according to the present invention.
【図19】本発明に係る網間接続装置の一実施例におけ
る制御情報トランスコード回路の構成を示す図である。FIG. 19 is a diagram showing a configuration of a control information transcoding circuit in one embodiment of the network connection apparatus according to the present invention.
【図20】本発明に係る網間接続装置の一実施例におけ
るメディア・トランスコード回路の詳細な構成を示す図
である。FIG. 20 is a diagram showing a detailed configuration of a media transcoding circuit in an embodiment of the network connection apparatus according to the present invention.
【図21】本発明に係る網間接続装置の第2の実施例の
構成を示す図である。FIG. 21 is a diagram showing the configuration of a second embodiment of the network connection apparatus according to the present invention.
【図22】本発明に係る網間接続装置の第2の実施例に
おける制御情報トランスコード回路の構成を示す図であ
る。FIG. 22 is a diagram showing a configuration of a control information transcoding circuit in a second embodiment of the network connection apparatus according to the present invention.
【図23】本発明に係る網間接続装置の第2の実施例に
おける制御情報変換・生成回路の動作を示す流れ図であ
る。FIG. 23 is a flowchart showing the operation of the control information conversion / generation circuit in the second embodiment of the network connection apparatus according to the present invention.
【図24】本発明の網間接続装置の第2の実施例の具体
例を示す図である。FIG. 24 is a diagram showing a specific example of a second embodiment of the network connection apparatus of the present invention.
【図25】本発明の網間接続装置第2の実施例の動作を
示す流れ図である。FIG. 25 is a flowchart showing the operation of the second embodiment of the network connection apparatus of the present invention.
【図26】具体的な制御情報を示す図である。FIG. 26 is a diagram showing specific control information.
【図27】本発明の網間接続装置の第3の実施例の構成
を示す図である。FIG. 27 is a diagram showing the configuration of a third embodiment of the network connection apparatus of the present invention.
【図28】本発明の網間接続装置の第3の実施例の動作
を示す流れ図である。FIG. 28 is a flowchart showing the operation of the third embodiment of the network connection apparatus of the present invention.
【図29】本発明の適用例を示す図である。FIG. 29 is a diagram showing an application example of the present invention.
【図30】本発明の適用例を示す図である。FIG. 30 is a diagram showing an application example of the present invention.
【図31】ネットワークを介して通信を行う端末のプロ
トコル階層を示す図である。FIG. 31 is a diagram illustrating a protocol hierarchy of a terminal that performs communication via a network.
【図32】具体的なアダプテーション情報の例を示す図
である。FIG. 32 is a diagram illustrating a specific example of adaptation information.
【図33】具体的な多重化方式のプロトコル階層の例を
示す図である。FIG. 33 is a diagram illustrating an example of a protocol layer of a specific multiplexing scheme.
【図34】網間接続装置のプロトコル階層を示す図であ
る。FIG. 34 is a diagram showing a protocol hierarchy of the network connection device.
1 多重化分離回路 2 アダプテーション情報処理回路 3 メディア復号回路 4 メディア出力回路 5 制御情報復号回路 6 品質統計量保持回路 7 制御回路 11、71 パケット受信回路 12、72 アダプテーション情報分離回路 13、73 アダプテーション情報保持回路 14、74 クロック生成回路 15、75 オフセット遅延付加回路 16、76 アダプテーション処理回路 17、77 出力タイミング発生回路 18、78 蓄積回路 21 誤り検出回路 22 誤り訂正回路 23 タイムアウト判定回路 24 順序番号比較回路 25 書き込み回路 26 読み出し制御回路 27 記憶回路 31 開始ステップ 32 パケット受信分岐 33 アダプテーション情報分離 91 多重化分離回路 92 アダプテーション情報処理回路 93 メディア復号回路 94 メディア出力回路 95 制御情報復号回路 96 品質統計量保持回路 97 制御回路 98 制御情報符号化回路 99 メディア入力回路 100 メディア符号化回路 101 アダプテーション情報付加回路 102 多重化回路 111 パケット化回路 112 順序番号付加回路 113 タイムスタンプ付加回路 114 誤り検出符号訂正付加回路 201 多重化分離回路 202 アダプテーション情報処理回路 203 制御情報トランスコード回路 204 メディア・トランスコード回路 205 アダプテーション情報付加回路 206 多重化回路 211 制御情報復号回路 212 品質統計量保持回路 213 制御情報変換・生成回路 214 制御情報符号化回路 215 制御情報解析回路 221 第1の切り替え回路 222 メディア復号回路 223 メディア符号化回路 224 第2の切り替え回路 301 多重化分離回路 302 アダプテーション情報処理回路 303 制御情報トランスコード回路 304 メディア・トランスコード回路 305 アダプテーション情報付加回路 306 多重化回路 307 多重化分離回路 308 アダプテーション情報処理回路 309 制御情報トランスコード回路 310 メディア・トランスコード回路 311 アダプテーション情報付加回路 312 多重化回路 321 制御情報復号回路 322 品質統計量保持回路 323 制御情報変換・生成回路 324 制御情報符号化回路 325 制御情報解析回路 331 制御情報復号回路 332 品質統計量保持回路 333 制御情報変換・生成回路 334 制御情報符号化回路 335 制御情報解析回路 DESCRIPTION OF SYMBOLS 1 Demultiplexing circuit 2 Adaptation information processing circuit 3 Media decoding circuit 4 Media output circuit 5 Control information decoding circuit 6 Quality statistic holding circuit 7 Control circuit 11, 71 Packet receiving circuit 12, 72 Adaptation information separating circuit 13, 73 Adaptation information Hold circuit 14, 74 Clock generation circuit 15, 75 Offset delay addition circuit 16, 76 Adaptation processing circuit 17, 77 Output timing generation circuit 18, 78 Storage circuit 21 Error detection circuit 22 Error correction circuit 23 Timeout determination circuit 24 Sequence number comparison circuit Reference Signs List 25 writing circuit 26 read control circuit 27 storage circuit 31 start step 32 packet reception branch 33 adaptation information separation 91 demultiplexing circuit 92 adaptation information processing circuit 93 media decoding Path 94 media output circuit 95 control information decoding circuit 96 quality statistic holding circuit 97 control circuit 98 control information encoding circuit 99 media input circuit 100 media encoding circuit 101 adaptation information adding circuit 102 multiplexing circuit 111 packetizing circuit 112 sequence number Addition circuit 113 Time stamp addition circuit 114 Error detection code correction addition circuit 201 Demultiplexing circuit 202 Adaptation information processing circuit 203 Control information transcode circuit 204 Media transcode circuit 205 Adaptation information addition circuit 206 Multiplexing circuit 211 Control information decoding circuit 212 Quality statistics holding circuit 213 Control information conversion / generation circuit 214 Control information coding circuit 215 Control information analysis circuit 221 First switching circuit 222 Media decoding circuit 2 3 Media encoding circuit 224 Second switching circuit 301 Demultiplexing circuit 302 Adaptation information processing circuit 303 Control information transcoding circuit 304 Media transcoding circuit 305 Adaptation information adding circuit 306 Multiplexing circuit 307 Demultiplexing circuit 308 Adaptation information Processing circuit 309 Control information transcoding circuit 310 Media transcoding circuit 311 Adaptation information adding circuit 312 Multiplexing circuit 321 Control information decoding circuit 322 Quality statistics holding circuit 323 Control information conversion / generation circuit 324 Control information encoding circuit 325 Control information Analysis circuit 331 Control information decoding circuit 332 Quality statistic holding circuit 333 Control information conversion / generation circuit 334 Control information encoding circuit 335 Control information analysis circuit
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5K030 GA01 HA08 HB15 HB16 HB21 HD03 JA01 JT10 KA03 KA19 LA15 LB11 LB15 LC18 LE17 MB01 MB13 5K033 AA02 AA03 BA15 CB06 CB08 CB15 DA05 DB10 DB13 DB16 DB17 DB18 EA06 EA07 EC04 5K051 AA02 BB01 BB02 JJ13 5K101 RR05 SS08 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5K030 GA01 HA08 HB15 HB16 HB21 HD03 JA01 JT10 KA03 KA19 LA15 LB11 LB15 LC18 LE17 MB01 MB13 5K033 AA02 AA03 BA15 CB06 CB08 CB15 DA05 DB10 DB13 DB16 DB17 DB18 EA06 EA07 EA07 JJ13 5K101 RR05 SS08
Claims (14)
及び/又は映像信号と制御情報の符号化データに、タイ
ムスタンプ及びシーケンスナンバを少なくとも含むアダ
プテーション情報が付加されているデータを受信し、復
号、及び再生するマルチメディア端末装置であって、 前記ネットワークから送られ受信したデータの多重化ビ
ットストリームを多重化分離する多重化分離手段と、 前記多重化分離手段から出力されるデータを受けとり前
記アダプテーション情報を処理し、同期制御、廃棄制御
を行うアダプテーション情報処理手段と、 前記アダプテーション情報処理手段で得られたネットワ
ーク品質情報を保持する品質統計量保持手段と、 前記多重化分離手段から出力されるデータを受けとり前
記符号化データのうち音声及び/又は映像のメディア情
報を復号するメディア復号手段と、 復号された前記メディア情報を出力する手段と、 前記符号化データのうち制御情報を復号する制御情報復
号手段と、 復号された前記制御情報と前記品質統計量保持手段に保
持されるネットワーク品質情報とに基づき自端末装置の
所要の制御を行う制御手段と、 を含むことを特徴とするマルチメディア端末装置。1. Receiving and decoding data which is transmitted via a network and is obtained by adding adaptation information including at least a time stamp and a sequence number to encoded data of audio and / or video signals and control information. And a multimedia terminal device for reproducing the data, comprising: demultiplexing means for demultiplexing a multiplexed bit stream of data sent and received from the network; and receiving the data output from the demultiplexing means, An adaptation information processing unit that processes information and performs synchronization control and discard control; a quality statistic holding unit that holds network quality information obtained by the adaptation information processing unit; and data output from the demultiplexing / demultiplexing unit. Receiving the audio and / or video Media decoding means for decoding media information of an image; means for outputting the decoded media information; control information decoding means for decoding control information of the encoded data; decoded control information and the quality Control means for performing required control of the own terminal device based on the network quality information held in the statistic holding means, and a multimedia terminal device.
信する受信手段と、 前記受信手段で受信された前記パケットデータをアダプ
テーション情報と符号化データとに分離するアダプテー
ション情報分離手段と、 前記アダプテーション情報を保持するアダプテーション
情報保持手段と、 オフセット付き時刻情報を与えるオフセット遅延付加手
段と、 前記アダプテーション情報と前記オフセット付き時刻情
報とを用いてアダプテーション処理を実行するアダプテ
ーション処理手段と、 前記アダプテーション情報と前記オフセット付き時刻と
を用いて出力タイミングを生成する出力タイミング発生
手段と、 前記アダプテーション処理手段から出力される符号化デ
ータを蓄積保持し、前記出力タイミングに従って前記符
号化データを出力する蓄積手段と、 を含む、ことを特徴とする請求項1記載のマルチメディ
ア端末装置。2. The adaptation information processing means: receiving means for receiving packet data output from the demultiplexing means; and separating the packet data received by the receiving means into adaptation information and encoded data. Adaptation information separating means, adaptation information holding means for holding the adaptation information, offset delay adding means for giving time information with an offset, and adaptation for executing an adaptation process using the adaptation information and the time information with the offset Processing means; output timing generating means for generating output timing using the adaptation information and the time with offset; storing and holding encoded data output from the adaptation processing means; 2. The multimedia terminal device according to claim 1, further comprising: a storage unit that outputs the encoded data according to a power timing.
を用いて選択的に符号化データを廃棄するとともにネッ
トワーク品質の評価を行い、符号化データの廃棄数を含
むネットワーク品質評価結果を前記品質統計量保持手段
に通知するタイムアウト判定手段と、 前記アダプテーション情報を用いてシーケンスナンバー
をチェックすることでネットワーク品質の評価を行い、
ネットワーク品質評価結果を前記品質統計量保持手段に
通知する順序番号比較手段と、 前記アダプテーション情報を用いて前記蓄積手段にアダ
プテーション処理の終了した符号化データを書き込む書
き込み手段と、 を少なくとも含む、ことを特徴とする請求項2記載のマ
ルチメディア端末装置。3. The adaptation processing means selectively discards encoded data using the adaptation information and the time with offset, evaluates network quality, and evaluates network quality including the number of encoded data discards. Timeout determination means for notifying the evaluation result to the quality statistic holding means, and evaluates network quality by checking a sequence number using the adaptation information,
Sequence number comparing means for notifying the network quality evaluation result to the quality statistic holding means, and writing means for writing the coded data after the adaptation processing to the storage means using the adaptation information. The multimedia terminal device according to claim 2, wherein:
報と前記符号化データの有効・無効を示す情報と符号化
データの長さを示す情報を管理情報として保持し、符号
化データを保持する記憶手段と、 前記出力タイミングと前記管理情報に従って符号化デー
タを出力する読み出し制御手段と、 を含む、ことを特徴とする請求項2又は3記載のマルチ
メディア端末装置。4. A storage means for storing the adaptation information, information indicating validity / invalidity of the coded data, and information indicating the length of the coded data as management information, and storing the coded data. The multimedia terminal device according to claim 2, further comprising: a read control unit that outputs encoded data according to the output timing and the management information.
統計量保持手段に保持されたネットワーク品質情報と前
記メディア復号手段からの入力とを用いてオフセット遅
延を適応的に変化させる、ことを特徴とする請求項2記
載のマルチメディア端末装置。5. The apparatus according to claim 1, wherein the offset delay adding means adaptively changes the offset delay using the network quality information held in the quality statistic holding means and an input from the media decoding means. The multimedia terminal device according to claim 2.
号及び/又は、映像信号と制御情報を含む符号化データ
を受信、復号、及び再生するマルチメディア端末装置で
あって、 前記符号化データにはタイムスタンプやシーケンスナン
バ等のアダプテーション情報が付加されており、 前記マルチメディア端末装置は、前記符号化データの多
重化ビットストリームを多重化分離する多重化分離手段
と、 前記アダプテーション情報を処理し、同期制御、廃棄制
御を行うアダプテーション情報処理手段と、 前記アダプテーション情報処理手段から得られるネット
ワーク品質情報を保持する品質統計量保持手段と、 前記符号化データのうち音声や映像のメディア情報を復
号するメディア復号手段と、 復号された前記メディア情報を出力する手段と、 前記符号化データのうち制御情報を復号する制御情報復
号手段と、 復号された前記制御情報と前記品質統計量保持手段に保
持されたネットワーク品質情報に基づき端末装置の制御
を行う制御手段と、 を備え、 前記アダプテーション情報処理手段が、 パケット受信手段と、 受信された前記パケットをアダプテーション情報と符号
化データに分離するアダプテーション情報分離手段と、 前記アダプテーション情報を保持するアダプテーション
情報保持手段と、オフセット付き時刻を与えるオフセッ
ト遅延付加手段と、 前記アダプテーション情報と前記オフセット付き時刻を
用いてアダプテーション処理を実行するアダプテーショ
ン処理手段と、 前記アダプテーション情報と前記オフセット付き時刻を
用いて出力タイミングを提供する出力タイミング発生手
段と、 前記アダプテーション処理手段から与えられる符号化デ
ータを保持し、前記出力タイミングに従って前記符号化
データを出力する蓄積手段と、 を備え、 前記アダプテーション処理手段が、前記アダプテーショ
ン情報と前記オフセット付き時刻を用いて選択的に符号
化データを廃棄し、かつネットワーク品質の評価を行い
外部の品質統計量保持手段に通知するタイムアウト判定
手段と、 前記アダプテーション情報を用いてネットワーク品質の
評価を行い前記品質統計量保持手段に通知する順序番号
比較手段と、 前記アダプテーション情報を用いて前記蓄積手段に符号
化データを書き込む書き込み手段と、を備え、さらに、 前記蓄積手段が、前記アダプテーション情報と符号化デ
ータの有効・無効を示す情報と符号化データの長さを示
す情報を管理情報として保持し、符号化データを保持す
る記憶手段と、前記出力タイミングと前記管理情報に従
って符号化データを出力する読み出し制御手段と、 を備えたことを特徴とするマルチメディア端末装置。6. A multimedia terminal device for receiving, decoding, and reproducing encoded data including an audio signal and / or a video signal and control information transmitted via a network, wherein the encoded data includes Is added with adaptation information such as a time stamp and a sequence number.The multimedia terminal device processes the adaptation information by multiplexing / demultiplexing means for multiplexing / demultiplexing a multiplexed bit stream of the encoded data. Adaptation information processing means for performing synchronization control and discard control; quality statistic storage means for storing network quality information obtained from the adaptation information processing means; medium for decoding audio and video media information in the encoded data Decoding means; means for outputting the decrypted media information; Control information decoding means for decoding control information in the encoded data, and control means for controlling a terminal device based on the decoded control information and the network quality information held in the quality statistic holding means, The adaptation information processing means, a packet receiving means, an adaptation information separating means for separating the received packet into adaptation information and coded data, an adaptation information holding means for holding the adaptation information, and a time with offset An offset delay adding means, an adaptation processing means for performing an adaptation process using the adaptation information and the time with an offset, and an output terminal for providing an output timing using the adaptation information and the time with the offset. And a storage unit for holding the encoded data provided from the adaptation processing unit and outputting the encoded data according to the output timing, wherein the adaptation processing unit includes the adaptation information and the offset. Time-out determining means for selectively discarding encoded data using time and evaluating network quality and notifying an external quality statistic holding means; evaluating the network quality using the adaptation information; and Order number comparing means for notifying the statistic holding means, and writing means for writing encoded data to the accumulating means using the adaptation information, further comprising: the accumulating means for storing the adaptation information and the encoded data. Information indicating valid / invalid and encoded data Holding information indicating the length of the data as management information, storage means for holding coded data, and read control means for outputting coded data according to the output timing and the management information, Multimedia terminal device.
する手段と、 前記メディア情報を符号化するメディア符号化手段と、 前記制御手段の出力する制御情報を符号化する制御情報
符号化手段と、 前記メディア符号化手段、及び前記制御情報符号化手段
の出力である符号化データに新たなアダプテーション情
報を付加するアダプテーション情報付加手段と、 前記アダプテーション情報付加手段の出力を多重化して
ネットワークに送出する多重化手段とをさらに備えるこ
とを特徴とする請求項1、2、6のいずれか一に記載の
マルチメディア端末装置。7. A means for inputting audio and / or video media information, a media encoding means for encoding the media information, and a control information encoding means for encoding control information output from the control means. An adaptation information adding unit for adding new adaptation information to encoded data output from the media encoding unit and the control information encoding unit; and an output of the adaptation information adding unit is multiplexed and transmitted to a network. 7. The multimedia terminal device according to claim 1, further comprising a multiplexing unit.
ークと第2のネットワークの間に配設され、前記第1の
ネットワークに接続された端末と前記第2のネットワー
クに接続された端末とを相互接続し、音声信号、映像信
号、及び制御情報等の符号化データを転送する網間接続
装置であって、 前記符号化データには、タイムスタンプ及びシーケンス
ナンバを少なくとも含むアダプテーション情報が付加さ
れており、 前記網間接続装置が、前記第1のネットワークから前記
第2のネットワークに向かう網間接続手段を備え、 前記網間接続手段が、 前記符号化データの多重化ビットストリームを多重化分
離する多重化分離手段と、 前記アダプテーション情報を処理し、同期制御、廃棄制
御等を行うアダプテーション情報処理手段と、 前記アダプテーション情報処理手段から与えられる第1
の制御情報の符号化データを変換するか、もしくは新た
に生成し、第2の制御情報の符号化データを出力する制
御情報トランスコード手段と、 前記アダプテーション情報処理手段から与えられる第1
のメディア情報の符号化データを、前記制御情報トラン
スコード手段の制御出力に応じて変換するか、もしくは
通過し、第2のメディア情報の符号化データを出力する
メディア・トランスコード手段と、 前記制御情報トランスコード手段及びメディア・トラン
スコード手段からの符号化データ出力を受け、新たなア
ダプテーション情報を付加するアダプテーション情報付
加手段と、 前記アダプテーション情報付加手段の出力を多重化して
ネットワークに送出する多重化手段と、 を備えたことを特徴とする網間接続装置。8. A terminal provided between a first network and a second network that use different transmission schemes and connected to the first network and a terminal connected to the second network. An interconnecting apparatus for interconnecting and transferring encoded data such as audio signals, video signals, and control information, wherein the encoded data is added with adaptation information including at least a time stamp and a sequence number. Wherein the network connection device comprises network connection means for going from the first network to the second network, wherein the network connection means demultiplexes the multiplexed bit stream of the encoded data. A demultiplexing unit; an adaptation information processing unit that processes the adaptation information and performs synchronization control, discard control, and the like; The given from flop station information processing unit 1
Control information transcoding means for converting or newly generating the encoded data of the control information, and outputting encoded data of the second control information;
Media transcoding means for converting or passing encoded data of the media information according to the control output of the control information transcoding means, and outputting encoded data of the second media information; Adaptation information adding means for receiving encoded data output from the information transcoding means and media transcoding means and adding new adaptation information; and multiplexing means for multiplexing the output of the adaptation information adding means and sending the multiplexed output to a network. A network connection device, comprising:
信する受信手段と、 受信された前記パケットデータをアダプテーション情報
と符号化データとに分離するアダプテーション情報分離
手段と、 前記アダプテーション情報を保持するアダプテーション
情報保持手段と、 オフセット付き時刻情報を与えるオフセット遅延付加手
段と、 前記アダプテーション情報と前記オフセット付き時刻情
報とを用いてアダプテーション処理を実行するアダプテ
ーション処理手段と、 前記アダプテーション情報と前記オフセット付き時刻を
用いて出力タイミングを生成する出力タイミング発生手
段と、 前記アダプテーション処理手段から与えられる符号化デ
ータを保持し、前記出力タイミングに従って前記符号化
データを出力する蓄積手段と、 を備えた、を備えたことを特徴とする請求項8記載の網
間接続装置。9. An adaptation information processing unit, comprising: a receiving unit that receives packet data output from the demultiplexing unit; and an adaptation information separation unit that separates the received packet data into adaptation information and encoded data. Means, an adaptation information holding means for holding the adaptation information, an offset delay adding means for giving time information with offset, an adaptation processing means for performing an adaptation process using the adaptation information and the time information with offset, Output timing generation means for generating an output timing using the adaptation information and the time with offset, and holding encoded data provided from the adaptation processing means, according to the output timing The network connection device according to claim 8, further comprising: a storage unit that outputs the encoded data.
用いて選択的に符号化データを廃棄するとともにネット
ワーク品質の評価を行い、符号化データの廃棄数を含む
ネットワーク品質評価結果を前記品質統計量保持手段に
通知するタイムアウト判定手段と、 前記アダプテーション情報を用いてシーケンスナンバー
をチェックすることでネットワーク品質の評価を行い、
ネットワーク品質評価結果を前記品質統計量保持手段に
通知する順序番号比較手段と、 前記アダプテーション情報を用いて前記蓄積手段にアダ
プテーション処理の終了した符号化データを書き込む書
き込み手段と、 を少なくとも含む、ことを特徴とする請求項9記載の網
間接続装置。10. The adaptation processing means selectively discards encoded data using the adaptation information and the time with offset and evaluates network quality, and evaluates network quality including the number of encoded data discards. Timeout determination means for notifying the result to the quality statistic holding means, Evaluation of network quality by checking a sequence number using the adaptation information,
Sequence number comparing means for notifying the network quality evaluation result to the quality statistic holding means, and writing means for writing the coded data after the adaptation processing to the storage means using the adaptation information. 10. The network connection device according to claim 9, wherein:
復号手段と、 前記アダプテーション情報処理手段から得られるネット
ワーク品質情報を保持する品質統計量保持手段と、 前記品質統計量保持手段に保持されたネットワーク品質
情報を用いて前記第1の制御情報を変換し、必要に応じ
て新たに生成を行い、前記第2の制御情報を出力する制
御情報変換生成手段と、 前記第1の制御情報及び前記第2の制御情報を解析・蓄
積する制御情報解析手段と、 前記第2の制御情報を符号化する制御情報符号化手段
と、 を備えたことを特徴とする請求項8記載の網間接続装
置。11. The control information transcoding means, control information decoding means for decoding encoded data of the first control information, and quality statistic holding for holding network quality information obtained from the adaptation information processing means Means for converting the first control information using the network quality information held in the quality statistic holding means, newly generating the control information as necessary, and outputting the second control information Conversion generating means, control information analyzing means for analyzing and accumulating the first control information and the second control information, and control information encoding means for encoding the second control information. 9. The network connection device according to claim 8, wherein:
前記第1のメディア情報の符号化データを復号するメデ
ィア復号手段と、 前記メディア復号手段の出力をトランスコードするメデ
ィア符号化手段と、 前記制御情報トランスコード手段から与えられる制御情
報に従ってメディア情報のトランスコードの実行を制御
する切り替え手段と、 を備えたことを特徴とする請求項8記載の網間接続装
置。12. The media transcoding means,
Media decoding means for decoding encoded data of the first media information; media encoding means for transcoding the output of the media decoding means; transcoding of the media information according to control information given from the control information transcoding means. 9. The network connection device according to claim 8, further comprising: switching means for controlling execution of the code.
ワークと第2のネットワークの間に配設され、前記第1
のネットワークに接続された端末と前記第2のネットワ
ークに接続された端末を相互接続し、音声信号及び/又
は映像信号と制御情報を含む符号化データを転送する網
間接続装置であって、 前記符号化データには、タイムスタンプ及びシーケンス
ナンバを少なくとも含むアダプテーション情報が付加さ
れており、 前記網間接続装置は、前記第1のネットワークから前記
第2のネットワークに向かう第1の網間接続手段と、 前記第2のネットワークから前記第1のネットワークに
向かう第2の網間接続手段と、を備え、 前記第1の網間接続手段及び前記第2の網間接続手段の
少なくとも一方は、 前記符号化データの多重化ビットストリームを多重化分
離する多重化分離手段と、 前記アダプテーション情報を処理し、同期制御、廃棄制
御等を行うアダプテーション情報処理手段と、 前記アダプテーション情報処理手段から与えられる第1
の制御情報の符号化データを変換するか、もしくは新た
に生成し、第2の制御情報の符号化データを出力する制
御情報トランスコード手段と、 前記アダプテーション情報処理手段から与えられる第1
のメディア情報の符号化データを、前記制御情報トラン
スコード手段の制御出力に応じて変換するか、もしくは
通過し、第2のメディア情報の符号化データを出力する
メディア・トランスコード手段と、 前記制御情報トランスコード手段及びメディア・トラン
スコード手段からの符号化データ出力を受け、新たなア
ダプテーション情報を付加するアダプテーション情報付
加手段と、 前記アダプテーション情報付加手段の出力を多重化して
ネットワークに送出する多重化手段と、 を備え、 さらに、前記第1の網間接続手段、及び前記第2の網間
接続手段に含まれる制御情報変換生成手段が、互いに情
報交換を行う手段を備え、 端末から受信した制御情報がネットワーク品質に関係す
る情報である場合には、前記第1のネットワーク、及び
前記第2のネットワークのネットワーク品質情報を用い
て前記制御情報を変換し、必要に応じて新規生成を行
い、第2の制御情報を出力する、ことを特徴とする網間
接続装置。13. A method according to claim 1, wherein said first and second networks use different transmission schemes.
An inter-network connection device interconnecting a terminal connected to the network and a terminal connected to the second network, and transferring encoded data including an audio signal and / or a video signal and control information, Adaptation information including at least a time stamp and a sequence number is added to the encoded data. The inter-network connecting device includes a first inter-network connecting unit that goes from the first network to the second network. And a second inter-network connection unit that goes from the second network to the first network. At least one of the first inter-network connection unit and the second inter-network connection unit includes the code Multiplexing / demultiplexing means for multiplexing / demultiplexing a multiplexed bit stream of coded data, processing the adaptation information, And Cormorant adaptation information processing means, first given from the adaptation information processor 1
Control information transcoding means for converting or newly generating the encoded data of the control information, and outputting encoded data of the second control information;
Media transcoding means for converting or passing encoded data of the media information according to the control output of the control information transcoding means, and outputting encoded data of the second media information; Adaptation information adding means for receiving encoded data output from the information transcoding means and the media transcoding means and adding new adaptation information; and multiplexing means for multiplexing the output of the adaptation information adding means and sending it to the network. And the control information conversion and generation means included in the first network connection means and the second network connection means are provided with means for exchanging information with each other, and the control information received from the terminal. Is the information relating to the network quality, the first network and Using the network quality information of the second network to convert the control information, it performs a new product if necessary, and outputs the second control information, inter-network connection device, characterized in that.
網間接続装置において、 前記網間接続装置が、異なる伝送方式を使用するネット
ワーク間に配設され、異なるネットワークに接続された
端末を相互接続し、音声信号、映像信号、及び制御情報
の符号化データを転送し、 前記端末間に複数個の前記網間接続装置が存在する場
合、さらに、前記網間接続装置間で相互に情報交換を行
う手段を備えたことを特徴とする網間接続装置。14. The inter-network connecting device according to claim 8, wherein the inter-network connecting device is provided between networks using different transmission schemes, and is connected to a different network. Interconnecting and transferring the audio signal, the video signal, and the encoded data of the control information, and when there are a plurality of the internetwork connection devices between the terminals, furthermore, mutually between the internetwork connection devices An inter-network connection device comprising means for exchanging information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10872299A JP2000307637A (en) | 1999-04-16 | 1999-04-16 | Multimedia terminal device and inter-network connecting device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10872299A JP2000307637A (en) | 1999-04-16 | 1999-04-16 | Multimedia terminal device and inter-network connecting device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000307637A true JP2000307637A (en) | 2000-11-02 |
Family
ID=14491909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10872299A Pending JP2000307637A (en) | 1999-04-16 | 1999-04-16 | Multimedia terminal device and inter-network connecting device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000307637A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004008760A1 (en) * | 2002-07-16 | 2004-01-22 | Matsushita Electric Industrial Co., Ltd. | Content receiving apparatus and content transmitting apparatus |
US6885659B2 (en) * | 2000-11-24 | 2005-04-26 | Oki Electric Industry Co., Ltd. | Voice packet communications system with communications quality evaluation function |
JP2008092214A (en) * | 2006-09-29 | 2008-04-17 | Sanyo Electric Co Ltd | Transmitter |
JP2008136228A (en) * | 2002-07-16 | 2008-06-12 | Matsushita Electric Ind Co Ltd | Content transmitting apparatus |
JP2008536361A (en) * | 2005-03-10 | 2008-09-04 | クゥアルコム・インコーポレイテッド | Method for improving control information acquisition latency by transmitting control information in individually decodable packets |
US7636359B2 (en) | 2006-08-18 | 2009-12-22 | Nec Corporation | Received packet processing method and received packet processing apparatus for a packet having a sequence number and a time stamp |
JP2010045439A (en) * | 2008-08-08 | 2010-02-25 | Hitachi Communication Technologies Ltd | Communication network system, path calculation device and communication path establishment control method |
WO2015182189A1 (en) * | 2014-05-28 | 2015-12-03 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
-
1999
- 1999-04-16 JP JP10872299A patent/JP2000307637A/en active Pending
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7489678B2 (en) | 2000-11-24 | 2009-02-10 | Oki Electric Industry Co., Ltd. | Voice packet communications system with communications quality evaluation function |
US6885659B2 (en) * | 2000-11-24 | 2005-04-26 | Oki Electric Industry Co., Ltd. | Voice packet communications system with communications quality evaluation function |
US7924824B2 (en) | 2000-11-24 | 2011-04-12 | Oki Electric Industry Co., Ltd. | Voice packet communications system with communications quality evaluation function |
JP4561822B2 (en) * | 2002-07-16 | 2010-10-13 | パナソニック株式会社 | Content receiver |
US7830881B2 (en) | 2002-07-16 | 2010-11-09 | Panasonic Corporation | Content receiver and content transmitter |
JP2008136228A (en) * | 2002-07-16 | 2008-06-12 | Matsushita Electric Ind Co Ltd | Content transmitting apparatus |
US8503471B2 (en) | 2002-07-16 | 2013-08-06 | Panasonic Corporation | Content receiver and content transmitter |
JP4666110B2 (en) * | 2002-07-16 | 2011-04-06 | パナソニック株式会社 | Content receiver |
WO2004008760A1 (en) * | 2002-07-16 | 2004-01-22 | Matsushita Electric Industrial Co., Ltd. | Content receiving apparatus and content transmitting apparatus |
JP2010246146A (en) * | 2002-07-16 | 2010-10-28 | Panasonic Corp | Content receiving apparatus |
JP4875056B2 (en) * | 2005-03-10 | 2012-02-15 | クゥアルコム・インコーポレイテッド | Method for improving control information acquisition latency by transmitting control information in individually decodable packets |
JP2008536361A (en) * | 2005-03-10 | 2008-09-04 | クゥアルコム・インコーポレイテッド | Method for improving control information acquisition latency by transmitting control information in individually decodable packets |
US7636359B2 (en) | 2006-08-18 | 2009-12-22 | Nec Corporation | Received packet processing method and received packet processing apparatus for a packet having a sequence number and a time stamp |
JP2008092214A (en) * | 2006-09-29 | 2008-04-17 | Sanyo Electric Co Ltd | Transmitter |
JP2010045439A (en) * | 2008-08-08 | 2010-02-25 | Hitachi Communication Technologies Ltd | Communication network system, path calculation device and communication path establishment control method |
WO2015182189A1 (en) * | 2014-05-28 | 2015-12-03 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
JPWO2015182189A1 (en) * | 2014-05-28 | 2017-04-20 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6574218B1 (en) | Method and system for spatially disjoint joint source and channel coding for high-quality real-time multimedia streaming over connection-less networks via circuit-switched interface links | |
FI118830B (en) | Streaming playback | |
US7301928B2 (en) | Wireless packet transfer apparatus and method | |
US7289506B1 (en) | Data transmission | |
US8055221B2 (en) | Method of providing video call service in mobile station in a weak signal environment | |
US7076064B2 (en) | Maintaining end-to-end synchronization on telecommunications connection | |
US6983163B2 (en) | Multipoint communication method and communication control device | |
JP4195030B2 (en) | Video data transmission method and reception method for continuous video display | |
CN101536088B (en) | System and method for providing redundancy management | |
JP2001189713A (en) | Data transmitter and data transmission method | |
JP2002141945A (en) | Data transmission system and data transmission method, and program storage medium | |
EP1074125A2 (en) | Alternating speech and data transmission in digital communications systems | |
KR20030014709A (en) | Video error resilience | |
WO2007045140A1 (en) | A real-time method for transporting multimedia data | |
Jacobs et al. | Providing video services over networks without quality of service guarantees | |
EP1742476A1 (en) | Scalable video coding streaming system and transmission mechanism of the same system | |
JP2012015875A (en) | Transmitter and transmission program | |
JP2000307637A (en) | Multimedia terminal device and inter-network connecting device | |
JP2002152301A (en) | Data communication system, data receiver, data communication method, and program storage medium | |
CN101645903A (en) | Method and device for transmitting multimedia data | |
JP4400571B2 (en) | Coding data processing method and gateway device in connection between different types of communication networks | |
JP3730977B2 (en) | Data transmission method and data processing method | |
Afzal et al. | System design options for video broadcasting over wireless networks. | |
Civanlar | Protocols for real-time multimedia data transmission over the Internet | |
JP2002152181A (en) | Method and device for multimedia communication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20021224 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050311 |