JP2005197850A - Jitter absorbing method and apparatus for voice ip terminal - Google Patents
Jitter absorbing method and apparatus for voice ip terminal Download PDFInfo
- Publication number
- JP2005197850A JP2005197850A JP2004000011A JP2004000011A JP2005197850A JP 2005197850 A JP2005197850 A JP 2005197850A JP 2004000011 A JP2004000011 A JP 2004000011A JP 2004000011 A JP2004000011 A JP 2004000011A JP 2005197850 A JP2005197850 A JP 2005197850A
- Authority
- JP
- Japan
- Prior art keywords
- silence
- buffer
- jitter
- voice
- received packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
本発明は、IP(インターネット・プロトルコル)網(以下、IP網と略す)に収容し、音声通話を行う端末(以下音声IP端末という)装置に関する。音声IP端末装置が音声パケットの送受信をする場合に発生するパケットの欠落やパケットの到着時間の遅延を吸収するジッタ・バッファを用いた、音声品質の良い音声通信を可能とする、新規な方法と装置を提供するものである。 The present invention relates to a terminal (hereinafter referred to as a voice IP terminal) device that is accommodated in an IP (Internet Protral) network (hereinafter abbreviated as IP network) and performs a voice call. A novel method that enables voice communication with good voice quality using a jitter buffer that absorbs packet loss and packet arrival time delay that occur when a voice IP terminal transmits and receives voice packets; A device is provided.
IP網上で音声通話を行う音声IP端末は、音声パケットの送信から受信までにかかる時間がIP網の混雑度によって異なるため、パケットの欠落やパケットの到着時間の遅延を起こし、音声品質に劣化を生じることがある。音声IP端末は、音声パケットの送信から受信までにかかる時間の偏差、すなわち、ジッタが生じた際の音声品質の劣化を防止するために、ジッタ・バッファを備えて、遅延を吸収させていた。 Voice IP terminals that perform voice calls over an IP network depend on the congestion level of the IP network because the time it takes to send and receive voice packets varies, causing packet loss and packet arrival time delays, resulting in degraded voice quality May occur. The voice IP terminal is provided with a jitter buffer to absorb the delay in order to prevent a time deviation from transmission to reception of the voice packet, that is, deterioration of voice quality when jitter occurs.
図14には、従来の音声IP端末装置の回路構成が示されている。IP網からのパケットは、インタフェース(I/F)2を介してパケット受信部5に受信される。パケット受信部5は、受信パケット31としてパケット有音・無音識別部6Bに対して出力する。これを受けたパケット有音・無音識別部6Bは、受信パケット31が所定のレベル以上の音声を含む有音であるか、そのレベル以下の無音であるかを識別する。その識別結果は、有音・無音識別信号33Bにより、メイン処理部20Bへ報告される。受信パケット31には、次データ・ポインタ、BFIデータ、有音・無音識別フラグ、シーケンス番号、仮無音データを含んでいるものもある(例えば、特許文献5)。
FIG. 14 shows a circuit configuration of a conventional voice IP terminal device. Packets from the IP network are received by the
識別後の受信パケット35Bは、信号51,52を介してアドレス管理部11とメイン処理部20Bの監視下においてジッタ・バッファ10Bに送られ格納される。ジッタ・バッファ10Bは、信号41,42B,43B,44Bを介して、それぞれアドレス管理部11,バッファ監視部12B,縮小処理部13B,伸張処理部14Bの監視下で、バッファ内容の処理を受けている。ジッタ・バッファ10Bは、FIFO(First In First Out:先入れ先出し)型のメモリーである。
The received
アドレス管理部11は、ジッタ・バッファ10Bに格納された音声データのアドレスを管理している。バッファ監視部12Bは、ジッタ・バッファ10Bに含まれた複数のバッファの内容を監視している。縮小処理部13Bは、ジッタ・バッファ10Bに含まれた複数のバッファの数を減少する縮小処理を実行する。伸張処理部14Bは、ジッタ・バッファ10Bに含まれた複数のバッファの数を増加し、増加したバッファに擬似無音データを格納する伸張処理を実行する。
The
擬似無音データ部15Bは、伸張処理部14Bが伸張処理をして増加したバッファに格納する無音データを発生して、擬似無音データ46Bとして伸張処理部14Bに送出すると同時に、そのことを信号45によりデータ再生部23Bに通知している。ジッタ・バッファ10Bは、その出力をバッファ出力36Bとしてデータ再生部23Bへ送出する。
The pseudo silence data unit 15B generates silence data to be stored in the buffer increased by the
データ再生部23Bは、擬似無音データを含む再生データ49を音声端末とのインタフェースをするインタフェース(I/F)3に送出する。タイマー21は、メイン処理部20Bをはじめ装置内の必要な部へ、クロック40を供給している。カウンタ22は、メイン処理部20Bを介してジッタ・バッファ10Bに含まれた未格納バッファの数や、有音データの数をカウントし、あるいは、未格納バッファの設定から、このバッファに格納されるまでの期間をカウントし、その結果をメイン処理部20Bに報告している。
The
図15は、図14に示した従来例の原理を示す波形図である。受信パケット31の音声データを波形として示している。(a)はすべての受信パケット31をジッタ無く正常に受信した場合を示している。受信パケット31のNo.1〜8は有音のデータを、No.9n,10n,11nは無音のデータを表している。(b)は受信パケット31にジッタを生じ、バッファを伸張して受信パケット31のNo.2と3の間にInとして擬似無音データ46Bを挿入した場合を示している。
FIG. 15 is a waveform diagram showing the principle of the conventional example shown in FIG. The audio data of the received
(c)は受信パケット31にジッタを生じ、受信パケット31のNo.3のデータを削除してバッファを縮小した場合を示している。(b)の伸張および(c)の縮小のケースから明らかなように、伸張または縮小のタイミングが有音パケットの期間中に行われたときには、再生音声波形にインパルス的変化を生じることが多い。
(C) shows a case where jitter is generated in the received
図16は、ジッタ・バッファ10B(b)におけるバッファ伸張例を示すバッファ動作図である。状態1は、No.5の受信パケット31(a)を受け入れるための未格納バッファを設定(BFI設定)し、No.1(有音)の再生データ49(c)を出力したところである。しかしながら、No.5の受信パケット31は、状態1より以前に到着しており、状態2,状態3とNo.5の到着を待っても未格納バッファのままである。
FIG. 16 is a buffer operation diagram showing an example of buffer expansion in the
そこにNo.6の受信パケット31(a)を受けても、到着が早すぎてNo.6を受け入れるための未格納バッファ(6)はまだ設定されていない(BFI未設定)。したがって、状態5,状態6とNo.6の到着を待っても未格納バッファのままである。状態1から6は、すべて未格納バッファのままであり、この状況はカウンタ22によりカウントされ、状態7においてバッファaをバッファAの未来側(Aの上側)に付加して伸張しNo.7の到着を待つが、No.7はすでに到着済みであり、これも未格納のままとなってしまう。
Even if the received packet 31 (a) of No. 6 is received there, the unstored buffer (6) for accepting No. 6 is not set yet because the arrival is too early (BFI not set). Therefore, even if the arrival of
図示されてはいない状態8においてバッファaの未来側にバッファbを伸張するならばNo.8は格納可能となる。このように、一定の周期で受信されることを期待されたパケットが、その周期で受信できない場合に、BFI設定がなされる(状態1,4,7)。ジッタ・バッファ10B内のすべてのバッファが未格納バッファとなった場合に、カウンタ22がカウントを開始し、その値が所定値に達したときにバッファ伸張が行われる(状態7又は図15(b))。
If buffer b is expanded to the future side of buffer a in
図17は、ジッタ・バッファ10B(b)におけるバッファ縮小例を示すバッファ動作図である。状態1は、No.8の受信パケット31(a)を待っている状態である。そこでNo.8を受信すると状態2となり、パケットAにはNo.8の受信パケット31が格納される。状態3では、No.9の受信パケット31を受け入れるための未格納バッファの設定(BFI設定)がなされると同時に、No.1(有音)の再生データ49(c)を出力する。状態4になってもNo.9の到着はなく未格納バッファのままであるが、その直後にNo.9の受信パケット31を受けて、それをバッファAに格納した状態5となる。
FIG. 17 is a buffer operation diagram showing an example of buffer reduction in the
そこで状態6に移行すると、No.10を受け入れるためのBFI設定がバッファAに対して実行されると同時に。No.2(有音)の再生データ49(c)を出力する。状態4になってもNo.9の到着はなく未格納バッファのままであるが、所定の期間(クロック)が経過するまで待つ。
Therefore, when the state is shifted to the
ここで、状態2,5に示すようにすべてのバッファA〜Hが欠落の無い有音データで満たされる状態(もっと少ないバッファ数で十分)であることをカウンタ22においてカウントして検出すると、バッファF,G,Hを削除するバッファ縮小処理をして状態8(図15(c)参照)となる。ここでNo.10の受信パケット31を受けて、それをバッファAに格納した状態9となる。状態9は、状態1よりもバッファ数が少なく受信パケット31から再生データ49までの時間が短くなる。
Here, as shown in the
パケットが所定の期間内に順調に到着し、未到着となるパケットも存在しない場合は、すべてのバッファが有効なデータで満杯状態になるから、その期間をカウンタ22でカウントして所定の値に達したときバッファ縮小処理を実行している(図15(c))。
IP網における遅延の変動(ジッタ)に対処するためにジッタ・バッファの未来側にバッファ伸張をしたり(図16の状態7)、ジッタ・バッファの過去側をバッファ縮小している(図17の状態8)。これは、図15を用いて説明したように、伸張または縮小のタイミングが有音パケットの期間中に行われる可能性が高く、そのときには再生音声波形にインパルス的変化を生じることが多い。これは再生音声の品質を著しく劣化せしめる、という解決すべき課題があった。
In order to cope with delay variation (jitter) in the IP network, buffer expansion is performed on the future side of the jitter buffer (
本発明は、上記の課題を解決することを最も主要な特徴とする。IP網から受信した受信パケットの音声データが所定値よりも大きい有音であるか、所定値よりも小さい無音であるかを識別し、無音であると識別したときには無音フラグを付加して、複数のバッファを含む先入れ先出し型のジッタ・バッファに格納し、バッファの伸張あるいは縮小を必要とするときには、無音フラグの付いたバッファの存在する無音期間において、伸張あるいは縮小処理を実行するようにした。 The main feature of the present invention is to solve the above problems. Identify whether the voice data of the received packet received from the IP network is sound larger than a predetermined value or silence smaller than a predetermined value, and if it is identified as silence, a silence flag is added, When the buffer is required to be expanded or contracted, the expansion or contraction process is executed in the silence period in which the buffer with the silence flag exists.
ジッタ・バッファにおける伸張あるいは縮小処理が無音期間において確実に実行されることとなったから、再生された音声に違和感が無く、優れた通話品質を得ることができるようになった。 Since the expansion or contraction process in the jitter buffer is surely executed during the silence period, the reproduced voice has no sense of incongruity and an excellent call quality can be obtained.
IP網から受信した受信パケットの音声データが所定値よりも大きい有音であるか、所定値よりも小さい無音であるかを識別し、無音であると識別したときには無音フラグを付加して、複数のバッファを含む先入れ先出し型のジッタ・バッファに格納し、バッファの伸張あるいは縮小を必要とするときには、無音フラグの付いたバッファの存在する無音期間において、伸張あるいは縮小処理を実行するようにした。 Identify whether the voice data of the received packet received from the IP network is voiced greater than a predetermined value or silence less than a predetermined value, and if it is identified as silence, a silence flag is added, When the buffer is required to be expanded or contracted, the expansion or contraction process is executed in the silence period in which the buffer with the silence flag exists.
図1には、本発明の音声IP端末装置の回路構成が示されている。同図は、従来例を示した図14に対応している。ここで、図14に示した構成要素に対応するものについては、同じ記号を付した。IP網からのパケットは、インタフェース(I/F)2を介してパケット受信部5に受信される。パケット受信部5は受信パケット31としてパケット有音・無音識別部6に対して出力する。
FIG. 1 shows a circuit configuration of a voice IP terminal device of the present invention. This figure corresponds to FIG. 14 showing a conventional example. Here, the same symbols are used for components corresponding to the components shown in FIG. Packets from the IP network are received by the
これを受けたパケット有音・無音識別部6は、受信パケット31にパケット番号(No.)を付すと同時に、それが所定のレベル以上の音声を含む有音であるか、そのレベル以下の無音であるかを識別する。その識別結果は、有音・無音識別信号33により、パケットNo.を有する受信パケット32に添えて無音フラグ付加部7に印加される。無音フラグ付加部7は、無音と識別された受信パケット32にフラグを付加してフラグ付受信パケット35としてジッタ・バッファ10に送出する。同時に無音フラグ付加部7は、フラグを付加したことを無音フラグ付加通知34によりメイン処理部20へ報告する。
Receiving this, the packet sound /
フラグ付受信パケット35は、信号51,52を介してアドレス管理部11とメイン処理部20の監視下においてジッタ・バッファ10に送られ格納される。ジッタ・バッファ10は、信号41,42,43,44を介して、それぞれアドレス管理部11,無音フラグ・バッファ監視部12,無音縮小処理部13,無音伸張処理部14の監視下で、バッファ内容の処理を受けている。ジッタ・バッファ10は、FIFO(First In First Out:先入れ先出し)型のメモリーである。
The
アドレス管理部11は、ジッタ・バッファ10に格納された音声データのアドレスを管理している。無音フラグ・バッファ監視部12は、無音期間の検出をするためにジッタ・バッファ10に含まれた複数のバッファの内容を監視している。無音縮小処理部13は、ジッタ・バッファ10に含まれた複数のバッファの数を減少する無音縮小処理を実行する。無音伸張処理部14は、ジッタ・バッファ10に含まれた複数のバッファの数を増加し、増加したバッファに擬似無音データを格納する無音伸張処理を実行する。
The
擬似無音データ部15は、無音伸張処理部14が無音伸張処理をして増加したバッファに格納する無音データを発生して、擬似無音データ46として無音伸張処理部14に送出すると同時に、そのことを信号45によりデータ再生部23に通知している。ジッタ・バッファ10は、その出力をバッファ出力36としてデータ再生部23へ送出する。
The pseudo
データ再生部23は、擬似無音データを含む再生データ49を音声端末とのインタフェースをするインタフェース(I/F)3に送出する。タイマー21は、メイン処理部20をはじめ装置内の必要な部へ、クロック40を供給している。カウンタ22は、メイン処理部20を介してジッタ・バッファ10に含まれた未格納バッファの数や、有音データの数をカウントし、あるいは、未格納バッファの設定から、このバッファに格納されるまでの期間をカウントし、あるいは、未格納バッファの設定からこのバッファに格納されるまでの期間をカウントし、その結果をメイン処理部20に報告している。
The data reproduction unit 23 sends
図2は、従来例の図15に対応し、図1に示した本発明の回路構成例の原理を示す波形図である。受信パケット31の音声データを波形として示している。(a)はすべての受信パケット31をジッタ無く正常に受信した場合を示している。受信パケット31のNo.1〜8は有音のデータを、No.9n,10n,11nは無音のデータを表している。(b)は受信パケット31にジッタを生じ、バッファを伸張してInとして擬似無音データ46を、受信パケット31のNo.9nと10nの無音区間に挿入した場合を示している。
FIG. 2 is a waveform diagram corresponding to FIG. 15 of the conventional example and showing the principle of the circuit configuration example of the present invention shown in FIG. The audio data of the received
(c)は受信パケット31にジッタを生じ、受信パケット31のNo.10n(無音)のデータを削除してバッファを縮小した場合を示している。(b)の無音伸張および(c)の無音縮小のケースから明らかなように、無音伸張または無音縮小のタイミングが無音パケットの期間中に行われるので、再生音声波形に重大な変化を生じることが無く、違和感の無い高品質の通話を可能としている。
(C) shows a case where jitter is generated in the received
図3は、ジッタ・バッファ10(b)における無音伸張の原理を示すバッファ動作図である。状態1は、No.5の受信パケット31(a)を受け入れるための未格納バッファをバッファAに設定した状態にあり、No.1の受信パケット31はIP網における遅延が大きく、バッファEは未格納のままに経過してきている。そこに、No.1(有音)の受信パケット31を受信して状態2となる。
FIG. 3 is a buffer operation diagram showing the principle of silent expansion in the jitter buffer 10 (b).
IP網における遅延が大きいことをアドレス管理部11が検出する。そのとき、無音フラグ・バッファ監視部12の監視により、無音の受信パケット31のNo.3nと4nが格納されているのは、バッファCとBであることが判明している。そこで状態3において無音伸張処理部14が動作して、無音の受信パケット31のNo.3nと4nとの間に無音のパケットInを挿入してバッファaを未来側に伸張する。この伸張により、No.5に対する待ち時間は1バッファ分延長される。それと同時に、No.1の音声データは再生データ49(c)として出力される。
The
図4は、ジッタ・バッファ10(b)における無音縮小の原理を示すバッファ動作図である。状態1は、No.5の受信パケット31(a)を待っている状態である。そこでNo.5を受信すると状態2となり、パケットAにはNo.5の受信パケット31が格納される。パケットB〜Eも受信パケットで充たされており、順調に受信パケット31が到達していることが、アドレス管理部11の管理により明らかになっている。これは、バッファの数を減らして音声再生までの時間を短縮できることを意味する。
FIG. 4 is a buffer operation diagram showing the principle of silence reduction in the jitter buffer 10 (b).
無音フラグ・バッファ監視部12の監視により、無音の受信パケット31のNo.3nと4nが格納されているのは、バッファCとBであることが判明している。そこで状態3において無音縮小処理部13が動作して、無音の受信パケット31のNo.3nを破棄してバッファAを縮小する。この縮小により、No.5の再生までに要する時間は1バッファ分短縮される。それと同時に、No.1の音声データは再生データ49(c)として出力される。
As a result of monitoring by the silence flag /
このようにパケットが所定の期間内に順調に到着し、未到着となるパケットも存在しない場合は、すべてのバッファが有効なデータで満杯状態(図4の状態2)になるから、満杯状態の継続期間(図4では状態2のみ)をカウンタ22でカウントして所定の値に達したときバッファの無音縮小処理を実行する。
In this way, when the packets arrive smoothly within a predetermined period and there are no unarrived packets, all the buffers are filled with valid data (
図5は有音・無音識別部6の有音・無音識別動作例を示すタイムチャートである。(a)は、IP網におけるジッタも無く受信パケット31を正常に受信している場合を示している。(b)は、IP網においてジッタが発生した状態で受信パケット31を受信しているジッタ発生時を示している。(c)は、ジッタ発生時の有音・無音識別部6の有音・無音判定結果を示している。正常時の受信パケット31の受信間隔は、たとえば、40msであり、送信端末からIP網を経て受信するまでの時間は、たとえば、80msである。
FIG. 5 is a time chart showing an example of the voice / silence discrimination operation of the voice /
ジッタ発生時(b)において、受信パケット31のNo.3と4は遅延しており、No.5nと8nは無音である。No.4は、No.7とほぼ同時に受信されている。それぞれの受信パケット31の有音・無音の判定結果は(c)に示すようになり、無音と判定されたパケットには、無音フラグ付加部7において、無音フラグが付加される。
When jitter occurs (b), Nos. 3 and 4 of the received
有音・無音の識別が可能であればよいから、有音フラグのみを付してもよいし、あるいは、有音フラグと無音フラグを付してもよいことは、その有音と無音の識別を目的とすることから明らかであろう。また、送信端末において、送信パケットに有音・無音の識別フラグを付して送信することも可能であり、その場合には、パケット有音・無音識別部6と無音フラグ付加部7においては、フラグを参照または確認するだけでよい。
Since it is only necessary to be able to discriminate between sound and silence, only the sound flag may be attached, or the presence or absence of the sound flag and silence flag may be used to identify the sound and silence. It will be clear from the purpose. In addition, in the transmission terminal, it is also possible to transmit the transmission packet with a voice / silence identification flag, and in this case, the packet voice /
図6は、アドレス管理部11におけるジッタ発生時の再生可否判断の動作例を示すタイムチャートである。(a)は、IP網におけるジッタも無く受信パケット31を正常に受信している場合を示している。(b)は、IP網においてジッタが発生した状態で受信パケット31を受信しているジッタ発生時を示している。(c)は、ジッタ発生時の再生可否判断の結果を示している。正常時の受信パケット31の受信間隔は、たとえば、40msであり、送信端末からIP網を経て受信するまでの時間は、たとえば、80msである。
FIG. 6 is a time chart showing an example of the operation of judging whether or not reproduction is possible when jitter occurs in the
ジッタ発生時(b)において、受信パケット31のNo.3と4は遅延しており、No.5nと8nは無音である。No.4は、No.8nとほぼ同時に受信されている。それぞれの受信パケット31の再生可否判断の結果は(c)に示すようになり、可と判断されたパケットは、ジッタ・バッファ10において格納される。受信パケット31のNo.4は遅延が著しく、所定の受信期間をオーバーしているために否と判断されている。その結果、ジッタ・バッファ10において格納されないから、再生されることもない。
When jitter occurs (b), Nos. 3 and 4 of the received
図7は、無音伸張処理部14における無音時の伸張動作例を示すタイムチャートである。(a)は、IP網におけるジッタも無く受信パケット31を正常に受信している場合を示している。(b)は、IP網においてジッタが発生した状態で受信パケット31を受信しているジッタ発生時を示している。(c)は、ジッタ発生時の無音フラグ・バッファ監視部12の判定結果である。有音・無音を監視して、バッファの付加を行うべきタイミングを決定している。正常時の受信パケット31の受信間隔は、たとえば、40msであり、送信端末からIP網を経て受信するまでの時間は、たとえば、80msである。
FIG. 7 is a time chart showing an example of expansion operation during silence in the silent expansion processing unit 14. (A) shows a case where the received
ジッタ発生時(b)において、受信パケット31のNo.3と4は遅延しており、No.5nと8nは無音である。No.4は、No.8nとほぼ同時に受信している。受信パケット31のNo.1,2,3,5と受信したが、No.4の受信を期待した期間の超過をカウンタ22がカウントしたため、無音のNo.5nの直後にバッファを付加すべきことを無音フラグ・バッファ監視部12が判定した。その結果、(d)の無音伸張処理部14において無音伸張処理作業を実行する。このバッファ付加により、No.4の受信パケット31に対する待機時間が(40ms)延長される。無音伸張処理は、さらに必要とされる場合には、ジッタ・バッファ10の限界まで可能である。
When jitter occurs (b), Nos. 3 and 4 of the received
図8は、無音縮小処理部13における無音時の縮小動作例を示すタイムチャートである。(a)は、IP網におけるジッタも無く受信パケット31を正常に受信している場合を示している。(b)は、IP網においてジッタが発生した状態で受信パケット31を受信しているジッタ発生時を示している。(c)は、ジッタ発生時の無音フラグ・バッファ監視部12の判定結果である。有音・無音を監視して、バッファの削除を行うべきタイミングを決定している。正常時の受信パケット31の受信間隔は、たとえば、40msであり、送信端末からIP網を経て受信するまでの時間は、たとえば、80msである。
FIG. 8 is a time chart showing an example of a reduction operation during silence in the
ジッタ発生時(b)において、受信パケット31のNo.3と4は遅延しているが、その遅延量は微小であり、No.5nと8nは無音である。受信パケット31のNo.1〜5をそれぞれほぼ正常に受信する期間が所定の期間経過したことをカウンタ22がカウントしたため、無音がNo.5n,6nと続いたうちのNo.6のバッファを削除すべきことを無音フラグ・バッファ監視部12が判定し、その結果、(d)の無音縮小処理部13において無音縮小処理作業を実行する。このバッファ削除により、受信から音声再生までの時間が(40ms)短縮される。無音縮小処理は、さらに必要とされる場合には、その後の無音区間において実行される。
When jitter occurs (b), Nos. 3 and 4 of the received
図9は、ジッタ・バッファ10の動作を示すバッファ動作図である。(a)は、IP網におけるジッタも無く受信パケット31を正常に受信している場合を示している。(b)は、IP網においてジッタが発生した状態で受信パケット31を受信しているジッタ発生時を示している。(c)は、ジッタ・バッファ10の格納内容を示している。(d)は、再生データ49を示している。正常時の受信パケット31の受信間隔は、たとえば、40msであり、送信端末からIP網を経て受信するまでの時間は、たとえば、80msである。
FIG. 9 is a buffer operation diagram showing the operation of the
ジッタ発生時(b)において、受信パケット31のNo.3,4,6,7は遅延しており、No.5nは無音である。状態1においては、No.2の受信パケット31を受信してバッファAに格納している。状態2においては、バッファAをNo.3の受信パケット31の受信用に未格納バッファとしたが、No.3の受信はできなかった。
When jitter occurs (b), Nos. 3, 4, 6, and 7 of the received
状態3においては、バッファAをNo.4の受信パケット31の受信用に未格納バッファとしたが、No.4の受信はできなかったが、No.3を受信したから、それをバッファBに格納した。そこで、再生データ49としてNo.0の音声データを出力している。状態4においては、バッファAをNo.5nの受信パケット31受信用の未格納バッファとしたが、それと同時にNo.5nの受信をして格納し、再生データ49としてNo.1の音声データを出力している。
In
状態4を経過してもNo.4の受信ができないために、状態5においてバッファAにIn(無音の挿入パケット)を挿入して、その未来側にバッファaを伸張しNo.6の未格納バッファとする。同時にNo.4を受信したのでバッファCに格納し、再生データ49としてNo.2の音声データを出力している。状態6においては、バッファaをNo.7の受信パケット31受信用の未格納バッファとしたが、それと同時にNo.6の受信をし、再生データ49としてNo.3の音声データを出力している。
Since No. 4 cannot be received even after
状態7においては、バッファaをNo.8の受信パケット31受信用の未格納バッファとしたが、それと同時にNo.8の受信をして格納し、再生データ49としてNo.4の音声データを出力している。状態8においては、バッファaをNo.9の受信パケット31受信用の未格納バッファとしたが、それと同時にNo.9の受信をし、さらに、No.7の受信をバッファBに受けて、再生データ49としてNo.5nの無音の音声データを出力している。
In
状態9においては、バッファaをNo.10の受信パケット31受信用の未格納バッファとしたが、それと同時にNo.10の受信をし、再生データ49として挿入した無音のパケットInの音声データを出力している。このようにして、再生データ49には、No.0〜4,5nおよび無音パケットであるNo.5nの後に挿入された無音の挿入パケットInが再生される。
In
図10ないし図12は、図1に示した回路構成における動作の流れを示すフローチャートである。受信動作を開始すると,パケット受信部31がパケットを受信したか否かを確認する(S1、図10)。受信した場合は(S1Y)、パケット有音・無音識別部6において受信パケット31が所定の音声レベル以上の有音であるか、所定の音声レベル以下の無音であるかを識別する(S2)。
10 to 12 are flowcharts showing the operation flow in the circuit configuration shown in FIG. When the reception operation is started, it is confirmed whether or not the
有音・無音を識別するフラグを受信パケット31に付加して、受信パケット32として、これに無音フラグ付加部7において無音フラグを付けて、フラグ付データ35してジッタ・バッファ10に格納する(S3)。この格納があった場合、および、パケット受信部31がパケットを受信しなかった場合(S1N)には、音声データ再生のタイミングであるクロック40を待つ(S4)。音声データ再生のタイミングになると(S4Y)、ジッタ・バッファ10の最も過去側のバッファに格納されているデータをバッファ出力36としてデータ再生部23に送り、再生データ49として再生する(S5、図11)。
A flag for identifying the presence / absence of sound is added to the received
それと同時に、最も最近側(未来側)のバッファに未格納データのシーケンス番号(格納予定の受信パケット31のシーケンスNo.)を格納して未格納バッファの設定をする(S6)。そこで、ジッタ・バッファ10のバッファ伸張が必要か(S7)、バッファ縮小が必要か(S8)をアドレス管理部11において調べる。バッファ伸張が必要(S7Y)と判断されるとバッファ伸張処理のサブルーチンに入る(S10)。バッファ縮小が必要(S8N)と判断されるとバッファ縮小処理のサブルーチンに入る(S9)。
At the same time, the sequence number of the unstored data (the sequence number of the received
バッファ縮小処理(図12)に入ると、ジッタ・バッファ10に含まれた多数のバッファ中に無音データがあるか否かを無音フラグ・バッファ監視部12が調べ(S21)、バッファ中に無音データが存在する場合は(S21Y)、無音縮小処理部13が動作して、無音データが入っているバッファを開放して縮小(削除)して(S22)、バッファ縮小処理を終了する。
When the buffer reduction process (FIG. 12) is entered, the silence flag /
バッファ伸張処理(図13)に入ると、ジッタ・バッファ10に含まれた多数のバッファ中に無音データがあるか否かを無音フラグ・バッファ監視部12が調べ(S21)、バッファ中に無音データが存在する場合は(S31Y)、無音伸張処理部14が動作して、無音データが入っているバッファの後ろにバッファを伸張(付加)して(S32)、バッファ伸張処理を終了する。このようにして、良好な音声品質で通話することが可能となる。
When buffer expansion processing (FIG. 13) is entered, the silence flag /
2,3 I/F(インタフェース)
5 パケット受信部
6,6B パケット有音・無音識別部
7 無音フラグ付加部
10,10B ジッタ・バッファ
11 アドレス管理部
12 無音フラグ・バッファ監視部
12B バッファ監視部
13 無音縮小処理部
13B 縮小処理部
14 無音伸張処理部
14B 伸張処理部
15,15B 擬似無音データ部
20,20B メイン処理部
23,23B データ再生部
31,32 受信パケット
33,33B 有音・無音識別信号
34 無音フラグ付加通知
35 フラグ付受信パケット
35B 受信パケット
36,36B バッファ出力
40 クロック
41〜45,42B〜44B 信号
46,46B 擬似無音データ
49 再生データ
51,52 信号
2,3 I / F (interface)
5
Claims (8)
前記識別後の受信パケット(35)を複数のバッファを含む先入れ先出し型のジッタ・バッファに格納処理(10)をし、
前記受信パケット(31)のジッタを吸収するために前記ジッタ・バッファにおいて伸張あるいは縮小を必要とするときには、前記無音であると識別された識別後の受信パケット(35)の無音データの存在する無音期間において、前記ジッタ・バッファの伸張あるいは縮小をするための無音伸縮処理(11〜15)をする
音声IP端末のジッタ吸収方法。 The received packet (35) after identification is identified by identifying whether the voice level of the voice data of the received packet (31) received from the IP network is voiced greater than a predetermined value or silence less than the predetermined value. Perform packet voice / silence discrimination processing (6, 7) to obtain
The received packet (35) after the identification is stored (10) in a first-in first-out type jitter buffer including a plurality of buffers.
When the jitter buffer needs to be expanded or contracted in order to absorb the jitter of the received packet (31), the silence in which the silence data of the received packet (35) identified as the silence is present. A method of absorbing a jitter of a voice IP terminal, which performs silent expansion / contraction processing (11 to 15) for expanding or reducing the jitter buffer during a period.
前記音声データが前記所定値よりも小さい無音であると識別した場合に、前記受信パケット(31)に識別用の無音フラグを付して前記識別後の受信パケット(35)を得るための無音フラグ付加処理(7)を含んでいる
請求項1の音声IP端末のジッタ吸収方法。 The packet voice / silence discrimination processing (6, 7)
Silence flag for obtaining a received packet (35) after identification by attaching a silence flag for identification to the received packet (31) when the voice data is identified as silence that is smaller than the predetermined value The method for absorbing jitter of a voice IP terminal according to claim 1, further comprising an additional process (7).
前記ジッタ・バッファに含まれた前記複数のバッファの格納状況をアドレス管理して、前記ジッタ・バッファにおいて伸張あるいは縮小を必要とするか否かを判断するためのアドレス管理処理(11)と、
前記無音データの存在する無音期間を、前記ジッタ・バッファに含まれた前記複数のバッファにおいて監視するための無音バッファ監視処理(12)と、
前記複数のバッファを含む前記ジッタ・バッファにおいて前記伸張あるいは縮小の作業を必要とする場合に、前記無音期間において前記伸張あるいは縮小するための作業を実行する無音伸縮処理(13,14)と
前記前記伸張するための作業をする場合に挿入するバッファに格納するための擬似無音データを発生するための擬似無音データ処理(15)とを含んでいる
請求項1の音声IP端末のジッタ吸収方法。 The silent expansion / contraction processing (11-15)
An address management process (11) for managing the storage status of the plurality of buffers included in the jitter buffer to determine whether the jitter buffer needs to be expanded or contracted;
A silence buffer monitoring process (12) for monitoring a silence period in which the silence data exists in the plurality of buffers included in the jitter buffer;
Silence expansion / contraction processing (13, 14) for performing the expansion or contraction operation in the silent period when the expansion or contraction operation is required in the jitter buffer including the plurality of buffers, and the The method for absorbing jitter in a voice IP terminal according to claim 1, further comprising: pseudo silence data processing (15) for generating pseudo silence data to be stored in a buffer to be inserted when performing an expansion operation.
前記IP網から受信した受信パケット(31)に、その音声データが有音であるか無音であるかを識別した標識がすでに付されているか否かを検査し、すでに付されている場合には、その受信パケット(31)を前記識別後の受信パケット(35)とする
請求項1の音声IP端末のジッタ吸収方法。 In the packet voice / silence identification processing (6, 7),
The received packet (31) received from the IP network is inspected to determine whether or not the voice data has already been marked to identify whether the voice data is voiced or silent. The method for absorbing jitter in a voice IP terminal according to claim 1, wherein the received packet (31) is the identified received packet (35).
前記識別後の受信パケット(35)を複数のバッファを含む先入れ先出し型のジッタ・バッファに格納処理をするバッファ格納手段(10)と、
前記受信パケット(31)のジッタを吸収するために前記ジッタ・バッファにおいて伸張あるいは縮小を必要とするときには、前記無音であると識別された識別後の受信パケット(35)の無音データの存在する無音期間において、前記ジッタ・バッファの伸張あるいは縮小をするための無音伸縮手段(11〜15)とを含む
音声IP端末のジッタ吸収装置。 The received packet (35) after identification is identified by identifying whether the voice level of the voice data of the received packet (31) received from the IP network is voiced greater than a predetermined value or silence less than the predetermined value. Packet voice / silence identification means (6, 7) for obtaining;
Buffer storage means (10) for storing the identified received packet (35) in a first-in first-out jitter buffer including a plurality of buffers;
When the jitter buffer needs to be expanded or contracted in order to absorb the jitter of the received packet (31), the silence in which the silence data of the received packet (35) identified as the silence is present. And a silent expansion / contraction means (11-15) for expanding or contracting the jitter buffer over a period of time.
前記音声データが前記所定値よりも小さい無音であると識別した場合に、前記受信パケット(31)に識別用の無音フラグを付して前記識別後の受信パケット(35)を得るための無音フラグ付加手段(7)を含んでいる
請求項5の音声IP端末のジッタ吸収装置。 The packet voice / silence identification means (6, 7)
Silence flag for obtaining a received packet (35) after identification by attaching a silence flag for identification to the received packet (31) when the voice data is identified as silence that is smaller than the predetermined value The jitter absorbing apparatus for a voice IP terminal according to claim 5, further comprising additional means (7).
前記ジッタ・バッファに含まれた前記複数のバッファの格納状況をアドレス管理して、前記ジッタ・バッファにおいて伸張あるいは縮小を必要とするか否かを判断するためのアドレス管理手段(11)と、
前記無音データの存在する無音期間を、前記ジッタ・バッファに含まれた前記複数のバッファにおいて監視するための無音バッファ監視手段(12)と、
前記複数のバッファを含む前記ジッタ・バッファにおいて前記伸張あるいは縮小の作業を必要とする場合に、前記無音期間において前記伸張あるいは縮小するための作業を実行する無音伸縮手段(13,14)と
前記前記伸張するための作業をする場合に挿入するバッファに格納するための擬似無音データを発生するための擬似無音データ手段(15)とを含んでいる
請求項5の音声IP端末のジッタ吸収装置。 The silent expansion / contraction means (11-15)
Address management means (11) for managing the storage status of the plurality of buffers included in the jitter buffer and determining whether or not expansion or contraction is required in the jitter buffer;
Silence buffer monitoring means (12) for monitoring a silence period in which the silence data exists in the plurality of buffers included in the jitter buffer;
Silence expansion / contraction means (13, 14) for performing the expansion or contraction operation in the silent period when the expansion or contraction operation is required in the jitter buffer including the plurality of buffers; 6. A jitter absorbing apparatus for a voice IP terminal according to claim 5, further comprising pseudo silence data means (15) for generating pseudo silence data to be stored in a buffer to be inserted when the work for expansion is performed.
前記IP網から受信した受信パケット(31)に、その音声データが有音であるか無音であるかを識別した標識がすでに付されているか否かを検査し、すでに付されている場合には、その受信パケット(31)を前記識別後の受信パケット(35)とする
請求項5の音声IP端末のジッタ吸収装置。 In the packet voice / silence identification means (6, 7),
The received packet (31) received from the IP network is inspected to determine whether or not the voice data has already been marked to identify whether the voice data is voiced or silent. The jitter absorbing apparatus for a voice IP terminal according to claim 5, wherein the received packet (31) is the identified received packet (35).
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004000011A JP2005197850A (en) | 2004-01-05 | 2004-01-05 | Jitter absorbing method and apparatus for voice ip terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004000011A JP2005197850A (en) | 2004-01-05 | 2004-01-05 | Jitter absorbing method and apparatus for voice ip terminal |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005197850A true JP2005197850A (en) | 2005-07-21 |
Family
ID=34815976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004000011A Pending JP2005197850A (en) | 2004-01-05 | 2004-01-05 | Jitter absorbing method and apparatus for voice ip terminal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005197850A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007150914A (en) * | 2005-11-29 | 2007-06-14 | Kyocera Corp | Communication device, buffer delay adjustment method and program |
JP2007288342A (en) * | 2006-04-13 | 2007-11-01 | Nec Corp | Media stream relay device and method |
EP1931068A1 (en) * | 2006-12-04 | 2008-06-11 | Nokia Siemens Networks Gmbh & Co. Kg | Method of adaptively dejittering packetized signals buffered at the receiver of a communication network node |
JP2012205066A (en) * | 2011-03-25 | 2012-10-22 | Mitsubishi Electric Corp | Voice data processing device |
JP2017123583A (en) * | 2016-01-07 | 2017-07-13 | ブラザー工業株式会社 | Remote conference method and program |
-
2004
- 2004-01-05 JP JP2004000011A patent/JP2005197850A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007150914A (en) * | 2005-11-29 | 2007-06-14 | Kyocera Corp | Communication device, buffer delay adjustment method and program |
JP2007288342A (en) * | 2006-04-13 | 2007-11-01 | Nec Corp | Media stream relay device and method |
EP1931068A1 (en) * | 2006-12-04 | 2008-06-11 | Nokia Siemens Networks Gmbh & Co. Kg | Method of adaptively dejittering packetized signals buffered at the receiver of a communication network node |
WO2008068167A1 (en) * | 2006-12-04 | 2008-06-12 | Nokia Siemens Networks Gmbh & Co. Kg | Method of adaptively dejittering packetized signals buffered at the receiver of a communication network node |
JP2012205066A (en) * | 2011-03-25 | 2012-10-22 | Mitsubishi Electric Corp | Voice data processing device |
JP2017123583A (en) * | 2016-01-07 | 2017-07-13 | ブラザー工業株式会社 | Remote conference method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7450601B2 (en) | Method and communication apparatus for controlling a jitter buffer | |
JP2003087317A (en) | Apparatus and method for absorbing voice packet delay fluctuation | |
CN105991857A (en) | Method and device for adjusting reference signal | |
US7120171B2 (en) | Packet data processing apparatus and packet data processing method | |
JP2005197850A (en) | Jitter absorbing method and apparatus for voice ip terminal | |
JP4272033B2 (en) | Data playback device | |
JP2001268124A (en) | Device and method for monitoring quality of audio/video communication, and recording medium recorded with the method | |
JP5330183B2 (en) | Packet insertion / deletion method and call system | |
JP2005033499A (en) | Method and device for absorbing fluctuation of propagation time of voice ip terminal | |
JP4983054B2 (en) | Server apparatus and buffer control method in the same apparatus | |
JP4692412B2 (en) | Voice packet signal receiver | |
JP2007282090A (en) | Portable information terminal and sound reproducing method | |
JPH0683257B2 (en) | Packet communication method | |
JP5691721B2 (en) | Audio data processing device | |
JPS63257367A (en) | Voice packet communication method | |
JP3669660B2 (en) | Call system | |
JP2522387B2 (en) | Voice packet communication device | |
US11064069B2 (en) | Communication apparatus, communication data recording system, communication method, and program | |
GB2356537A (en) | Silence suppression/insertion buffer management | |
JP2008022432A (en) | Signal transmitting/receiving apparatus and communication synchronism control method | |
JP2569493B2 (en) | Transfer fluctuation absorption processing method in packet communication | |
JP2002271397A (en) | Apparatus and method of packet loss recovery | |
JPS6268350A (en) | Voice packet communication system | |
JP4260123B2 (en) | Output method, output device, communication system, and computer program | |
JP2000022749A (en) | Multimedia communication device, fragment size notice method used for it and storage medium recording its control program |