JP6944180B2 - Video conversion system, video conversion method and video conversion program - Google Patents

Video conversion system, video conversion method and video conversion program Download PDF

Info

Publication number
JP6944180B2
JP6944180B2 JP2017058078A JP2017058078A JP6944180B2 JP 6944180 B2 JP6944180 B2 JP 6944180B2 JP 2017058078 A JP2017058078 A JP 2017058078A JP 2017058078 A JP2017058078 A JP 2017058078A JP 6944180 B2 JP6944180 B2 JP 6944180B2
Authority
JP
Japan
Prior art keywords
dimensional
dynamic object
static
dynamic
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017058078A
Other languages
Japanese (ja)
Other versions
JP2018160853A (en
Inventor
直人 横内
直人 横内
Original Assignee
株式会社Ｆｒｅｅ−Ｄ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｆｒｅｅ−Ｄ filed Critical 株式会社Ｆｒｅｅ−Ｄ
Priority to JP2017058078A priority Critical patent/JP6944180B2/en
Publication of JP2018160853A publication Critical patent/JP2018160853A/en
Priority to JP2021143123A priority patent/JP2021192541A/en
Application granted granted Critical
Publication of JP6944180B2 publication Critical patent/JP6944180B2/en
Priority to JP2021193839A priority patent/JP2022031304A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、動画変換システム、動画変換方法、及び、動画変換プログラムに関する。 The present invention relates to a video conversion system, a video conversion method, and a video conversion program.

近年、三次元動画の需要が高まってきている。例えば、三次元映画に対応する映画館の数は年々増加している。しかしながら、現在、大多数の動画は二次元専用であり、三次元には十分に対応していない。そこで、二次元動画に基づいて三次元動画を製作することがある。二次元動画に基づいて三次元動画を製作する場合、右目用の動画と左目用の動画が必要となる。この様な場合、二次元動画の各シーンについて、人物等のオブジェクトを背景から分離し、仮想的なカメラとの距離に応じて人物等の画像を左右にずらしている。 In recent years, the demand for 3D moving images has been increasing. For example, the number of movie theaters that support 3D movies is increasing year by year. However, at present, the majority of moving images are exclusively for 2D and do not fully support 3D. Therefore, a three-dimensional moving image may be produced based on the two-dimensional moving image. When producing a 3D video based on a 2D video, a video for the right eye and a video for the left eye are required. In such a case, for each scene of the two-dimensional moving image, the object such as a person is separated from the background, and the image of the person or the like is shifted to the left or right according to the distance from the virtual camera.

特開２０１４−２０９２４７号公報Japanese Unexamined Patent Publication No. 2014-209247

しかしながら、この様な作業は多くの場合手作業で行われており、膨大な費用及び時間が必要となる場合がある。 However, such work is often done manually and may require enormous cost and time.

そこで、本発明は、この様な課題に鑑み、安価かつ迅速に二次元動画を三次元動画に変換可能な動画変換システム、動画変換方法、及び、動画変換プログラムを提供することを目的とする。 Therefore, in view of such problems, it is an object of the present invention to provide a moving image conversion system, a moving image conversion method, and a moving image conversion program capable of converting a two-dimensional moving image into a three-dimensional moving image inexpensively and quickly.

以上の目的を達成するため、本発明に係る動画変換システムは、二次元動画を三次元動画に変換する動画変換システムであって、静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離するオブジェクト分離部と、オブジェクト分離部によって分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部に格納された静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成する三次元静的オブジェクト生成部と、オブジェクト分離部によって分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部に格納された動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成する三次元動的オブジェクト生成部と、三次元静的オブジェクト生成部によって生成された三次元静的オブジェクトと三次元動的オブジェクト生成部によって生成された三次元動的オブジェクトを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する三次元動画生成部と、を備える。 In order to achieve the above object, the moving image conversion system according to the present invention is a moving image conversion system that converts a two-dimensional moving image into a three-dimensional moving image, and stores static object information for each type. A part, a dynamic object information storage part that stores dynamic object information for each type, an object separation part that separates multiple objects in a 2D video into static objects and dynamic objects, and an object separation part. 3D static that identifies each type of static object separated by and creates a 3D static object based on the static object information stored in the static object information storage of the specified type. The type of each of the dynamic object separated by the object generation part and the object separation part is specified, and three-dimensional dynamic is performed based on the information of the dynamic object stored in the dynamic object information storage part of the specified type. A 2D video of the 3D dynamic object generator that creates the object, the 3D static object created by the 3D static object generator, and the 3D dynamic object created by the 3D dynamic object generator. It is provided with a three-dimensional moving image generation unit that generates a three-dimensional moving image by arranging it in a virtual three-dimensional space based on the above.

また、この様な動画変換システムにおいては、動的オブジェクト情報格納部が、動的オブジェクトの動作に関する情報を動的オブジェクトの種類ごとに格納し、三次元動的オブジェクト生成部が、この動作に関する情報に基づいて三次元動的オブジェクトに動作を付与しても良い。 Further, in such a video conversion system, the dynamic object information storage unit stores information on the operation of the dynamic object for each type of dynamic object, and the three-dimensional dynamic object generation unit stores information on this operation. You may give the action to the 3D dynamic object based on.

また、本発明に係る動画変換方法は、静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、を備える動画変換システムを用いて二次元動画を三次元動画に変換する動画変換方法であって、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部に格納された静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成し、分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部に格納された動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成し、三次元静的オブジェクトと三次元動的オブジェクトとを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する。 Further, the moving image conversion method according to the present invention includes a static object information storage unit that stores static object information for each type and a dynamic object information storage unit that stores dynamic object information for each type. It is a video conversion method that converts a two-dimensional video into a three-dimensional video using the provided video conversion system. It separates each of multiple objects in the two-dimensional video into static objects and dynamic objects, and is separated static. Each type of object is specified, a three-dimensional static object is generated based on the information of the static object stored in the static object information storage of the specified type, and each type of separated dynamic object. Is specified, and based on the information of the dynamic object stored in the dynamic object information storage of the specified type, a three-dimensional dynamic object is generated, and the three-dimensional static object and the three-dimensional dynamic object are separated. Generate a 3D movie by arranging it in a virtual 3D space based on the 2D movie.

更に、本発明に係る動画変換プログラムは、静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、を備える動画変換システムを用いて二次元動画を三次元動画に変換する動画変換プログラムであって、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部に格納された静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成し、分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部に格納された動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成し、三次元静的オブジェクトと三次元動的オブジェクトとを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する。 Further, the moving image conversion program according to the present invention has a static object information storage unit that stores static object information for each type and a dynamic object information storage unit that stores dynamic object information for each type. It is a video conversion program that converts a two-dimensional video into a three-dimensional video using the provided video conversion system. It separates each of multiple objects in the two-dimensional video into static objects and dynamic objects, and is separated static. Each type of object is specified, a three-dimensional static object is generated based on the information of the static object stored in the static object information storage of the specified type, and each type of separated dynamic object. Is specified, and based on the information of the dynamic object stored in the dynamic object information storage of the specified type, a three-dimensional dynamic object is generated, and the three-dimensional static object and the three-dimensional dynamic object are separated. Generate a 3D movie by arranging it in a virtual 3D space based on the 2D movie.

以上の様に、本発明によれば、安価かつ迅速に二次元動画を三次元動画に変換可能な動画変換システム、動画変換方法、及び、動画変換プログラムを提供することが出来る。 As described above, according to the present invention, it is possible to provide a moving image conversion system, a moving image conversion method, and a moving image conversion program capable of converting a two-dimensional moving image into a three-dimensional moving image inexpensively and quickly.

本発明の実施形態に係る動画変換システムの構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the moving image conversion system which concerns on embodiment of this invention. 同動画変換システムの動作を示すフローチャートである。It is a flowchart which shows the operation of the moving image conversion system. 三次元オブジェクトを生成する様子を示す図である。It is a figure which shows the state of generating a three-dimensional object. 三次元オブジェクトを生成する様子を示す図である。It is a figure which shows the state of generating a three-dimensional object. 三次元オブジェクトを生成する様子を示す図である。It is a figure which shows the state of generating a three-dimensional object. 三次元オブジェクト動画を生成する様子を示す図である。It is a figure which shows the state of generating a 3D object moving image. 三次元オブジェクトにレイヤー情報を付加する様子を示す図である。It is a figure which shows the state of adding layer information to a three-dimensional object. 三次元オブジェクトにレイヤー情報を付加する様子を示す図である。It is a figure which shows the state of adding layer information to a three-dimensional object. 三次元オブジェクトと仮想的なカメラとの距離の計算方法について説明するための図である。It is a figure for demonstrating the calculation method of the distance between a 3D object and a virtual camera. ２眼用の三次元動画を生成する様子を示す図である。It is a figure which shows the state of generating the 3D moving image for two eyes. 背景に補間処理を行う様子を示す図である。It is a figure which shows the state of performing the interpolation processing in the background.

次に、図面を参照し、本発明の実施形態について説明する。尚、以下の説明は例示的なものであり、詳細については適宜変更可能である。 Next, an embodiment of the present invention will be described with reference to the drawings. The following description is an example, and the details can be changed as appropriate.

［本発明の実施形態に係る動画変換システム］
図１に示す通り、本発明の実施形態に係る動画変換システムは、オブジェクト情報格納部１００と、動画変換装置２００と、を備える。この動画変換システムは、二次元動画に基づいて三次元動画を生成し、配信システム３００を介して、この三次元動画をスマートフォン、タブレット端末、ＰＣ等の端末４００に配信する。尚、ここで言う三次元動画には、右目用の動画と左目用の動画との間で単純にオブジェクトの位置を異ならせた古典的なものだけでなく、仮想的な三次元空間に三次元オブジェクトを配置してなるＶＲ（Virtual Reality）動画も含まれる。 [Video conversion system according to the embodiment of the present invention]
As shown in FIG. 1, the moving image conversion system according to the embodiment of the present invention includes an object information storage unit 100 and a moving image conversion device 200. This moving image conversion system generates a three-dimensional moving image based on the two-dimensional moving image, and distributes the three-dimensional moving image to a terminal 400 such as a smartphone, a tablet terminal, or a PC via a distribution system 300. The 3D video mentioned here is not only the classic one in which the position of the object is simply different between the video for the right eye and the video for the left eye, but also 3D in a virtual 3D space. A VR (Virtual Reality) movie in which objects are placed is also included.

オブジェクト情報格納部１００は、背景、雲、モノ等の静的オブジェクトの情報を種類に応じて格納する静的オブジェクト情報格納部１０１と、顔、人物、車や電車等の乗物、信号、雪、雨、水滴等の動的オブジェクトの情報、例えば、動的オブジェクトの動作に関する情報等を、種類に応じて格納する動的オブジェクト情報格納部１０２と、を備える。 The object information storage unit 100 includes a static object information storage unit 101 that stores information on static objects such as backgrounds, clouds, and objects according to the type, and a face, a person, a vehicle such as a car or a train, a signal, snow, and the like. It includes a dynamic object information storage unit 102 that stores information on dynamic objects such as rain and water droplets, for example, information on the operation of dynamic objects according to the type.

動画変換装置２００は、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離するオブジェクト分離部２０１と、オブジェクト分離部２０１によって分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部１０１に格納された静的オブジェクトの情報に基づいて三次元静的オブジェクトを生成する三次元静的オブジェクト生成部２０４と、オブジェクト分離部２０１によって分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部１０２に格納された動的オブジェクトの情報に基づいて三次元動的オブジェクトを生成する三次元動的オブジェクト生成部２０６と、三次元静的オブジェクトと三次元動的オブジェクトとを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する三次元動画生成部２０７と、を備える。 The moving image conversion device 200 specifies the types of the object separation unit 201 that separates each of the plurality of objects in the two-dimensional moving image into static objects and dynamic objects, and the types of the static objects separated by the object separation unit 201. Separated by a three-dimensional static object generation unit 204 that generates a three-dimensional static object based on the static object information stored in the static object information storage unit 101 of the specified type, and an object separation unit 201. Dynamic object A three-dimensional dynamic object generation unit 206 that specifies each type and generates a three-dimensional dynamic object based on the information of the dynamic object stored in the dynamic object information storage unit 102 of the specified type. And a three-dimensional moving image generation unit 207 that generates a three-dimensional moving object by arranging a three-dimensional static object and a three-dimensional dynamic object in a virtual three-dimensional space based on a two-dimensional moving object.

［本発明の実施形態に係る動画変換システムの動作］
次に、図２〜図１１を参照して、上記動画変換システムの動作について説明する。 [Operation of the video conversion system according to the embodiment of the present invention]
Next, the operation of the moving image conversion system will be described with reference to FIGS. 2 to 11.

オブジェクト分離部２０１は、二次元動画をシーンごとに分割して、複数の二次元動画を生成する（ステップＳ１０１）。以下、分割前の二次元動画を第１の二次元動画と、分割後の二次元動画を第２の二次元動画と呼ぶことがある。 The object separation unit 201 divides the two-dimensional moving image into each scene to generate a plurality of two-dimensional moving images (step S101). Hereinafter, the two-dimensional moving image before division may be referred to as a first two-dimensional moving image, and the two-dimensional moving image after division may be referred to as a second two-dimensional moving image.

次に、オブジェクト分離部２０１は、複数の第２の二次元動画それぞれにモーション・トラッキング等の処理を行い、第２の二次元動画のうち、所定の閾値よりも動きの少ない部分の画像を静的オブジェクトに、この所定の閾値よりも動きの大きい部分の画像を動的オブジェクトに対応させて、第２の二次元動画から抽出する（ステップＳ１０２）。 Next, the object separation unit 201 performs processing such as motion tracking on each of the plurality of second two-dimensional moving images, and statically captures an image of a portion of the second two-dimensional moving image that has less movement than a predetermined threshold. An image of a portion having a movement larger than the predetermined threshold value is made to correspond to the dynamic object, and is extracted from the second two-dimensional moving image (step S102).

次に、オブジェクト分離部２０１は、分離されたオブジェクトを順次選択し（ステップＳ１０３）、このオブジェクトが静的オブジェクトであるのか動的オブジェクトであるのかを判別する（ステップＳ１０４）。 Next, the object separation unit 201 sequentially selects the separated objects (step S103), and determines whether this object is a static object or a dynamic object (step S104).

ステップＳ１０３において選択されたオブジェクトが静的オブジェクトであった場合、三次元静的オブジェクト生成部２０４は、識別器によって入力された画像が示す静的オブジェクトの種類を特定する（ステップＳ１０５）。また、三次元静的オブジェクト生成部２０４は、オブジェクトの種類に応じた複数のディレクトリｄを生成し、同一の種類に分類された複数の画像を同一のディレクトリｄに格納する。 If the object selected in step S103 is a static object, the three-dimensional static object generator 204 identifies the type of static object indicated by the image input by the classifier (step S105). Further, the three-dimensional static object generation unit 204 generates a plurality of directories d according to the type of the object, and stores a plurality of images classified into the same type in the same directory d.

次に、三次元静的オブジェクト生成部２０４は、ステップＳ１０５で生成した各ディレクトリｄに順次アクセスし、ディレクトリｄ内の複数の画像、及び、静的オブジェクト情報格納部１０１内に格納された情報に基づいて、ディレクトリｄ毎に一つの三次元オブジェクトを生成する（ステップＳ１０６）。 Next, the three-dimensional static object generation unit 204 sequentially accesses each directory d generated in step S105, and obtains a plurality of images in the directory d and information stored in the static object information storage unit 101. Based on this, one three-dimensional object is generated for each directory d (step S106).

ステップＳ１０３において選択されたオブジェクトが動的オブジェクトであった場合、三次元動的オブジェクト生成部２０６は、識別器によって入力された画像が示すオブジェクトの種類を特定する（ステップＳ１０７）。また、三次元動的オブジェクト生成部２０６は、オブジェクトの種類に応じた複数のディレクトリｄを生成し、同一の種類に分類された複数の画像を同一のディレクトリｄに格納する。尚、ここで言う種類の特定には、人物、車等の種類の特定だけでなく、どのオブジェクトがどの人物に対応するのか、等の個体の特定が含まれても良い。また、人物はシーンごとに異なる髪型や服装を有する場合があるが、この様な場合、全てのシーンを通じて同じ人物の情報を同じディレクトリｄに格納しても良いし、シーンごとに異なるディレクトリｄに格納しても良い。 If the object selected in step S103 is a dynamic object, the three-dimensional dynamic object generator 206 identifies the type of object indicated by the image input by the classifier (step S107). Further, the three-dimensional dynamic object generation unit 206 generates a plurality of directories d according to the type of the object, and stores a plurality of images classified into the same type in the same directory d. It should be noted that the type identification referred to here may include not only the identification of the type of a person, a car, etc., but also the identification of an individual such as which object corresponds to which person. In addition, a person may have a different hairstyle and clothes for each scene. In such a case, the same person's information may be stored in the same directory d for all scenes, or in a different directory d for each scene. You may store it.

次に、三次元動的オブジェクト生成部２０６は、ステップＳ１０７で生成した各ディレクトリｄに順次アクセスし、ディレクトリｄ内の複数の画像、及び、動的オブジェクト情報格納部１０２内に格納された情報に基づいて、ディレクトリｄ毎に一つの三次元オブジェクトを生成する（ステップＳ１０８）。例えば、人物Ａについての三次元オブジェクトを生成する場合、図３（ａ）（ｂ）に例示するように、人物Ａの画像中の複数の特徴点ｐ１を検出し、ここに順次座標情報を埋め込む。次に、これら複数の二次元の座標情報及びオブジェクトの角度差に基づいて、特徴点ｐ１の三次元座標を取得する。次に、図４（ａ）（ｂ）に例示するように、特徴点の三次元座標を基準にして、人物Ａの三次元空間上における形状を生成する。次に、図４（ｃ）に例示するように、複数の画像に基づき、上記形状に色の情報を付与する。次に、図５に例示するように、上記形状に骨格情報を埋め込み、三次元オブジェクトを生成する。尚、骨格情報は、人物等の関節や端部等に埋め込まれる複数の特定点ｐ２及びこれら特定点ｐ２間の距離を規定する情報を含み、特定点ｐ２の動きを規定することによって三次元オブジェクトの動きを規定することが可能な情報であり、動的オブジェクトの動作に関する情報として動的オブジェクト情報格納部１０２に格納される。人物についての三次元オブジェクトには人物についての骨格情報が埋め込まれ、電車等についての三次元オブジェクトには電車についての骨格情報が埋め込まれる。 Next, the three-dimensional dynamic object generation unit 206 sequentially accesses each directory d generated in step S107, and obtains a plurality of images in the directory d and information stored in the dynamic object information storage unit 102. Based on this, one three-dimensional object is generated for each directory d (step S108). For example, when a three-dimensional object for a person A is generated, as illustrated in FIGS. 3A and 3B, a plurality of feature points p1 in the image of the person A are detected, and coordinate information is sequentially embedded therein. .. Next, the three-dimensional coordinates of the feature point p1 are acquired based on the plurality of two-dimensional coordinate information and the angle difference of the objects. Next, as illustrated in FIGS. 4A and 4B, the shape of the person A in the three-dimensional space is generated with reference to the three-dimensional coordinates of the feature points. Next, as illustrated in FIG. 4C, color information is added to the shape based on a plurality of images. Next, as illustrated in FIG. 5, skeleton information is embedded in the above shape to generate a three-dimensional object. The skeleton information includes a plurality of specific points p2 embedded in joints and ends of a person or the like and information that defines the distance between these specific points p2, and is a three-dimensional object by defining the movement of the specific points p2. It is information capable of defining the movement of the dynamic object, and is stored in the dynamic object information storage unit 102 as information regarding the operation of the dynamic object. Skeleton information about a person is embedded in a three-dimensional object about a person, and skeleton information about a train is embedded in a three-dimensional object about a train or the like.

次に、三次元動的オブジェクト生成部２０６は、三次元オブジェクトに動作を付与する（ステップＳ１０９）。例えば、図６に例示するように、モーション・トラッキング等の手段を用い、二次元動画におけるオブジェクトの動きを検出し、これに基づいて骨格情報中の特定点ｐ２の動きを規定し、これによって三次元オブジェクトに動作を付与する。 Next, the three-dimensional dynamic object generation unit 206 gives an action to the three-dimensional object (step S109). For example, as illustrated in FIG. 6, a means such as motion tracking is used to detect the movement of an object in a two-dimensional moving image, and based on this, the movement of a specific point p2 in the skeleton information is defined, thereby being tertiary. Gives an action to the original object.

ステップＳ１０３において選択されたオブジェクトについての処理が終了した場合、ステップＳ１０２において分離されたオブジェクトが全て選択されたか否かを判断し（Ｓ１１０）、全てのオブジェクトについての処理が終了していない場合には、ステップＳ１０３に戻る。全てのオブジェクトについての処理が終了した場合には、ステップＳ１１１に進む。 When the processing for the objects selected in step S103 is completed, it is determined whether or not all the separated objects are selected in step S102 (S110), and when the processing for all the objects is not completed, the processing is not completed. , Return to step S103. When the processing for all the objects is completed, the process proceeds to step S111.

次に、三次元動画生成部２０７は、同一のシーンに登場する複数の三次元オブジェクトについて、レイヤー情報を付加する（ステップＳ１１１）。例えば、図７及び図８に例示するように、各オブジェクトｏ１〜ｏ６の仮想的なカメラｃとの距離を決定し、各オブジェクトｏ１〜ｏ６にレイヤーｌ１〜ｌ６を付加する。尚、各オブジェクトｏ１〜ｏ６の仮想的なカメラｃとの距離は、図９（ａ）に例示するように合照度に応じて計算しても良いし、図９（ｂ）に例示する様にＲＧＢ値に基づいて計算しても良いし、図９（ｃ）に例示するように、二次元動画中のオブジェクトの動きに基づいて計算しても良い。 Next, the three-dimensional moving image generation unit 207 adds layer information to a plurality of three-dimensional objects appearing in the same scene (step S111). For example, as illustrated in FIGS. 7 and 8, the distances of the objects o1 to o6 from the virtual camera c are determined, and layers l1 to l6 are added to the objects o1 to o6. The distance between the objects o1 to o6 and the virtual camera c may be calculated according to the combined illuminance as illustrated in FIG. 9A, or as illustrated in FIG. 9B. It may be calculated based on the RGB values, or as illustrated in FIG. 9C, it may be calculated based on the movement of the object in the two-dimensional moving image.

次に、三次元動画生成部２０７は、２眼用の三次元動画を生成する（ステップＳ１１２）。例えば、図１０（ａ）に例示した元の二次元画像から図１０（ｂ）に例示するように背景ｂを分離し、背景ｂの手前に三次元オブジェクトｏ７を配置する。次に、図１０（ｃ）及び（ｄ）に例示するように、この背景ｂ及び三次元オブジェクトｏ７を右目で見た場合の動画と左目で見た場合の動画とを生成する。 Next, the three-dimensional moving image generation unit 207 generates a three-dimensional moving image for two eyes (step S112). For example, the background b is separated from the original two-dimensional image illustrated in FIG. 10 (a) as illustrated in FIG. 10 (b), and the three-dimensional object o7 is placed in front of the background b. Next, as illustrated in FIGS. 10C and 10D, a moving image when the background b and the three-dimensional object o7 are viewed with the right eye and a moving image when the background b and the three-dimensional object o7 are viewed with the left eye are generated.

次に、三次元動画生成部２０７は、ステップＳ１１２において分離された背景ｂに補間処理を行う（ステップＳ１１３）。例えば図１１（ａ）に例示するように、左目用の動画においては三次元オブジェクトｏ７と背景ｂとの間に隙間ｈが生じてしまう。図１１（ｂ）に例示するように、右目用の動画についても同様である。従って、この様な隙間ｈに背景ピクセル予測システム等を適用して補間する。 Next, the three-dimensional moving image generation unit 207 performs interpolation processing on the background b separated in step S112 (step S113). For example, as illustrated in FIG. 11A, in the moving image for the left eye, a gap h is generated between the three-dimensional object o7 and the background b. As illustrated in FIG. 11B, the same applies to the moving image for the right eye. Therefore, a background pixel prediction system or the like is applied to such a gap h to interpolate.

その後、この様にして生成した三次元動画を、配信システム３００を介して、スマートフォン、タブレット端末、ＰＣ等の端末４００に配信する（ステップＳ１１４）。配信に際しては、予め三次元オブジェクトを端末４００に送信し、その後でこの三次元オブジェクトの動きを規定するデータやレイヤー情報等を送信することが可能である。これにより、送信する情報量を圧縮して、三次元動画を円滑に再生することが可能となる。 After that, the three-dimensional moving image generated in this way is distributed to a terminal 400 such as a smartphone, a tablet terminal, or a PC via the distribution system 300 (step S114). At the time of distribution, it is possible to transmit the three-dimensional object to the terminal 400 in advance, and then transmit data, layer information, and the like that define the movement of the three-dimensional object. This makes it possible to compress the amount of information to be transmitted and smoothly reproduce the three-dimensional moving image.

［本発明の実施形態に係る動画変換システムの効果］
以上説明した通り、本発明の実施形態に係る動画変換システムは、二次元動画を三次元動画に変換する動画変換システムであって、静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部１０１と、動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部１０２と、二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離するオブジェクト分離部２０１と、オブジェクト分離部２０１によって分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の静的オブジェクト情報格納部１０１に格納された静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成する三次元静的オブジェクト生成部２０４と、オブジェクト分離部２０１によって分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の動的オブジェクト情報格納部１０２に格納された動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成する三次元動的オブジェクト生成部２０６と、三次元静的オブジェクト生成部２０４によって生成された三次元静的オブジェクトと三次元動的オブジェクト生成部２０６によって生成された三次元動的オブジェクトを二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する三次元動画生成部２０７と、を備える。 [Effect of Video Conversion System According to Embodiment of the Present Invention]
As described above, the moving image conversion system according to the embodiment of the present invention is a moving image conversion system that converts a two-dimensional moving image into a three-dimensional moving image, and stores static object information for each type. A unit 101, a dynamic object information storage unit 102 that stores dynamic object information for each type, and an object separation unit 201 that separates a plurality of objects in a two-dimensional moving image into static objects and dynamic objects, respectively. The type of each static object separated by the object separation unit 201 is specified, and a three-dimensional static object is generated based on the information of the static object stored in the static object information storage unit 101 of the specified type. The type of each of the three-dimensional static object generation unit 204 and the dynamic object separated by the object separation unit 201 is specified, and the information of the dynamic object stored in the dynamic object information storage unit 102 of the specified type is specified. Generated by the 3D dynamic object generation unit 206 that generates the 3D dynamic object, and the 3D static object and the 3D dynamic object generation unit 206 that are generated by the 3D static object generation unit 204. It is provided with a three-dimensional moving image generation unit 207 that generates a three-dimensional moving image by arranging the created three-dimensional dynamic object in a virtual three-dimensional space based on the two-dimensional moving image.

この様な動画変換システムによれば、二次元動画に基づいて三次元オブジェクトが生成され、この三次元オブジェクトに基づいて三次元動画が生成される。従って、容易に右目用の動画と左目用の動画とを生成することが可能であり、安価かつ迅速に二次元動画を三次元動画に変換可能となる。また、この様な変換システムによれば、三次元オブジェクトを利用して三次元動画を生成するため、古典的な三次元動画だけでなく、三次元空間上で登場人物等が動き回るＶＲ動画を生成することも可能である。 According to such a moving image conversion system, a three-dimensional object is generated based on the two-dimensional moving image, and a three-dimensional moving image is generated based on the three-dimensional object. Therefore, it is possible to easily generate a moving image for the right eye and a moving image for the left eye, and it is possible to convert a two-dimensional moving image into a three-dimensional moving image inexpensively and quickly. In addition, according to such a conversion system, since a three-dimensional video is generated using a three-dimensional object, not only a classic three-dimensional video but also a VR video in which characters and the like move around in a three-dimensional space is generated. It is also possible to do.

また、本発明の実施形態に係る動画変換システムにおいては、動的オブジェクト情報格納部１０１が、動的オブジェクトの動作に関する情報を動的オブジェクトの種類ごとに格納し、三次元動的オブジェクト生成部２０６は、この動作に関する情報に基づいて三次元動的オブジェクトに動作を付与する。 Further, in the moving image conversion system according to the embodiment of the present invention, the dynamic object information storage unit 101 stores information on the operation of the dynamic object for each type of the dynamic object, and the three-dimensional dynamic object generation unit 206. Gives an action to a three-dimensional dynamic object based on the information about this action.

この様な動画変換システムによれば、動的オブジェクトの種類に応じて動的オブジェクトに適切な動作を付与することが出来る。 According to such a video conversion system, it is possible to give an appropriate operation to a dynamic object according to the type of the dynamic object.

［その他の実施形態］
上記実施形態に係る動画変換システムは説明のために例示したものであり、具体的な構成は適宜変更可能である。例えば、上記実施形態において、動画変換装置２００中の構成は動画変換プログラムを主記憶装置に展開することによって実現されていた。しかしながら、上記構成の一部または全部の構成は、ハードウェアによって実現されても良い。 [Other Embodiments]
The video conversion system according to the above embodiment is illustrated for the sake of explanation, and the specific configuration can be changed as appropriate. For example, in the above embodiment, the configuration in the moving image conversion device 200 is realized by deploying the moving image conversion program in the main storage device. However, some or all of the above configurations may be implemented by hardware.

１００…オブジェクト情報格納部、１０１…静的オブジェクト情報格納部、１０２…動的オブジェクト情報格納部、２００…動画変換装置、２０１…オブジェクト分離部、２０４…三次元静的オブジェクト生成部、２０６…三次元動的オブジェクト生成部、２０７…三次元動画生成部。 100 ... object information storage unit, 101 ... static object information storage unit, 102 ... dynamic object information storage unit, 200 ... video conversion device, 201 ... object separation unit, 204 ... three-dimensional static object generation unit, 206 ... tertiary Original dynamic object generator, 207 ... Three-dimensional video generator.

Claims (3)

二次元動画を三次元動画に変換する動画変換システムであって、
静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、
動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、
前記二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離するオブジェクト分離部と、
前記オブジェクト分離部によって分離された静的オブジェクトそれぞれの種類を特定し、特定された種類の前記静的オブジェクト情報格納部に格納された前記静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成する三次元静的オブジェクト生成部と、
前記オブジェクト分離部によって分離された動的オブジェクトそれぞれの種類を特定し、特定された種類の前記動的オブジェクト情報格納部に格納された前記動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成する三次元動的オブジェクト生成部と、
前記三次元静的オブジェクト生成部によって生成された三次元静的オブジェクトと前記三次元動的オブジェクト生成部によって生成された三次元動的オブジェクトとを前記二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する三次元動画生成部と
を備え、
前記動的オブジェクト情報格納部は、前記動的オブジェクトの動作に関する情報を、前記動的オブジェクトの種類ごとに格納し、
前記三次元動的オブジェクト生成部は、前記動作に関する情報に基づいて、前記三次元動的オブジェクトに動作を付与する
ことを特徴とする動画変換システム。 A video conversion system that converts 2D video to 3D video.
A static object information storage unit that stores static object information for each type,
A dynamic object information storage unit that stores dynamic object information for each type,
An object separation unit that separates each of the plurality of objects in the two-dimensional video into a static object and a dynamic object,
Each type of static object separated by the object separation unit is specified, and a three-dimensional static object is created based on the information of the static object stored in the static object information storage unit of the specified type. The 3D static object generator to be generated and
The type of each dynamic object separated by the object separation unit is specified, and the three-dimensional dynamic object is created based on the information of the dynamic object stored in the dynamic object information storage unit of the specified type. The three-dimensional dynamic object generator to be generated and
A virtual three-dimensional space based on the two-dimensional moving image of a three-dimensional static object generated by the three-dimensional static object generation unit and a three-dimensional dynamic object generated by the three-dimensional dynamic object generation unit. It is equipped with a 3D video generator that is placed in and generates a 3D video.
The dynamic object information storage unit stores information on the operation of the dynamic object for each type of the dynamic object.
The three-dimensional dynamic object generation unit gives an action to the three-dimensional dynamic object based on the information about the action.
A video conversion system featuring that. 静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、
動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、
を備え、
前記動的オブジェクト情報格納部は、前記動的オブジェクトの動作に関する情報を、前記動的オブジェクトの種類ごとに格納する
動画変換システムを用いて二次元動画を三次元動画に変換する動画変換方法であって、
前記二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、
分離された前記静的オブジェクト及び動的オブジェクトそれぞれの種類を特定し、
特定された種類の前記静的オブジェクト情報格納部に格納された前記静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成し、
特定された種類の前記動的オブジェクト情報格納部に格納された前記動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成し、
特定された種類の前記動的オブジェクト情報格納部に格納された前記動的オブジェクトの前記動作に関する情報に基づいて、三次元動的オブジェクトに動作を付与し、
前記三次元静的オブジェクトと前記三次元動的オブジェクトとを前記二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する
ことを特徴とする動画変換方法。 A static object information storage unit that stores static object information for each type,
A dynamic object information storage unit that stores dynamic object information for each type,
Equipped with a,
Said dynamic object information storage unit, the information regarding the operation of the dynamic object, that stores each type of the dynamic object
It is a video conversion method that converts a 2D video into a 3D video using a video conversion system.
Separate each of the plurality of objects in the two-dimensional video into a static object and a dynamic object.
Identify the types of the separated static and dynamic objects,
A three-dimensional static object is generated based on the information of the static object stored in the static object information storage unit of the specified type.
A three-dimensional dynamic object is generated based on the information of the dynamic object stored in the dynamic object information storage unit of the specified type.
An action is given to the three-dimensional dynamic object based on the information about the action of the dynamic object stored in the dynamic object information storage unit of the specified type.
A moving image conversion method characterized by arranging the three-dimensional static object and the three-dimensional dynamic object in a virtual three-dimensional space based on the two-dimensional moving image to generate a three-dimensional moving image. 静的オブジェクトの情報を種類ごとに格納する静的オブジェクト情報格納部と、
動的オブジェクトの情報を種類ごとに格納する動的オブジェクト情報格納部と、
を備え、
前記動的オブジェクト情報格納部は、前記動的オブジェクトの動作に関する情報を、前記動的オブジェクトの種類ごとに格納する
動画変換システムを用いて二次元動画を三次元動画に変換する動画変換プログラムであって、
前記二次元動画中の複数のオブジェクトそれぞれを静的オブジェクトと動的オブジェクトに分離し、
分離された前記静的オブジェクト及び動的オブジェクトそれぞれの種類を特定し、
特定された種類の前記静的オブジェクト情報格納部に格納された前記静的オブジェクトの情報に基づいて、三次元静的オブジェクトを生成し、
特定された種類の前記動的オブジェクト情報格納部に格納された前記動的オブジェクトの情報に基づいて、三次元動的オブジェクトを生成し、
特定された種類の前記動的オブジェクト情報格納部に格納された前記動的オブジェクトの前記動作に関する情報に基づいて、三次元動的オブジェクトに動作を付与し、
前記三次元静的オブジェクトと前記三次元動的オブジェクトとを前記二次元動画に基づいて仮想的な三次元空間に配置して三次元動画を生成する
ことを特徴とする動画変換プログラム。 A static object information storage unit that stores static object information for each type,
A dynamic object information storage unit that stores dynamic object information for each type,
Equipped with a,
Said dynamic object information storage unit, the information regarding the operation of the dynamic object, that stores each type of the dynamic object
A video conversion program that converts 2D video to 3D video using a video conversion system.
Separate each of the plurality of objects in the two-dimensional video into a static object and a dynamic object.
Identify the types of the separated static and dynamic objects,
A three-dimensional static object is generated based on the information of the static object stored in the static object information storage unit of the specified type.
A three-dimensional dynamic object is generated based on the information of the dynamic object stored in the dynamic object information storage unit of the specified type.
An action is given to the three-dimensional dynamic object based on the information about the action of the dynamic object stored in the dynamic object information storage unit of the specified type.
A moving image conversion program characterized by arranging the three-dimensional static object and the three-dimensional dynamic object in a virtual three-dimensional space based on the two-dimensional moving image to generate a three-dimensional moving image.
JP2017058078A 2017-03-23 2017-03-23 Video conversion system, video conversion method and video conversion program Active JP6944180B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017058078A JP6944180B2 (en) 2017-03-23 2017-03-23 Video conversion system, video conversion method and video conversion program
JP2021143123A JP2021192541A (en) 2017-03-23 2021-09-02 Video conversion system, video conversion method, and video conversion program
JP2021193839A JP2022031304A (en) 2017-03-23 2021-11-30 Video conversion system, video conversion method, and video conversion program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017058078A JP6944180B2 (en) 2017-03-23 2017-03-23 Video conversion system, video conversion method and video conversion program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021143123A Division JP2021192541A (en) 2017-03-23 2021-09-02 Video conversion system, video conversion method, and video conversion program

Publications (2)

Publication Number Publication Date
JP2018160853A JP2018160853A (en) 2018-10-11
JP6944180B2 true JP6944180B2 (en) 2021-10-06

Family

ID=63795172

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017058078A Active JP6944180B2 (en) 2017-03-23 2017-03-23 Video conversion system, video conversion method and video conversion program
JP2021143123A Pending JP2021192541A (en) 2017-03-23 2021-09-02 Video conversion system, video conversion method, and video conversion program
JP2021193839A Pending JP2022031304A (en) 2017-03-23 2021-11-30 Video conversion system, video conversion method, and video conversion program

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021143123A Pending JP2021192541A (en) 2017-03-23 2021-09-02 Video conversion system, video conversion method, and video conversion program
JP2021193839A Pending JP2022031304A (en) 2017-03-23 2021-11-30 Video conversion system, video conversion method, and video conversion program

Country Status (1)

Country Link
JP (3) JP6944180B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210301182A1 (en) 2018-08-29 2021-09-30 Sumitomo Chemical Company, Limited Aqueous dispersion
JP6562437B1 (en) * 2019-04-26 2019-08-21 アースアイズ株式会社 Monitoring device and monitoring method
CN113823044B (en) * 2021-10-08 2022-09-13 刘智矫 Human body three-dimensional data acquisition room and charging method thereof
JP7348943B2 (en) * 2021-12-22 2023-09-21 凸版印刷株式会社 Content management system, content management method, and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320731A (en) * 1999-11-26 2001-11-16 Sanyo Electric Co Ltd Device for converting two-dimensional image into there dimensional image and its method
JP3633452B2 (en) * 2000-07-14 2005-03-30 日本電気株式会社 3D advertising system and method with motion in 3D virtual space and recording medium
JP2002095012A (en) * 2000-09-18 2002-03-29 Hitachi Ltd Device and method for generating stereo image
JP4729812B2 (en) * 2001-06-27 2011-07-20 ソニー株式会社 Image processing apparatus and method, recording medium, and program
US8114172B2 (en) * 2004-07-30 2012-02-14 Extreme Reality Ltd. System and method for 3D space-dimension based image processing
JP4502795B2 (en) * 2004-12-16 2010-07-14 株式会社岩根研究所 Coordinate system recording / reproducing device
CA2806520C (en) * 2011-01-23 2016-02-16 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
JP5047381B1 (en) * 2011-06-10 2012-10-10 シャープ株式会社 VIDEO GENERATION DEVICE, VIDEO DISPLAY DEVICE, TELEVISION RECEIVER, VIDEO GENERATION METHOD, AND COMPUTER PROGRAM

Also Published As

Publication number Publication date
JP2022031304A (en) 2022-02-18
JP2021192541A (en) 2021-12-16
JP2018160853A (en) 2018-10-11

Similar Documents

Publication Publication Date Title
KR102049245B1 (en) Image processing apparatus, image processing method, image processing system, and storage medium
JP2021192541A (en) Video conversion system, video conversion method, and video conversion program
KR101893047B1 (en) Image processing method and image processing device
CN106896925A (en) The device that a kind of virtual reality is merged with real scene
US20130286017A1 (en) Method for generating depth maps for converting moving 2d images to 3d
KR20140108828A (en) Apparatus and method of camera tracking
WO2019082797A1 (en) Reconfiguration method and reconfiguration device
JPWO2019031259A1 (en) Image processing equipment and methods
KR101538947B1 (en) The apparatus and method of hemispheric freeviewpoint image service technology
KR20170086077A (en) Using depth information for drawing in augmented reality scenes
KR102152432B1 (en) A real contents producing system using the dynamic 3D model and the method thereof
TWI716874B (en) Image processing apparatus, image processing method, and image processing program
KR20200000106A (en) Method and apparatus for reconstructing three dimensional model of object
CN112651881A (en) Image synthesis method, apparatus, device, storage medium, and program product
CN106971426A (en) A kind of method that virtual reality is merged with real scene
CN107016730A (en) The device that a kind of virtual reality is merged with real scene
CN106981100A (en) The device that a kind of virtual reality is merged with real scene
KR101125061B1 (en) A Method For Transforming 2D Video To 3D Video By Using LDI Method
CN103871037A (en) Method and apparatus for color transfer between images
KR102358854B1 (en) Apparatus and method for color synthesis of face images
KR101619486B1 (en) 3D cube panorama device using Coordinate transformation matrix
KR101645451B1 (en) Spatial analysis system using stereo camera
US20240054667A1 (en) High dynamic range viewpoint synthesis
KR20190029842A (en) Three-Dimensional Restoration Cloud Point Creation Method Using GPU Accelerated Computing
Galabov A real time 2D to 3D image conversion techniques

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200323

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210903

R150 Certificate of patent or registration of utility model

Ref document number: 6944180

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250