KR102473475B1 - Scene create method for scenario production based on webtoon - Google Patents
Scene create method for scenario production based on webtoon Download PDFInfo
- Publication number
- KR102473475B1 KR102473475B1 KR1020210100577A KR20210100577A KR102473475B1 KR 102473475 B1 KR102473475 B1 KR 102473475B1 KR 1020210100577 A KR1020210100577 A KR 1020210100577A KR 20210100577 A KR20210100577 A KR 20210100577A KR 102473475 B1 KR102473475 B1 KR 102473475B1
- Authority
- KR
- South Korea
- Prior art keywords
- text
- scene
- webtoon
- image
- speaker
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004519 manufacturing process Methods 0.000 title claims description 33
- 238000012015 optical character recognition Methods 0.000 claims abstract description 20
- 238000013515 script Methods 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 50
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 claims description 9
- 241001465754 Metazoa Species 0.000 claims description 8
- 238000013439 planning Methods 0.000 abstract description 17
- 238000011161 development Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 241000196324 Embryophyta Species 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 244000240602 cacao Species 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 웹툰 기반의 시나리오 제작을 위한 신 생성 방법에 관한 것으로서, 더욱 상세하게는 웹툰을 분석하여 영화 시나리오 또는 드라마 대본을 제작하기 위한 복수의 신(scene)을 생성하는 웹툰 기반의 시나리오 제작을 위한 신 생성 방법에 관한 것이다.The present invention relates to a scene generation method for webtoon-based scenario production, and more particularly, to a webtoon-based scenario production method for generating a plurality of scenes for producing a movie scenario or drama script by analyzing a webtoon. It is about how to create a god.
IP(지식재산권, Intellectual Property)융복합 기술은 스마트 디바이스가 보편화되고 관련 기술이 급속도로 발전함에 따라 K-콘텐츠의 발전과 고부가가치 시장을 창출하는 혁신 사업으로 성장하고 있다.IP (Intellectual Property) convergence technology is growing as an innovative business that develops K-content and creates a high value-added market as smart devices become common and related technologies develop rapidly.
특히 웹툰(WEBTOON) 시장은 스마트 폰 기술 발전에 힘입어 기존 PC를 통해 디스플레이 되던 때보다 급진적인 발전을 거듭하고 있다. 여기서 웹툰이란 인터넷의 웹(WEB)과 만화의 카툰(CARTOON)이 결합하여 만들어진 신조어로, 포털 사이트 등 인터넷 플랫폼 매체에서 연재되는 만화를 지칭하는 대한민국에서 정착된 고유의 웹 상의 만화를 뜻한다.In particular, the webtoon market is developing more rapidly than when it was displayed through the existing PC, thanks to the development of smart phone technology. Here, webtoon is a new word created by combining the web of the Internet and the cartoon of cartoon, and it refers to cartoons serialized on Internet platform media such as portal sites, and refers to cartoons on the web that have been settled in Korea.
최근에는 네이버와 카카오페이지를 선두로 K-웹툰의 성장은 IP융복합 기술 사업의 새로운 장을 만들어 내고 있으며, 고 품질의 웹툰과 웹소설이 다수 연재되고 있어 이를 원작으로 하는 영화나 드라마의 성공사례가 늘어남에 따라 웹툰이나 웹소설을 원작으로 하는 영화나 드라마 제작 또한 활발해 지고 있는 추세이다.Recently, the growth of K-Webtoon, led by Naver and Kakao Page, is creating a new chapter in the IP convergence technology business, and a number of high-quality webtoons and web novels have been published in series, and successful cases of movies and dramas based on them have been published. As the number of webtoons increases, the production of movies or dramas based on webtoons or web novels is also becoming more active.
일반적으로 영화와 드라마 제작을 위한 사전 작업으로 영화는 시나리오로 드라마는 대본으로 각색 되어야 한다(이하 통칭하여 '시나리오'라고 한다). 이때 시나리오는 복수의 신(scene)이 모여 하나의 에피소드(episode) 또는 시퀸스(sequence)를 이루고, 복수의 에피소드가 모여 하나의 시나리오로 각색되는데, 각색 이후 시나리오를 바탕으로 제작의 범위가 결정된다.In general, as a preliminary work for the production of movies and dramas, movies should be adapted into scenarios and dramas into scripts (hereinafter collectively referred to as 'scenarios'). At this time, a plurality of scenes are gathered to form one episode or sequence, and a plurality of episodes are gathered and adapted into one scenario. After adaptation, the scope of production is determined based on the scenario.
이때 결정되는 제작의 범위를 통해 캐스팅, 장소, 소품 등 제작비와 직접적인 영향이 있는 내용을 미리 파악할 수 있으므로 신 생성만으로도 시나리오의 각색 범위를 예측 할 수 있다.At this time, through the range of production determined, it is possible to grasp in advance the content that has a direct impact on the production cost, such as casting, location, and props, so the adaptation range of the scenario can be predicted only with the creation of a scene.
대부분의 영화는 런닝타임이 2시간 이내로 한정된다. 이와 같이 런닝타임이 한정된 영화에서는 스토리가 짧고 굵게 각색되어야 하는데, 스토리 라인이 잘못 각색될 경우 내용이 산만해지고 긴장감이 떨어지게 되어 관객으로 하여금 지루함을 느끼게되고 원작과 비교하여 좋지 못한 평가를 받게 될 수도 있다.Most movies are limited to a running time of less than two hours. In a movie with a limited running time like this, the story should be short and bold, but if the storyline is wrongly adapted, the content will be distracted and the tension will drop, making the audience feel bored and may receive a poor evaluation compared to the original. .
드라마는 영화에 비해 긴 러닝타임을 보유하고 있어 에피소드가 다채롭고 인물들 간의 갈등과 호흡을 주고 받으며 진행된다. 예를 들어 드라마의 경우 일일 드라마는 30분, 100회물, 50시간 등으로 구성될 수 있고, 주말 드라마는 60분, 50회물, 50시간 등으로 구성될 수 있으며, 미니 드라마는 60분, 16회, 16시간 등으로 구성될 수 있어 일반적으로 영화 보다 긴 런닝타임으로 구성된다. 따라서 다음 회차에 대한 궁금증과 흥미를 유발하도록 스토리 라인이 각색되어야 하는데, 스토리 라인이 잘못 각색될 경우 영화와 마찬가지로 원작과 비교하여 좋지 못한 평가를 받게되어 시청자로부터 외면을 받게 될 수도 있다.Dramas have a longer running time than movies, so the episodes are colorful, and the conflicts and breathing between the characters are exchanged. For example, in the case of dramas, a daily drama can consist of 30 minutes, 100 episodes, 50 hours, etc., a weekend drama can consist of 60 minutes, 50 episodes, 50 hours, etc., and a mini drama can consist of 60 minutes, 16 episodes. , 16 hours, etc., so it is generally composed of a longer running time than a movie. Therefore, the storyline should be adapted to arouse curiosity and interest in the next episode, but if the storyline is wrongly adapted, it may receive a poor evaluation compared to the original film and may be rejected by viewers.
또한, 최근에는 소비자들의 영상 소비 트렌드의 변화로 드라마 회당 런닝타임이 60분 내외의 롱폼(long-form), 40분 내외의 미드폼(mid-form), 15분 내외의 숏폼(short-form) 등으로 다양화 되고 있어 이에 부합하는 드라마 시나리오의 제작 또한 필요하다.In addition, due to recent changes in consumer video consumption trends, the running time per drama episode is about 60 minutes long-form, 40 minutes mid-form, and 15 minutes short-form. etc., it is also necessary to produce a drama scenario that meets this trend.
이와 같이 소비자의 트렌드에 맞춰 영화와 드라마의 형태가 다양해지고 있어 소비자의 욕구 및 트렌드에 맞춰 빠르게 제작 범위를 파악하여 영상을 제작하고, 용도에 따라 퀄리티 높은 시나리오의 각색이 이루어지도록 하기 위한 기술의 개발이 필요하다.In this way, as the types of movies and dramas are diversifying in line with consumer trends, technology is developed to produce videos by quickly identifying the production range in line with consumer needs and trends, and to adapt high-quality scenarios according to usage. need this
아울러 영상 서비스 플랫폼의 발전으로 영화, 드라마와 같은 영상 제작은 제작사 뿐만 아니라 개인들에게도 쉽게 제작할 수 있는 콘텐츠로 자리 잡았으나 이러한 영상 제작에 꼭 필요한 시나리오를 많은 시간과 노력을 들이지 않고 쉽고 편리하게 만들기 위한 기술의 개발이 필요하다.In addition, with the development of video service platforms, video production such as movies and dramas has become a content that can be easily produced not only by production companies but also by individuals. technology needs to be developed.
본 발명이 이루고자 하는 기술적 과제는 웹툰 속에 등장하는 등장인물, 장소, 배경, 대사 등을 분석하여 영화 시나리오 또는 드라마 대본을 제작하기 위한 복수의 신을 생성하는 웹툰 기반의 시나리오 제작을 위한 신 생성 방법을 제공하기 위한 것이다.The technical problem to be achieved by the present invention is to provide a scene generation method for webtoon-based scenario production that generates multiple scenes for producing a movie scenario or drama script by analyzing characters, places, backgrounds, lines, etc. appearing in webtoons. It is to do.
또한, 인공지능(AI) 광학문자인식 알고리즘을 이용하여 웹툰 속에 포함된 모든 텍스트가 빠르고 정확하게 인식되도록 하여 단시간에 복수의 신이 생성되도록 하는 웹툰 기반의 시나리오 제작을 위한 신 생성 방법을 제공하기 위한 것이다.In addition, it is to provide a new generation method for webtoon-based scenario production that allows multiple scenes to be created in a short time by recognizing all texts included in webtoons quickly and accurately using artificial intelligence (AI) optical character recognition algorithm.
또한, 딥러닝 기반의 안면인식 알고리즘을 이용하여 등장인물을 정확하게 구분 및 파악함으로써 대사나 독백을 하는 화자를 정확하게 판단할 수 있도록 하는 웹툰 기반의 시나리오 제작을 위한 신 생성 방법을 제공하기 위한 것이다.In addition, it is to provide a new generation method for webtoon-based scenario production that enables accurate judgment of a speaker who is speaking lines or monologues by accurately classifying and identifying characters using a deep learning-based facial recognition algorithm.
또한, 시나리오의 용도에 부합하도록 생성되는 신의 분량이 자동 조절되도록 하는 웹툰 기반의 시나리오 제작을 위한 신 생성 방법을 제공하기 위한 것이다.In addition, it is to provide a scene generation method for webtoon-based scenario production that automatically adjusts the amount of scenes created to meet the purpose of the scenario.
또한, 생성되는 복수의 신을 분석하여 각 등장 인물의 캐릭터를 판단하고, 판단된 등장 인물의 캐릭터에 부합하는 배우를 매칭하여 추천하는 웹툰 기반의 시나리오 제작을 위한 신 생성 방법을 제공하기 위한 것이다.In addition, it is to provide a scene generation method for webtoon-based scenario production in which a plurality of scenes are analyzed to determine the character of each character, and an actor matching the character of the determined character is matched and recommended.
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 방법은, 시나리오로 제작하고자 하는 웹툰을 입력받는 단계; 상기 입력받은 웹툰을 분석하기 위한 설정값을 입력받는 단계; 상기 웹툰을 한 페이지 또는 컷(cut) 단위로 분할하고, 각 분할된 영역에 대한 신(scene) 넘버를 순차적으로 생성하는 단계; 광학문자인식(OCR) 기법을 이용하여 상기 분할된 영역 내 포함된 텍스트를 독출하고, 상기 독출된 텍스트를 상기 설정값에 대응하여 지문, 대사, 독백 중 어느 하나로 구분하는 단계; 상기 분할된 영역 내 포함된 이미지를 추출하고, 추출된 이미지에 포함된 인물을 학습하는 단계; 상기 구분된 텍스트가 대사 또는 독백 중 어느 하나인 경우, 해당 텍스트에 인접한 위치의 인물을 상기 텍스트의 화자로 판단하되, 상기 학습된 인물 중 어느 한 명과 매칭하여 상기 화자를 판단하는 단계; 및 상기 구분된 지문과 상기 판단된 화자가 반영된 대사 및 독백 중 적어도 어느 하나 이상의 텍스트와, 상기 신 넘버가 포함된 신을 상기 각 영역별로 생성하는 단계;를 포함한다.A new method for creating a webtoon-based scenario according to an embodiment of the present invention to achieve this technical problem includes receiving a webtoon to be produced as a scenario; Receiving a set value for analyzing the input webtoon; dividing the webtoon into pages or cuts and sequentially generating scene numbers for each divided region; reading text included in the divided area using an optical character recognition (OCR) technique, and classifying the read text into one of fingerprint, dialogue, and monologue in response to the set value; extracting an image included in the divided area and learning a person included in the extracted image; determining a person positioned adjacent to the text as a speaker of the text when the separated text is either a dialogue or a monologue, and determining the speaker by matching with one of the learned characters; and generating, for each region, a scene including at least one text of dialogue and monologue reflecting the divided fingerprint and the determined speaker, and the scene number.
이때, 상기 설정값을 입력받는 단계는 다수의 모양 중 상기 웹툰에 기 설정된 지문에 대응하는 텍스트 상자 및 말풍선의 모양, 대사에 대응하는 텍스트 상자 및 말풍선의 모양, 독백에 대응하는 텍스트 상자 및 말풍선의 모양을 각각의 설정값으로 입력받는 것을 특징으로 한다.At this time, the step of receiving the setting values includes the shape of a text box and speech bubble corresponding to a fingerprint preset in the webtoon, the shape of a text box and speech bubble corresponding to dialogue, and a text box and speech bubble corresponding to monologue among a plurality of shapes. It is characterized in that the shape is input as each setting value.
또한, 상기 구분하는 단계는 상기 입력받은 설정값을 학습하여 생성된 인공지능(AI) 광학문자인식 알고리즘을 이용하여 상기 영역 내 포함된 모든 텍스트를 인식하고 인식된 텍스트를 지문, 대사, 독백 중 어느 하나로 구분하는 것을 특징으로 한다.In addition, the classifying step recognizes all text included in the area using an artificial intelligence (AI) optical character recognition algorithm generated by learning the input setting value, and selects the recognized text as one of fingerprint, dialogue, and monologue. It is characterized by distinguishing one.
또한, 상기 화자를 판단하는 단계는 상기 텍스트를 포함하는 말풍선의 꼬리 방향을 검출하여 상기 화자를 판단하고, 상기 말풍선이 꼬리를 가지지 않는 경우, 기 설정된 규칙에 따라 화자를 판단하되, 인접한 위치에 인물 이미지가 있는 경우 상기 말풍선의 위치가 인물의 영역과 겹치거나 근접하면 해당 인물을 화자로 판단하고, 인접한 위치에 인물 이미지가 없는 경우 직전 이미지에서 마지막으로 말한 화자를 해당 텍스트의 화자로 판단하는 것을 특징으로 한다.In addition, the step of determining the speaker determines the speaker by detecting the direction of the tail of the speech bubble including the text, and when the speech bubble does not have a tail, the speaker is determined according to a preset rule, but the person at an adjacent position is determined. If there is an image, if the location of the speech bubble overlaps or is close to the person's area, the person is determined as the speaker, and if there is no person image in the adjacent location, the speaker who spoke last in the previous image is judged as the speaker of the text. to be
또한, 상기 인물을 학습하는 단계는 객체인식 알고리즘을 이용하여 상기 추출된 이미지의 종류를 판단하고, 상기 이미지에 인물이 포함된 경우 안면인식 알고리즘을 이용하여 동일 인물 여부를 판단하여 학습하되, 얼굴이 인식되지 않으면, 전신이 포함된 다른 이미지의 신체 일부, 헤어스타일, 의상 및 세부 특징과 매칭하여 얼굴이 인식되지 않은 이미지의 인물을 판단하여 학습하는 것을 특징으로 한다.In addition, in the step of learning the person, the type of the extracted image is determined using an object recognition algorithm, and if a person is included in the image, a face recognition algorithm is used to determine whether or not the person is the same person. If it is not recognized, it is characterized in that the person of the image whose face is not recognized is judged and learned by matching the body part, hairstyle, clothing, and detailed features of other images including the whole body.
또한, 상기 인물을 학습하는 단계는 상기 동일 인물로 파악되는 인물이 설정 횟수 이상 등장하면 주요 등장인물로 분류하고, 설정 횟수 미만 등장하면 엑스트라로 분류하는 것을 특징으로 한다.In addition, in the step of learning the person, if the person recognized as the same person appears more than a set number of times, it is classified as a main character, and if it appears less than a set number of times, it is classified as an extra.
또한, 상기 신 넘버를 순차적으로 생성하는 단계는 사용자로부터 입력되는 시나리오의 용도를 반영하여 상기 웹툰이 다수의 영역으로 분할되면, 분할된 영역에 따라 상기 신 넘버를 생성하는 것을 특징으로 한다.In the step of sequentially generating scene numbers, when the webtoon is divided into a plurality of areas by reflecting the use of a scenario input from a user, the scene numbers are generated according to the divided areas.
또한, 상기 각 영역별로 생성하는 단계는 상기 신 넘버에 대응하는 상기 웹툰의 회차 정보를 더 포함하여 상기 신을 생성하는 것을 특징으로 한다.In addition, the step of generating for each region is characterized in that the scene is created by further including episode information of the webtoon corresponding to the scene number.
또한, 상기 생성된 복수의 신을 분석하여 주제, 기획 의도, 집필 의도, 등장 인물 및 줄거리 중 어느 하나 이상이 포함된 시놉시스를 생성하여 제공하는 단계를 더 포함할 수도 있다.In addition, a step of generating and providing a synopsis including any one or more of the theme, planning intention, writing intention, character, and plot by analyzing the generated plurality of scenes may be further included.
또한, 상기 생성된 복수의 신을 분석하여 각 등장 인물의 캐릭터를 판단하고, 배우 정보 제공 서버로부터 제공받은 배우 프로필을 이용하여 상기 판단된 등장 인물의 캐릭터에 부합하는 배우를 매칭하여 추천하는 단계를 더 포함할 수도 있다.In addition, the step of analyzing the generated plural scenes to determine the character of each character, and matching and recommending an actor matching the character of the determined character using the actor profile provided from the actor information providing server may also include
이와 같이 본 발명에 따르면, 웹툰 속에 등장하는 등장인물, 장소, 배경, 대사 등을 분석하여 영화 시나리오 또는 드라마 대본을 제작하기 위한 복수의 신을 생성해줌으로써 웹툰을 원작으로 하는 영화 또는 드라마의 기획 개발이 용이해지도록 하는 효과가 있다.As described above, according to the present invention, by analyzing the characters, places, backgrounds, lines, etc. appearing in the webtoon and generating a plurality of scenes for producing a movie scenario or drama script, planning and development of a movie or drama based on a webtoon is possible. It has the effect of making it easier.
또한 본 발명에 따르면, 인공지능(AI) 광학문자인식 알고리즘을 이용하여 웹툰 속에 포함된 모든 텍스트가 빠르고 정확하게 인식되도록 하여 단시간에 복수의 신이 생성되도록 함으로써 시나리오 제작을 위한 사전 기획 시간을 단축시켜줄 수 있는 효과가 있다.In addition, according to the present invention, by using an artificial intelligence (AI) optical character recognition algorithm, all text included in a webtoon is quickly and accurately recognized so that a plurality of scenes are created in a short time, thereby reducing the pre-planning time for scenario production It works.
또한 본 발명에 따르면, 딥러닝 기반의 안면인식 알고리즘을 이용하여 등장인물을 정확하게 구분 및 파악함으로써 대사나 독백을 하는 화자를 정확하게 판단할 수 있어 기획 단계에서 검수 시간을 단축시켜 줄 수 있는 효과가 있다.In addition, according to the present invention, by using a deep learning-based facial recognition algorithm to accurately classify and identify characters, it is possible to accurately determine the speaker who is giving dialogue or monologue, thereby reducing the inspection time in the planning stage. .
또한 본 발명에 따르면, 시나리오의 용도에 부합하도록 생성되는 신의 분량이 자동 조절되도록 함으로써 영화 시나리오, 드라마 대본 등 원하는 형태로 제공받을 수 있어 사용자의 만족도를 향상시킬 수 있다.In addition, according to the present invention, by automatically adjusting the amount of scenes generated to meet the purpose of the scenario, it is possible to provide a desired form such as a movie scenario or a drama script, thereby improving user satisfaction.
또한 본 발명에 따르면, 생성된 신을 이용하여 인물들 중심의 스토리 라인, 장소와의 관계, 현재, 미래의 이야기들의 전반적인 내용을 토대로 현재 트렌드와 맞지 않은 대사와 상황들의 각색이 더욱 용이해질 뿐만 아니라 원작의 신을 미리 도출할 수 있어 연출 방향에 맞도록 시나리오를 각색함으로써 시나리오의 퀄리티를 향상시킬 수 있는 효과가 있다.In addition, according to the present invention, based on the overall contents of storylines centered on characters, relationships with places, and present and future stories using the created scene, it is not only easier to adapt lines and situations that do not fit the current trend, but also to adapt the original work. Since the scene of <Destination> can be derived in advance, the quality of the scenario can be improved by adapting the scenario to suit the directing direction.
또한 본 발명에 따르면, 생성된 신을 이용하여 주제, 기획 의도, 집필 의도, 등장 인물 및 줄거리 등이 포함된 시놉시스를 제공해줌으로써 기획 시간을 단축시켜줄 수 있을 뿐만 아니라 등장인물 수, 촬영 장소, 소품 등에 따른 제작비 예측이 가능하도록 할 수 있다.In addition, according to the present invention, planning time can be shortened by providing a synopsis including the theme, planning intention, writing intention, characters and plot using the generated scene, and the number of characters, shooting location, props, etc. Production costs can be predicted.
또한 본 발명에 따르면, 생성되는 복수의 신을 분석하여 각 등장 인물의 캐릭터를 판단하고, 판단된 등장 인물의 캐릭터에 부합하는 배우를 매칭하여 추천해줌으로써 기획 시간을 단축시켜줄 수 있는 효과가 있다.In addition, according to the present invention, the character of each character is determined by analyzing a plurality of scenes that are created, and matching and recommending an actor matching the character of the determined character has an effect of reducing planning time.
또한 본 발명에 따르면, 콘텐츠를 활용한 영상 제작을 위해 시나리오 및 대본을 용이하게 작성하고자 하는 사용자의 욕구를 총족시켜 줄 수 있는 효과가 있다.In addition, according to the present invention, there is an effect that can satisfy the user's desire to easily create scenarios and scripts for video production using content.
도 1은 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 시스템을 나타낸 구성도이다.
도 2는 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 장치를 나타낸 블록구성도이다.
도 3은 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 방법의 동작 흐름을 도시한 순서도이다.
도 4는 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 방법에서 설정값 선택 테이블을 예시적으로 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 방법에서 분석 대상 영역을 예시적으로 도시한 도면이다.
도 6 및 도 7은 도 5에 도시된 도면을 분석하여 텍스트와 이미지를 구분하는 과정을 설명하기 위해 도시한 도면이다.
도 8은 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 방법에서 생성되는 신을 예시적으로 도시한 도면이다.1 is a configuration diagram showing a scene generation system for creating a webtoon-based scenario according to an embodiment of the present invention.
2 is a block diagram showing a scene generation device for producing a webtoon-based scenario according to an embodiment of the present invention.
FIG. 3 is a flow chart illustrating an operation flow of a method for creating a scene for creating a webtoon-based scenario according to an embodiment of the present invention.
4 is a diagram exemplarily illustrating a setting value selection table in a scene generation method for producing a webtoon-based scenario according to an embodiment of the present invention.
5 is a diagram illustratively illustrating an analysis target region in a scene generation method for producing a webtoon-based scenario according to an embodiment of the present invention.
6 and 7 are diagrams for explaining a process of classifying text and images by analyzing the diagram shown in FIG. 5 .
8 is a diagram exemplarily illustrating a scene generated in a scene creation method for webtoon-based scenario production according to an embodiment of the present invention.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. In this process, the thickness of lines or the size of components shown in the drawings may be exaggerated for clarity and convenience of explanation.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, definitions of these terms will have to be made based on the content throughout this specification.
다만 이를 설명하기에 앞서, 아래에서 사용되는 용어들의 의미를 먼저 정의한다.However, prior to explaining this, the meaning of the terms used below is first defined.
본 발명에 기재된 시나리오는 영화, 연극, 드라마, 뮤직비디오, 홍보영상(CF), 콘서트 또는 공연예술(예를 들어, 무용, 마당놀이 등) 등의 컨텐츠를 제작하기 위해 쓰여진 각본(또는 대본) 또는 콘티로서, 각 컨텐츠의 특성에 맞게 장면이나 장면의 흐름 순서, 장면에 필요한 소품, 장소, 및 배우들의 대사 등을 표현한 문서를 지칭한다. 즉, 본 발명에서의 시나리오는 영화, 연극, 드라마, 뮤직비디오, 홍보영상(CF), 콘서트 또는 공연에서의 각본 및 콘티 중 적어도 하나를 포함하는 의미로 사용된다.The scenario described in the present invention is a screenplay (or script) written to produce content such as a movie, play, drama, music video, promotional video (CF), concert or performing arts (eg, dance, madangnori, etc.) or As a storyboard, it refers to a document that expresses a scene or the sequence of flow of a scene, props necessary for a scene, location, and actors' lines in accordance with the characteristics of each content. That is, the scenario in the present invention is used in the sense of including at least one of a movie, a play, a drama, a music video, a promotional video (CF), a script and a continuity in a concert or performance.
이러한 시나리오는 하나 이상의 신(scene)으로 구성되며, 신은, 시나리오를 구성하는 이벤트의 일단위를 의미한다. 이러한 신은 이벤트가 발생되는 장소 및 시간 중 적어도 하나에 따라 다른 신과 구별될 수 있다.Such a scenario is composed of one or more scenes, and a scene means a unit of events constituting the scenario. Such a scene may be distinguished from other scenes according to at least one of a place and a time when an event occurs.
또한, 시놉시스는 작가가 작품의 주제를 다른 사람에게 알리기 위해 알기 쉽게 간단히 적은 것을 말한다. 흔히 줄거리 또는 개요, 일람이라고도 한다. 시놉시스는 작품의 의도가 무엇이고, 작가의 주관은 어떤 것이며, 전달하고자 하는 메시지는 무엇인지 분명하고도 확실한 내용을 전달할 수 있도록 명료하게 작성해야 한다. 이러한 시놉시스에는 주제, 기획 및 집필의도, 등장인물, 전체 줄거리의 4가지 기본요소가 구체적으로 포함되어야 한다.In addition, synopsis refers to what the author wrote in an easy-to-understand way to inform others about the theme of the work. It is also often referred to as a synopsis, outline, or list. The synopsis should be written clearly so that it can clearly and concisely convey the intention of the work, the subjectivity of the author, and the message to be conveyed. Such a synopsis should specifically include the four basic elements of the theme, planning and writing intention, characters, and overall plot.
이하 본 발명의 일 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 시스템에 대해 설명하기로 한다.Hereinafter, a scene generation system for creating a webtoon-based scenario according to an embodiment of the present invention will be described.
도 1은 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 시스템을 나타낸 구성도이다.1 is a configuration diagram showing a scene generation system for creating a webtoon-based scenario according to an embodiment of the present invention.
도 1에 나타낸 바와 같이, 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 시스템(1000)은 웹툰 제공 서버(100), 신 생성 장치(200) 및 배우 정보 제공 서버(300)를 포함한다.As shown in FIG. 1, the
먼저, 웹툰 제공 서버(100)는 웹 상에서 연재되고 있는 다수의 웹툰을 온라인 상(또는 인터넷 상, 모바일 상)으로 제공하는 서버로서, 포탈 서비스 서버이거나 웹툰 전용 서버일 수 있다.First, the
그리고 신 생성 장치(200)는 통신망(400)을 통해 웹툰 제공 서버(100)에 접속하여 웹툰 제공 서버(100)가 서비스하는 웹툰을 제공받아 시나리오 제작을 위한 신을 생성한다.Then, the
이를 자세히 설명하자면, 신 생성 장치(200)는 웹툰 제공 서버(100)로부터 시나리오로 제작하고자 하는 웹툰을 입력받아 한 페이지 또는 컷(cut) 단위로 분할하고, 각 분할된 영역에 대한 신(scene) 넘버를 순차적으로 생성한다. 그리고, 분할된 영역을 분석하여 텍스트를 독출하고, 지문, 대사, 독백 중 어느 하나로 구분한다. 그리고 분할된 영역을 분석하여 추출된 이미지를 이용하여 텍스트의 화자를 판단하고, 지문과 화자가 반영된 대사 및 독백 중 적어도 어느 하나 이상의 텍스트와, 신 넘버가 포함된 신을 각 영역별로 생성한다.To explain this in detail, the
이때, 사용자로부터 드라마, 영화 및 연극 등과 같은 제작 형태를 선택받고, 선택된 형태에 부합하는 신을 생성할 수도 있다. At this time, a production form such as a drama, movie, or play may be selected from the user, and a scene corresponding to the selected form may be created.
마지막으로 배우 정보 제공 서버(300)는 배우의 이름, 성별, 나이, 신체, 사진, 출연작 등을 포함하는 배우의 프로필을 제공하는 서버로서, 포탈 서비스 서버이거나 모든 배우의 정보가 저장된 전용 서버일 수 있다.Finally, the actor
따라서, 신 생성 장치(200)는 생성된 복수의 신을 분석하여 각 등장 인물의 캐릭터를 판단하고, 배우 정보 제공 서버(300)에 접속하여 판단된 등장 인물의 캐릭터에 부합하는 배우를 매칭하여 추천해줄 수도 있다.Therefore, the
이때, 신 생성 장치(200)는 등장 인물마다 해당 역할에 어울리는 다수의 배우를 각각 추천하여 캐릭터가 가장 부합되는 순으로 제공하되, 리스트 형태로 제공해줄 수도 있고, 외모, 성격, 출연작 등과 같은 조건 순으로 매칭하여 배우를 추천해줄 수도 있다.At this time, the
통신망(400)은 유선 및 무선 네트워크, 예를 들어 LAN(local area network), WAN(wide area network), 인터넷(internet), 인트라넷(intranet) 및 엑스트라넷(extranet), 그리고 모바일 네트워크, 예를 들어 셀룰러, 3G, LTE, WiFi 네트워크, 애드혹 네트워크 및 이들의 조합을 비롯한 임의의 적절한 통신망 일 수 있다.The
또한 통신망(400)은 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 통신망(400)은 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 이때, 통신망(400)의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다.Also, the
도 2는 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 장치를 나타낸 블록구성도이다.2 is a block diagram showing a scene generation device for producing a webtoon-based scenario according to an embodiment of the present invention.
도 2에 나타낸 바와 같이, 본 발명의 실시 예에 따른 신 생성 장치(200)는, 웹툰 입력부(210), 설정값 입력부(220), 신 넘버 생성부(230), 텍스트 인식부(240), 이미지 학습부(250), 화자 판단부(260), 생성부(270)를 포함한다.As shown in FIG. 2, the
먼저, 웹툰 입력부(210)는 시나리오로 제작하고자 하는 웹툰을 입력받는다.First, the
자세히는 통신망(400)을 통해 웹툰 제공 서버(100)에 접속하여 서비스되는 다수의 웹툰들 중 시나리오로 제작하고자 하는 웹툰이 선택되면, 웹툰 제공 서버(100)를 통해 해당 웹툰을 제공받는다.In detail, when a webtoon to be produced as a scenario is selected from a plurality of webtoons serviced by accessing the
그리고 설정값 입력부(220)는 웹툰 입력부(210)를 통해 입력받은 웹툰을 분석하기 위한 설정값을 입력받는다.In addition, the set
이때, 설정값 입력부(220)는 다수의 모양 중 시나리오로 제작하고자 하는 웹툰에 기 설정된 지문에 대응하는 텍스트 상자 및 말풍선의 모양, 대사에 대응하는 텍스트 상자 및 말풍선의 모양, 독백에 대응하는 텍스트 상자 및 말풍선의 모양을 지문, 대사 및 독백에 대한 설정값으로 입력받을 수 있다.At this time, the setting
그리고 신 넘버 생성부(230)는 분석하고자 하는 웹툰을 한 페이지 또는 컷(cut) 단위로 분할하고, 각 분할된 영역에 대한 신 넘버를 순차적으로 생성한다.Then, the scene number generating unit 230 divides the webtoon to be analyzed in units of one page or cut, and sequentially generates scene numbers for each divided area.
이때, 신 넘버 생성부(230)는 사용자로부터 입력되는 시나리오의 용도를 반영하여 분석하고자 하는 웹툰이 다수의 영역으로 분할되면, 분할된 영역에 따라 신 넘버를 생성할 수도 있다.In this case, if the webtoon to be analyzed is divided into multiple areas by reflecting the purpose of the scenario input from the user, the scene number generation unit 230 may generate a scene number according to the divided areas.
즉, 시나리오의 용도에 부합하도록 신의 분량을 자동 조절함으로써 영화 시나리오, 드라마 대본 등 원하는 형태로 제공받을 수 있다.That is, by automatically adjusting the amount of scenes to meet the purpose of the scenario, it can be provided in a desired form, such as a movie scenario or a drama script.
그리고 텍스트 인식부(240)는 광학문자인식(OCR, Optical Character Recognition) 기법을 이용하여 신 넘버 생성부(230)에서 분할된 영역 내 포함된 텍스트를 독출하고, 독출된 텍스트를 설정값 입력부(220)에서 입력받은 설정값에 대응하여 지문, 대사, 독백 중 어느 하나로 구분한다. Then, the
여기서, 광학문자인식은 광학적 문자 판독 장치로 빛을 이용해 문자를 판독하는 기술을 일컫는 용어로, 쉽게 설명하자면, 사람이 쓰거나 기계로 인쇄된 텍스트를 이미지 스캐너를 통해 기계가 읽을 수 있는 텍스트로 변환해주는 기법이다. 이렇게 변환된 텍스트는 컴퓨터가 편집 가능한 문자 코드의 형식으로 변환된다.Here, optical character recognition is a term that refers to a technology that reads characters using light with an optical character reading device. To put it simply, text written by a person or printed by a machine is converted into text that can be read by a machine through an image scanner. it is a technique The converted text is converted into a character code format that can be edited by a computer.
따라서, 텍스트 인식부(240)는 광학문자인식 기법을 이용하여 영역 내 포함된 모든 텍스트를 독출해낸다.Accordingly, the
그리고, 텍스트 인식부(240)는 텍스트를 포함하고 있는 각각의 텍스트 상자 또는 말풍선의 모양을 판단하여 설정값 입력부(220)에서 입력받은 설정값에 따라 해당 텍스트가 지문, 대사, 독백 중 어느 것인지 구분한다.Then, the
자세히는, 텍스트 인식부(240)는 설정값 입력부(220) 입력받은 설정값을 학습하여 생성된 인공지능(AI) 광학문자인식 알고리즘을 이용하여 신 넘버 생성부(230)에서 분할된 영역 내 포함된 모든 텍스트를 인식하고 인식된 텍스트를 지문, 대사, 독백 중 어느 하나로 구분하는 것이 바람직하다.In detail, the
즉, 텍스트 인식부(240)는 인공지능 기술이 결합된 광학문자인식 알고리즘을 이용하여 텍스트를 포함하고 있는 각각의 텍스트 상자 또는 말풍선의 모양을 정확하게 판단함으로써 텍스트의 형태(지문, 대사, 독백)를 판단할 수 있다.That is, the
그리고 이미지 학습부(250)는 신 넘버 생성부(230)에서 분할된 영역 내 포함된 이미지를 추출하고, 추출된 이미지에 포함된 인물을 학습한다.Also, the
이때, 이미지 학습부(250)는 객체인식(Object recognition) 알고리즘을 이용하여 구분된 이미지의 종류를 판단하는데, 여기서 이미지의 종류는 인물, 사물, 동물, 식물, 장소 등으로 구분될 수 있다.At this time, the
여기서 객체인식 알고리즘은 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 비전 기술로 딥러닝과 머신러닝 알고리즘을 통해 산출되는 기술이다.Here, the object recognition algorithm is a computer vision technology that identifies an object on an image or video, and is a technology calculated through deep learning and machine learning algorithms.
여기서 객체인식 알고리즘은 딥러닝 기반의 학습 모델에 의해 객체의 형태 및 이미지를 인식하여 객체를 식별하기 위한 알고리즘으로 신경망(deep neural networks), 콘볼루션 신경망(convolutional deep neural networks), DBN(deep believe networks), 욜로(You only Look Once) SSD(Single Shot Detector) 등과 같은 다양한 기법들 중 어느 하나의 기법이 적용될 수 있으며 이외에도 객체 식별이 가능한 기법이라면 어느 것이 적용되어도 무방하다. 또한, 앞서 열거된 딥러닝 기법들은 공지된 기술이므로 이에 대한 자세한 설명은 생략하기로 한다.Here, the object recognition algorithm is an algorithm for identifying an object by recognizing the shape and image of an object by a deep learning-based learning model, and includes deep neural networks, convolutional deep neural networks, and DBN (deep believe networks). ), YOLO (You Only Look Once) SSD (Single Shot Detector), etc., any one of various techniques may be applied, and any other technique may be applied as long as it is possible to identify an object. In addition, since the deep learning techniques listed above are well-known techniques, a detailed description thereof will be omitted.
또한, 이미지 학습부(250)는 객체감지(Object detection) 알고리즘을 이용하여 구분된 이미지의 종류를 판단할 수도 있다.Also, the
여기서 객체감지 알고리즘은 이미지에서 객체의 인스턴스를 찾아내는 프로세스로 딥러닝의 경우 객체 감지는 이미지에서 객체를 식별할 뿐만 아니라 위치까지 파악되는 객체 인식의 서브셋이다. 이를 통해 하나의 이미지에서 여러 객체를 식별하고 각 위치를 파악할 수 있다.Here, object detection algorithm is the process of finding an instance of an object in an image. In the case of deep learning, object detection is a subset of object recognition that not only identifies objects in an image, but also locates them. This makes it possible to identify multiple objects in one image and determine the location of each.
따라서, 이미지 학습부(250)는 하나의 이미지에 여러 객체가 감지되는 경우 객체감지 알고리즘을 이용하여 각각의 객체의 종류를 식별하고 각 위치를 파악할 수도 있다.Accordingly, when multiple objects are detected in one image, the
또한, 이미지 학습부(250)는 이미지에 인물이 포함된 경우 안면인식 알고리즘을 이용하여 동일 인물 여부를 판단하고 학습할 수 있다.In addition, when a person is included in the image, the
여기서 안면인식 알고리즘은 얼굴의 특징점을 이용하여 이전 이미지에 포함된 얼굴과 비교하고 동일 인물 여부를 판단하는 알고리즘으로, 본 발명에서의 이미지 학습부(250)는 판단 결과 데이터를 딥러닝 알고리즘을 이용하여 학습함으로써 정확한 판단이 이루어지도록 할 수도 있다.Here, the face recognition algorithm is an algorithm that compares a face included in a previous image using a feature point of the face and determines whether it is the same person. The
일반적으로 안면인식 알고리즘은 AdaABoost(Adaptive Boosting) 알고리즘이 적용될 수 있는데, AdaABoost 알고리즘은 가장 대중적인 부스팅(Boosting) 알고리즘으로서 단순하면서도 효율적인 방법이다. 이러한 AdaBoost 알고리즘을 사용하여 얼굴을 감지하기 위해서는 사람의 얼굴에서 많은 수의 특징점을 추출해야 하는데, 이러한 문제를 해결하기 위해 하르 유사 특징(Haar-like features)을 이용할 수도 있다.In general, an adaptive boosting (AdaABoost) algorithm may be applied to the face recognition algorithm, and the AdaABoost algorithm is a simple and efficient method as the most popular boosting algorithm. In order to detect a face using the AdaBoost algorithm, a large number of feature points must be extracted from a human face. Haar-like features can be used to solve this problem.
하르 유사 특징을 이용한 얼굴 검출 방식에서는, 검출 윈도우에서 위치, 모양, 크기에 따라 다양하게 인접하는 직사각형 영역들을 고려하여, 각 영역의 픽셀 세기를 합산하고 이들 합들간의 차이를 계산한다. 계산된 차이값은 이미지의 서브섹션을 유형화하는데, 즉 얼굴 영역과 비-얼굴 영역 간의 차이를 드러내는데 사용된다. 얼굴 정렬은 검출된 얼굴 이미지의 특징점을 기반으로 2차원 변환 또는 3차원 변환 과정을 거쳐 정렬된 얼굴 이미지를 생성한다. 얼굴 정렬 과정은 얼굴 인식 성능을 높이는 중요한 과정이다. 얼굴 검출 및 정렬이 완료되면 딥러닝을 이용한 얼굴 인식이 수행된다. 여기서, 얼굴 인식은 정렬된 얼굴을 입력으로 받아들여 1:N 얼굴 식별(identification) 결과를 출력함으로써 이루어진다.In the face detection method using the Haar-like feature, pixel intensities of various adjacent rectangular areas are considered in a detection window according to positions, shapes, and sizes, and pixel intensities of each area are summed and a difference between these sums is calculated. The calculated difference value is used to classify the subsection of the image, i.e. to reveal the difference between facial and non-facial regions. Face alignment creates aligned face images through a 2D or 3D transformation process based on the feature points of the detected face image. The face alignment process is an important process to improve face recognition performance. After face detection and alignment are completed, face recognition using deep learning is performed. Here, face recognition is performed by receiving aligned faces as input and outputting a 1:N face identification result.
본 발명의 실시예에 따른 안면 인식은 딥러닝 기반의 알고리즘을 사용함으로써 얼굴 인식 성능을 향상시킬 수도 있다.Face recognition according to an embodiment of the present invention may improve face recognition performance by using a deep learning-based algorithm.
만약, 얼굴이 인식되지 않으면 전신이 포함된 다른 이미지의 신체 일부, 헤어스타일, 의상 및 세부 특징과 매칭하여 얼굴이 인식되지 않은 이미지의 인물을 판단하여 학습할 수도 있다.If the face is not recognized, the person in the image whose face is not recognized may be determined and learned by matching with body parts, hairstyles, clothes, and detailed features of other images including the whole body.
또한, 이미지 학습부(250)는 동일 인물로 파악되는 인물이 설정 횟수 이상 등장하면 주요 등장인물로 분류하고, 설정 횟수 미만 등장하면 엑스트라로 분류할 수도 있다.In addition, the
이미지 학습부(250)는 순환 신경망(Recurrent Neural Network, RNN) 알고리즘 또는 합성곱 신경망(Convolutional Neural Network, CNN) 알고리즘을 포함하는 인공신경망(Artificial Neural Network, ANN) 등의 신경망 모델을 기반으로 하고, 여기에 랜덤포레스트, SVM(Support vector machine), LDA(Linear discriminant analysis), QDA(Quadratic discriminant analysis), K-NN(K-nearest neighbor), K-means 등의 다양한 기계학습 방법을 함께 적용할 수도 있다.The
그리고 화자 판단부(260)는 텍스트 인식부(240)에서 구분된 텍스트가 대사 또는 독백 중 어느 하나인 경우, 해당 텍스트에 인접한 위치의 인물을 텍스트의 화자로 판단하되, 이미지 학습부(250)에서 학습된 인물 중 어느 한 명과 매칭하여 해당 텍스트의 화자를 판단한다.In addition, when the text identified by the
또한, 화자 판단부(260)는 텍스트 인식부(240)에서 구분된 텍스트를 포함하는 말풍선의 꼬리 방향을 검출하여 해당 텍스트의 화자를 판단할 수도 있다. 즉, 하나의 이미지에 둘 이상의 인물이 존재하는 경우, 말풍선의 꼬리 방향을 통해 해당 텍스트의 화자를 판단한다.Also, the
그러나 말풍선이 꼬리를 가지지 않는 경우에는 기 설정된 규칙에 따라 화자를 판단하되, 인접한 위치에 인물 이미지가 있는 경우 말풍선의 위치가 인물의 영역과 겹치거나 근접하면 해당 인물을 화자로 판단하고, 인접한 위치에 인물 이미지가 없는 경우 직전 이미지에서 마지막으로 말한 화자를 해당 텍스트의 화자로 판단할 수도 있다.However, if the speech bubble does not have a tail, the speaker is judged according to a predetermined rule. If there is a person image in an adjacent position, if the position of the speech bubble overlaps or is close to the person's area, the person is judged as the speaker, and If there is no person image, the speaker who spoke last in the previous image may be determined as the speaker of the corresponding text.
마지막으로 생성부(270)는 텍스트 인식부(240)에서 구분된 지문과 화자 판단부(260)에서 판단된 화자가 반영된 대사 및 독백 중 적어도 어느 하나 이상의 텍스트와, 신 넘버 생성부(230)에서 생성된 신 넘버가 포함된 신을 각 영역별로 생성한다.Finally, the
이때, 생성부(270)는 신 넘버 생성부(230)에서 생성된 신 넘버에 대응하는 웹툰의 회차 정보를 더 포함하여 신을 생성할 수도 있다.At this time, the
또한, 생성부(270)는 생성된 복수의 신을 분석하여 주제, 기획 의도, 집필 의도, 등장 인물 및 줄거리 중 어느 하나 이상이 포함된 시놉시스를 생성하여 제공할 수도 있다.In addition, the
본 발명의 일 실시예에 따른 신 생성 장치(200)는 생성부(270)에서 생성된 복수의 신을 분석하여 각 등장 인물의 캐릭터를 판단하고, 통신망(400)을 통해 배우 정보 제공 서버(300)에 접속하여 배우 정보 제공 서버(300)로부터 제공받은 배우 프로필을 이용하여 판단된 등장 인물의 캐릭터에 부합하는 배우를 매칭하여 추천해줄 수도 있다.The
이하에서는 도 3 내지 도 8을 통해 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 방법에 대하여 설명한다.Hereinafter, a scene generation method for creating a webtoon-based scenario according to an embodiment of the present invention will be described with reference to FIGS. 3 to 8.
도 3은 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.FIG. 3 is a flow chart showing an operational flow of a scene generation method for producing a webtoon-based scenario according to an embodiment of the present invention. Referring to this flow chart, specific operations of the present invention will be described.
본 발명의 실시 예에 따르면, 먼저, 웹툰 입력부(210)는 시나리오로 제작하고자 하는 웹툰을 입력받는다(S310).According to an embodiment of the present invention, first, the
자세히는 통신망(400)을 통해 웹툰 제공 서버(100)에 접속하여 서비스되는 다수의 웹툰들 중 시나리오로 제작하고자 하는 웹툰이 사용자로부터 선택되면, 웹툰 제공 서버(100)를 통해 해당 웹툰을 제공받는다.In detail, when a webtoon to be produced as a scenario is selected by a user among a plurality of webtoons serviced by accessing the
그 다음, 설정값 입력부(220)는 S310 단계에서 입력받은 웹툰을 분석하기 위한 설정값을 입력받는다(S320).Next, the set
자세히는, 다수의 모양 중 S310 단계에서 입력받은 웹툰에 기 설정된 지문에 대응하는 텍스트 상자 및 말풍선의 모양, 대사에 대응하는 텍스트 상자 및 말풍선의 모양, 독백에 대응하는 텍스트 상자 및 말풍선의 모양을 각각의 설정값으로 입력받는다.In detail, among a plurality of shapes, the shapes of the text box and speech bubble corresponding to the fingerprint preset in the webtoon input in step S310, the shape of the text box and speech bubble corresponding to the dialogue, and the shape of the text box and speech bubble corresponding to the monologue are respectively selected. It is input as the set value of .
즉, 웹툰의 작가마다 지문, 대사 및 독백에 대한 텍스트 상자나 말풍선의 모양이 상이하므로 해당 웹툰에 기 설정된 규칙에 대응하여 지문, 대사 및 독백에 대한 설정값을 입력받는 것이 바람직하다.That is, since each webtoon writer has a different text box or speech bubble shape for fingerprints, lines, and monologues, it is preferable to receive set values for fingerprints, lines, and monologues in response to rules set in the webtoon.
그 다음, 신 넘버 생성부(230)는 S310 단계에서 입력받은 웹툰을 한 페이지 또는 컷 단위로 분할하고, 각 분할된 영역에 대한 신 넘버를 순차적으로 생성한다(S330).Next, the scene number generating unit 230 divides the webtoon input in step S310 into one page or cut units, and sequentially generates scene numbers for each divided area (S330).
이때, 신 넘버 생성부(230)는 사용자로부터 입력되는 시나리오의 용도를 반영하여 분석하고자 하는 웹툰이 다수의 영역으로 분할되면, 분할된 영역에 따라 신 넘버를 생성할 수도 있다.In this case, if the webtoon to be analyzed is divided into multiple areas by reflecting the purpose of the scenario input from the user, the scene number generation unit 230 may generate a scene number according to the divided areas.
그 다음, 텍스트 인식부(240)는 광학문자인식 기법을 이용하여 S330 단계에서 분할된 영역 내 포함된 텍스트를 독출하고, 독출된 텍스트를 S320 단계에서 입력받은 설정값에 대응하여 지문, 대사, 독백 중 어느 하나로 구분한다(S340).Then, the
그리고, 텍스트 인식부(240)는 텍스트를 포함하고 있는 각각의 텍스트 상자 또는 말풍선의 모양을 판단하여 S320 단계에서 입력받은 설정값에 따라 해당 텍스트가 지문, 대사, 독백 중 어느 것인지 구분한다.Then, the
자세히는, 텍스트 인식부(240)는 설정값 입력부(220) 입력받은 설정값을 학습하여 생성된 인공지능 광학문자인식 알고리즘을 이용하여 신 넘버 생성부(230)에서 분할된 영역 내 포함된 모든 텍스트를 인식하고 인식된 텍스트를 지문, 대사, 독백 중 어느 하나로 구분하는 것이 바람직하다.In detail, the
즉, 텍스트 인식부(240)는 인공지능 기술이 결합된 광학문자인식 알고리즘을 이용하여 텍스트를 포함하고 있는 각각의 텍스트 상자 또는 말풍선의 모양을 정확하게 판단함으로써 텍스트의 형태(지문, 대사, 독백)를 판단할 수 있다.That is, the
그 다음, 이미지 학습부(250)는 S330 단계에서 분할된 영역 내 포함된 이미지를 추출하고, 추출된 이미지에 포함된 인물을 학습한다(S350).Next, the
이때, 이미지 학습부(250)는 객체인식 알고리즘을 이용하여 추출된 이미지의 종류를 판단하는데, 여기서 이미지의 종류는 인물, 사물, 동물, 식물, 장소 등으로 구분될 수 있다.At this time, the
여기서 객체인식 알고리즘은 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 비전 기술로 딥러닝과 머신러닝 알고리즘을 통해 산출되는 기술이다.Here, the object recognition algorithm is a computer vision technology that identifies an object on an image or video, and is a technology calculated through deep learning and machine learning algorithms.
본 발명의 실시예에서는 상술한 객체인식 알고리즘 기법들 중 어느 하나의 기법이 적용될 수 있으며 이외에도 객체 식별이 가능한 기법이라면 어느 기법이 적용되어도 무방하다.In the embodiment of the present invention, any one of the above-described object recognition algorithm techniques may be applied, and any other technique may be applied as long as it is possible to identify an object.
또한, 이미지 학습부(250)는 객체감지 알고리즘을 이용하여 구분된 이미지의 종류를 판단할 수도 있다.Also, the
여기서 객체감지 알고리즘은 이미지에서 객체의 인스턴스를 찾아내는 프로세스로 딥러닝의 경우 객체 감지는 이미지에서 객체를 식별할 뿐만 아니라 위치까지 파악되는 객체 인식의 서브셋이다. 이를 통해 하나의 이미지에서 여러 객체를 식별하고 각 위치를 파악할 수 있다.Here, object detection algorithm is the process of finding an instance of an object in an image. In the case of deep learning, object detection is a subset of object recognition that not only identifies objects in an image, but also locates them. This makes it possible to identify multiple objects in one image and determine the location of each.
따라서, 이미지 학습부(250)는 하나의 이미지에 여러 객체가 감지되는 경우 객체감지 알고리즘을 이용하여 각각의 객체의 종류를 식별하고 각 위치를 파악할 수도 있다.Accordingly, when multiple objects are detected in one image, the
또한, 이미지 학습부(250)는 이미지에 인물이 포함된 경우 안면인식 알고리즘을 이용하여 동일 인물 여부를 판단하고 학습할 수 있다.In addition, when a person is included in the image, the
여기서 안면인식 알고리즘은 얼굴의 특징점을 이용하여 이전 이미지에 포함된 얼굴과 비교하고 동일 인물 여부를 판단하는 알고리즘으로, 본 발명에서의 이미지 학습부(250)는 판단 결과 데이터를 딥러닝 알고리즘을 이용하여 학습함으로써 정확한 판단이 이루어지도록 할 수도 있다.Here, the face recognition algorithm is an algorithm that compares a face included in a previous image using a feature point of the face and determines whether it is the same person. The
본 발명의 실시예에서는 상술한 안면인식 알고리즘 기법들 중 어느 하나의 기법이 적용될 수 있으며 이외에도 안면 인식이 가능한 기법이라면 어느 기법이 적용되어도 무방하다.In the embodiment of the present invention, any one of the above-described face recognition algorithm techniques may be applied, and any other technique may be applied as long as the face recognition is possible.
만약, 얼굴이 인식되지 않으면, 전신이 포함된 다른 이미지의 신체 일부, 헤어스타일, 의상 및 세부 특징과 매칭하여 얼굴이 인식되지 않은 이미지의 인물을 판단하여 학습할 수도 있다.If the face is not recognized, the person in the image whose face is not recognized may be determined and learned by matching with body parts, hairstyles, clothes, and detailed features of other images including the whole body.
또한, 이미지 학습부(250)는 동일 인물로 파악되는 인물이 설정 횟수 이상 등장하면 주요 등장인물로 분류하고, 설정 횟수 미만 등장하면 엑스트라로 분류할 수도 있다.In addition, the
즉, 동일 인물이 감지되는 횟수를 카운트하여 주요 등장인물과 엑스트라를 분류할 수 있어 등장 인물의 수와 비중 파악이 용이하도록 할 수 있다.That is, by counting the number of times the same person is detected, it is possible to classify the main characters and the extras, so that the number and weight of the characters can be easily grasped.
이를 위해 이미지 학습부(250)는 순환 신경망(Recurrent Neural Network, RNN) 알고리즘 또는 합성곱 신경망(Convolutional Neural Network, CNN) 알고리즘을 포함하는 인공신경망(Artificial Neural Network, ANN) 등의 신경망 모델을 기반으로 하고, 여기에 랜덤포레스트, SVM(Support vector machine), LDA(Linear discriminant analysis), QDA(Quadratic discriminant analysis), K-NN(K-nearest neighbor), K-means 등의 다양한 기계학습 방법을 함께 적용할 수도 있다.To this end, the
그 다음, 화자 판단부(260)는 S340 단계로부터 구분된 텍스트가 대사 또는 독백 중 어느 하나인지 판단한다(S360).Next, the
S360 단계의 판단 결과 S340 단계로부터 구분된 텍스트가 대사 또는 독백 중 어느 하나인 경우 화자 판단부(260)는 해당 텍스트에 인접한 위치의 인물을 해당 텍스트의 화자로 판단한다(S370).As a result of the determination in step S360, if the text separated in step S340 is either a dialogue or a monologue, the
이때, 화자 판단부(260)는 텍스트 인식부(240)에서 구분된 텍스트를 포함하는 말풍선의 꼬리 방향을 검출하여 해당 텍스트의 화자를 판단할 수도 있다. 즉, 하나의 이미지에 둘 이상의 인물이 존재하는 경우, 말풍선의 꼬리 방향을 통해 해당 텍스트의 화자를 판단한다.At this time, the
그러나 말풍선이 꼬리를 가지지 않는 경우, 기 설정된 규칙에 따라 화자를 판단하되, 인접한 위치에 인물 이미지가 있는 경우 말풍선의 위치가 인물의 영역과 겹치거나 근접하면 해당 인물을 화자로 판단하고, 인접한 위치에 인물 이미지가 없는 경우 직전 이미지에서 마지막으로 말한 화자를 해당 텍스트의 화자로 판단할 수도 있다.However, if the speech bubble does not have a tail, the speaker is judged according to a predetermined rule. However, if there is a person image in an adjacent position, if the position of the speech bubble overlaps or is close to the person's area, the person is determined as the speaker, and If there is no person image, the speaker who spoke last in the previous image may be determined as the speaker of the corresponding text.
또한, S340 단계로부터 구분된 텍스트가 지문인 경우에는 해당 텍스트의 화자를 판단하지 않는다, 즉, 이미지에 인물이 존재하지 않고 지문만 존재하는 경우에는 화자를 판단하는 단계가 불필요하므로 텍스트만 독출한다.In addition, if the text identified in step S340 is a fingerprint, the speaker of the text is not determined. That is, if there is no person in the image but only a fingerprint, the step of determining the speaker is unnecessary, so only the text is read.
S370 단계에서 화자 판단부(260)는 S350 단계에서 학습된 인물 중 어느 한 명과 매칭하여 해당 텍스트의 화자를 판단할 수 있다.In step S370, the
그 다음, 생성부(270)는 S340 단계로부터 구분된 지문과 S370 단계로부터 판단된 화자가 반영된 대사 및 독백 중 적어도 어느 하나 이상의 텍스트와, S330 단계로부터 생성된 신 넘버가 포함된 신을 각 영역별로 생성한다(S380).Next, the
이때, 생성부(270)는 신 넘버 생성부(230)에서 생성된 신 넘버에 대응하는 웹툰의 회차 정보를 더 포함하여 신을 생성할 수도 있다.At this time, the
또한, 생성부(270)는 생성된 복수의 신을 분석하여 주제, 기획 의도, 집필 의도, 등장 인물 및 줄거리 중 어느 하나 이상이 포함된 시놉시스를 생성하여 제공할 수도 있다.In addition, the
또한, 생성부(270)에서 생성된 복수의 신을 분석하여 각 등장 인물의 캐릭터를 판단하고, 통신망(400)을 통해 배우 정보 제공 서버(300)에 접속하여 배우 정보 제공 서버(300)로부터 제공받은 배우 프로필을 이용하여 판단된 등장 인물의 캐릭터에 부합하는 배우를 매칭하여 추천해줄 수도 있다.In addition, a plurality of scenes generated by the
도 4는 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 방법에서 설정값 선택 테이블을 예시적으로 도시한 도면이다.4 is a diagram exemplarily illustrating a setting value selection table in a scene generation method for producing a webtoon-based scenario according to an embodiment of the present invention.
도 4에 나타낸 바와 같이, 설정값 입력부(220)는 시나리오로 제작하고자 하는 웹툰에서 지문에 해당하는 텍스트 상자 또는 말풍선이 어떤 모양인지, 대사에 해당하는 텍스트 상자 또는 말풍선이 어떤 모양인지, 독백에 해당하는 텍스트 상자 또는 말풍선이 어떤 모양인지를 설정값으로 입력받는다.As shown in FIG. 4, the set
즉, 웹툰마다 지문, 대사 및 독백을 나타내는 텍스트 상자 및 말풍선의 모양이 상이하므로 해당 웹툰에 기 정해진 규칙에 따라 지문, 대사 및 독백에 대한 텍스트 상자 및 말풍선의 모양을 각각 설정값으로 입력해주는 것이 바람직하다.In other words, since the shapes of text boxes and speech bubbles representing fingerprints, dialogues, and monologues are different for each webtoon, it is desirable to input the text boxes and speech bubbles for fingerprints, dialogues, and monologues as set values according to predetermined rules for the webtoon. do.
만약, 해당 웹툰의 지문, 대사 및 독백을 나타내는 텍스트 상자 및 말풍선의 모양이 예시로 나타낸 도 4의 선택 항목에 존재하지 않는다면 사용자가 직접 추가할 수도 있다. If the shapes of text boxes and speech bubbles representing fingerprints, lines, and monologues of the corresponding webtoon do not exist in the selection items of FIG. 4 shown as an example, the user may directly add them.
도 5는 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 방법에서 분석 대상 영역을 예시적으로 도시한 도면이다.5 is a diagram illustratively illustrating an analysis target region in a scene generation method for producing a webtoon-based scenario according to an embodiment of the present invention.
도 5에 나타낸 바와 같이, 신 넘버 생성부(230)가 분석하고자 하는 웹툰을 한 페이지 또는 컷(cut) 단위로 분할하면, 텍스트 인식부(240)는 분할된 영역 내 포함된 텍스트(도 5의 1-1, 1-2, 1-4 및 1-6)를 모두 독출하고, 이미지 학습부(250)는 분할된 영역 내 포함된 이미지(1-3 및 1-5)를 모두 독출한다.As shown in FIG. 5, when the scene number generation unit 230 divides the webtoon to be analyzed into one page or cut unit, the
이때, 텍스트 인식부(240)는 텍스트를 포함하고 있는 텍스트 상자나 말풍선 뿐만 아니라 이미지 속에 포함된 텍스트까지 모두 검출하는 것이 바람직하다.At this time, it is preferable that the
도 6 및 도 7은 도 5에 도시된 도면을 분석하여 텍스트와 이미지를 구분하는 과정을 설명하기 위해 도시한 도면이다.6 and 7 are diagrams for explaining a process of classifying text and images by analyzing the diagram shown in FIG. 5 .
도 6에 나타낸 바와 같이, 텍스트 인식부(240)는 도 5와 같이 독출된 텍스트의 텍스트 상자나 말풍선 모양을 이용하여 해당 텍스트가 지문, 대사, 독백 중 어느 것인지 판단하고, 이미지 학습부(250)는 독출된 이미지가 인물, 사물, 동물, 식물, 장소 중 어느 것에 해당하는지 판단한다.As shown in FIG. 6, the
이때, 분석부(미도시)를 더 포함하여 분할된 영역을 구성 요소별로 각각 분석하도록 할 수도 있다. 여기서 구성 요소는 도 6에 예시로 나타낸 이미지 넘버(Img No)와 같이 구분될 수 있으며, 분석부는 각각의 구성 요소가 어느 카테고리에 해당하는지 판독할 수도 있다. 카테고리 예시로는 도형, 말풍선, 인물, 사물, 동물, 식물, 장소, 텍스트, 기타 등이 있다.In this case, an analyzer (not shown) may be further included to analyze the divided regions for each component. Here, the components may be classified as an example of the image number (Img No) shown in FIG. 6, and the analysis unit may read which category each component corresponds to. Examples of categories include shapes, speech bubbles, people, objects, animals, plants, places, texts, and others.
텍스트 인식부(240)는 설정값 입력부(220)를 통해 입력받은 설정값을 이용하여 판단된 지문, 대사 및 독백을 도 7에서와 같이 이미지 넘버(Img No)별로 나타낼 수 있다.The
또한, 분석부는 도 7에서와 같이 도 6에 나타낸 판독값을 해당 카테고리에 이미지 넘버(Img No)별로 표시할 수도 있다. 이때 카테고리는 도형, 말풍선, 인물, 사물, 동물, 식물, 장소, 대사, 지문, 독백 및 기타를 예시로 들 수 있으며, 도 7에서는 대표적으로 인물, 장소, 대사 및 지문만 도시한다.In addition, the analysis unit may display the read value shown in FIG. 6 as in FIG. 7 by image number (Img No) in a corresponding category. At this time, examples of categories include figures, speech bubbles, people, objects, animals, plants, places, lines, fingerprints, monologues, and others, and FIG. 7 shows only characters, places, lines, and fingerprints as representative examples.
이때, 인물 및 장소와 같은 이미지 관련 카테고리는 식별번호와 이미지 또는 이미지가 인식된 대상을 함께 표시할 수 있는데, 하나의 이미지에 복수의 인물이 포함된 경우에는 각각의 식별번호와 함께 각각의 이미지 또는 이미지가 인식된 대상을 표시할 수도 있다.At this time, image-related categories such as people and places may display an identification number and an image or an image-recognized object together. When a plurality of people are included in one image, each image or An image may also indicate a recognized object.
즉, 하나의 이미지에 복수의 인물, 사물, 동물, 식물 등이 포함된 경우에는 각 사물의 식별번호(예를 들면, 1, 2, 3?)로 구분하여 표시할 수도 있다. 또한, 이미지는 도 7에서와 같이 이미지의 존재 유무로만 표시할 수도 있지만, 이미지가 인식된 대상을 표시할 수도 있다. 예를 들어 동물 카테고리인 경우, 강아지, 고양이, 새 등으로 이미지가 인식된 대상을 표시할 수도 있다.That is, when a plurality of people, objects, animals, plants, etc. are included in one image, they may be displayed separately by identification numbers (for example, 1, 2, 3?) of each object. In addition, the image may be displayed only with the presence or absence of the image as shown in FIG. 7, but the object for which the image is recognized may be displayed. For example, in the case of an animal category, an object whose image is recognized as a dog, cat, bird, etc. may be displayed.
또한, 대사, 지문, 독백과 같은 텍스트 관련 카테고리는 텍스트 인식부(240)를 통해 판단된 판독값에 따라 지문, 대사 및 독백 중 대응하는 카테고리에 독출된 텍스트를 표시할 수도 있다.In addition, text-related categories such as lines, sentences, and monologues may display read texts in corresponding categories among fingerprints, lines, and monologues according to the read values determined through the
도 8은 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 방법에서 생성되는 신을 예시적으로 도시한 도면이다.8 is a diagram exemplarily illustrating a scene generated in a scene creation method for webtoon-based scenario production according to an embodiment of the present invention.
도 8에 나타낸 바와 같이, 생성부(270)는 도 7에서와 같이 정리된 테이블을 하나의 신으로 생성할 수 있다.As shown in FIG. 8 , the
자세히는, 텍스트 인식부(240)에서 구분된 지문과 화자 판단부(260)에서 판단된 화자가 반영된 대사 및 독백 중 적어도 어느 하나 이상의 텍스트와, 신 넘버 생성부(230)에서 생성된 신 넘버가 포함된 신을 각 영역별로 생성한다.In detail, the text of at least one of lines and monologues in which the fingerprint identified by the
즉, 본 발명의 실시예에 따라 도 8과 같이 생성되는 복수의 신을 병합 및 편집하여 시나리오를 제작할 수 있다.That is, a scenario can be created by merging and editing a plurality of scenes generated as shown in FIG. 8 according to an embodiment of the present invention.
이때, 생성되는 신은 도 8과 같이 스크립트(script) 형식으로 생성되는 것이 바람직하나 지문과 화자의 대사 및 독백 중 어느 하나 이상의 텍스트와 신 넘버가 포함되어 있으면 어떠한 형태로 생성되어도 무방하다.At this time, the generated scene is preferably created in the form of a script as shown in FIG. 8, but it may be created in any form as long as it includes a scene number and any one or more texts among fingerprints, dialogues and monologues of the speaker.
상술한 바와 같이, 본 발명의 실시 예에 따른 웹툰 기반의 시나리오 제작을 위한 신 생성 방법은 웹툰 속에 등장하는 등장인물, 장소, 배경, 대사 등을 분석하여 영화 시나리오 또는 드라마 대본을 제작하기 위한 복수의 신을 생성해줌으로써 웹툰을 원작으로 하는 영화 또는 드라마의 기획 개발이 용이해지도록 할 수 있다.As described above, the scene creation method for webtoon-based scenario production according to an embodiment of the present invention analyzes the characters, places, backgrounds, and lines appearing in the webtoon to create a movie scenario or drama script. By creating a scene, planning and development of a movie or drama based on a webtoon can be facilitated.
또한 본 발명의 실시 예에 따르면, 인공지능(AI) 광학문자인식 알고리즘을 이용하여 웹툰 속에 포함된 모든 텍스트가 빠르고 정확하게 인식되도록 하여 단시간에 복수의 신이 생성되도록 함으로써 시나리오 제작을 위한 사전 기획 시간을 단축시켜줄 수 있다.In addition, according to an embodiment of the present invention, by using an artificial intelligence (AI) optical character recognition algorithm, all texts included in webtoons are recognized quickly and accurately, so that multiple scenes are created in a short time, thereby reducing the pre-planning time for scenario production can do it
또한 본 발명의 실시 예에 따르면, 딥러닝 기반의 안면인식 알고리즘을 이용하여 등장인물을 정확하게 구분 및 파악함으로써 대사나 독백을 하는 화자를 정확하게 판단할 수 있어 기획 단계에서 검수 시간을 단축시켜 줄 수 있다.In addition, according to an embodiment of the present invention, by using a deep learning-based facial recognition algorithm to accurately classify and identify characters, it is possible to accurately determine the speaker who is giving dialogue or monologue, thereby reducing the inspection time in the planning stage. .
또한 본 발명의 실시 예에 따르면, 시나리오의 용도에 부합하도록 생성되는 신의 분량이 자동 조절되도록 함으로써 영화 시나리오, 드라마 대본 등 원하는 형태로 제공받을 수 있어 사용자의 만족도를 향상시킬 수 있다.In addition, according to an embodiment of the present invention, by automatically adjusting the amount of scenes generated to meet the purpose of the scenario, it is possible to provide a desired form such as a movie scenario or a drama script, thereby improving user satisfaction.
또한 본 발명의 실시 예에 따르면, 생성된 신을 이용하여 인물들 중심의 스토리 라인, 장소와의 관계, 현재, 미래의 이야기들의 전반적인 내용을 토대로 현재 트렌드와 맞지 않은 대사와 상황들의 각색이 더욱 용이해질 뿐만 아니라 원작의 신을 미리 도출할 수 있어 연출 방향에 맞도록 시나리오를 각색함으로써 시나리오의 퀄리티를 향상시킬 수 있다.In addition, according to an embodiment of the present invention, based on the overall contents of storylines centered on characters, relationships with places, and current and future stories using the created scene, adaptation of dialogues and situations that do not fit the current trend will be easier. In addition, since the original scene can be derived in advance, the quality of the scenario can be improved by adapting the scenario to suit the directing direction.
또한 본 발명의 실시 예에 따르면, 생성된 신을 이용하여 주제, 기획 의도, 집필 의도, 등장 인물 및 줄거리 등이 포함된 시놉시스를 제공해줌으로써 기획 시간을 단축시켜줄 수 있을 뿐만 아니라 등장인물 수, 촬영 장소, 소품 등에 따른 제작비 예측이 가능하도록 할 수 있다.In addition, according to an embodiment of the present invention, planning time can be shortened by providing a synopsis including the theme, planning intention, writing intention, characters and plot using the created scene, as well as the number of characters, shooting location, It is possible to predict production costs according to props.
또한 본 발명의 실시 예에 따르면, 생성되는 복수의 신을 분석하여 각 등장 인물의 캐릭터를 판단하고, 판단된 등장 인물의 캐릭터에 부합하는 배우를 매칭하여 추천해줌으로써 기획 시간을 단축시켜줄 수 있다.In addition, according to an embodiment of the present invention, planning time can be shortened by analyzing a plurality of scenes to be created, determining the character of each character, and matching and recommending an actor matching the character of the determined character.
또한 본 발명의 실시 예에 따르면, 콘텐츠를 활용한 영상 제작을 위해 시나리오 및 대본을 용이하게 작성하고자 하는 사용자의 욕구를 총족시켜 줄 수 있는 효과가 있다.In addition, according to an embodiment of the present invention, there is an effect that can satisfy the user's desire to easily create scenarios and scripts for video production using content.
본 발명은 도면에 도시된 실시 예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. will be. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the claims below.
100 : 웹툰 제공 서버 200 : 신 생성 장치
210 : 웹툰 입력부 220 : 설정값 입력부
230 : 신 넘버 생성부 240 : 텍스트 인식부
250 : 이미지 학습부 260 : 화자 판단부
270 : 생성부 300 : 배우 정보 제공 서버100: Webtoon provision server 200: New generation device
210: webtoon input unit 220: set value input unit
230: new number generation unit 240: text recognition unit
250: image learning unit 260: speaker judgment unit
270: generation unit 300: actor information providing server
Claims (10)
시나리오로 제작하고자 하는 웹툰을 입력받는 단계;
상기 입력받은 웹툰을 분석하기 위한 설정값을 입력받는 단계;
상기 웹툰을 한 페이지 또는 컷(cut) 단위로 분할하고, 각 분할된 영역에 대한 신(scene) 넘버를 순차적으로 생성하는 단계;
광학문자인식(OCR) 기법을 이용하여 텍스트 인식부에서 상기 분할된 영역 내 포함된 텍스트를 독출하고, 상기 독출된 텍스트를 상기 설정값에 대응하여 지문, 대사, 독백 중 어느 하나로 구분하는 단계;
상기 분할된 영역 내 포함된 이미지를 추출하고, 이미지 학습부에서 추출된 이미지가 도형, 말풍선, 인물, 사물, 동물, 식물, 장소 및 텍스트 중 어느 구성요소에 해당하는지 판단하고, 분석부에서 상기 구성 요소별로 각각 분석하여 상기 신(scene)에 해당하는 등장인물, 장소 및 배경에 대한 텍스트로 변환하는 단계;
상기 텍스트 인식부에서 상기 구분된 텍스트가 대사 또는 독백 중 어느 하나인 경우, 해당 텍스트에 인접한 위치의 인물을 상기 텍스트의 화자로 판단하되, 상기 학습된 인물 중 어느 한 명과 매칭하여 상기 화자를 판단하는 단계;
상기 신 넘버, 상기 등장인물, 장소 및 배경에 대한 텍스트, 상기 구분된 지문과 상기 판단된 화자가 반영된 대사 및 독백 중 적어도 어느 하나 이상의 텍스트가 포함된 신을 상기 각 영역별로 생성하는 단계; 및
상기 신을 상기 각 영역별로 생성하는 단계는, 사용자로부터 입력 받은 상기 시나리오의 용도에 부합하도록 신의 분량을 조절하는 것을 포함하고,
상기 시나리오는 복수의 신을 병합 및 편집하여 제작되고,
상기 시나리오의 용도는 영화 시나리오 및 드라마 대본을 포함하는 신 생성 방법.In the new creation method for scenario production by analyzing webtoon-based characters, places, backgrounds, and dialogues driven by a server,
Receiving a webtoon to be produced as a scenario;
Receiving a set value for analyzing the input webtoon;
dividing the webtoon into pages or cuts and sequentially generating scene numbers for each divided region;
reading the text included in the divided area in a text recognition unit using an optical character recognition (OCR) technique, and classifying the read text into one of fingerprint, dialogue, and monologue in response to the set value;
The image included in the segmented area is extracted, the image extracted by the image learning unit determines which component among shapes, speech bubbles, people, objects, animals, plants, places, and texts corresponds to, and the analysis unit determines the configuration analyzing each element and converting them into text about characters, places, and backgrounds corresponding to the scene;
When the text separated by the text recognition unit is either a dialogue or a monologue, determining a person at a position adjacent to the text as a speaker of the text, and determining the speaker by matching with any one of the learned people step;
generating a scene for each region including at least one text of the scene number, text for the character, place, and background, lines and monologues in which the divided fingerprints and the determined speaker are reflected; and
The step of generating the scene for each region includes adjusting the amount of the scene to meet the purpose of the scenario input by the user;
The scenario is produced by merging and editing multiple scenes,
The use of the scenario includes a movie scenario and a drama script.
상기 설정값을 입력받는 단계는,
다수의 모양 중 상기 웹툰에 기 설정된 지문에 대응하는 텍스트 상자 및 말풍선의 모양, 대사에 대응하는 텍스트 상자 및 말풍선의 모양, 독백에 대응하는 텍스트 상자 및 말풍선의 모양을 각각의 설정값으로 입력받는 신 생성 방법.According to claim 1,
In the step of receiving the set value,
Among a plurality of shapes, the shape of the text box and speech bubble corresponding to the fingerprint set in the webtoon, the shape of the text box and speech bubble corresponding to the dialogue, and the shape of the text box and speech bubble corresponding to the monologue are input as respective set values. How to create.
상기 구분하는 단계는,
상기 입력받은 설정값을 학습하여 생성된 인공지능(AI) 광학문자인식 알고리즘을 이용하여 상기 영역 내 포함된 모든 텍스트를 인식하고 인식된 텍스트를 지문, 대사, 독백 중 어느 하나로 구분하는 신 생성 방법.According to claim 2,
In the step of distinguishing,
A new method of recognizing all text included in the area using an artificial intelligence (AI) optical character recognition algorithm generated by learning the input setting value and classifying the recognized text into one of fingerprint, dialogue, and monologue.
상기 화자를 판단하는 단계는,
상기 텍스트를 포함하는 말풍선의 꼬리 방향을 검출하여 상기 화자를 판단하고,
상기 말풍선이 꼬리를 가지지 않는 경우, 기 설정된 규칙에 따라 화자를 판단하되, 인접한 위치에 인물 이미지가 있는 경우 상기 말풍선의 위치가 인물의 영역과 겹치거나 근접하면 해당 인물을 화자로 판단하고, 인접한 위치에 인물 이미지가 없는 경우 직전 이미지에서 마지막으로 말한 화자를 해당 텍스트의 화자로 판단하는 신 생성 방법.According to claim 1,
The step of judging the speaker,
determining the speaker by detecting a tail direction of a speech bubble including the text;
When the speech bubble does not have a tail, the speaker is determined according to a predetermined rule. If there is a person image in an adjacent position, if the position of the speech bubble overlaps or is close to the person's area, the person is determined as the speaker, and the adjacent position is determined. A scene generation method in which the speaker who spoke last in the previous image is judged as the speaker of the text when there is no image of a person in the text.
상기 인물을 학습하는 단계는,
객체인식 알고리즘을 이용하여 상기 추출된 이미지의 종류를 판단하고, 상기 이미지에 인물이 포함된 경우 안면인식 알고리즘을 이용하여 동일 인물 여부를 판단하여 학습하되,
얼굴이 인식되지 않으면, 전신이 포함된 다른 이미지의 신체 일부, 헤어스타일, 의상 및 세부 특징과 매칭하여 얼굴이 인식되지 않은 이미지의 인물을 판단하여 학습하는 신 생성 방법.According to claim 1,
The step of learning the person,
The type of the extracted image is determined using an object recognition algorithm, and if a person is included in the image, a face recognition algorithm is used to determine whether or not the same person is the same person.
If a face is not recognized, a new generation method for learning by judging a person in an image whose face is not recognized by matching with body parts, hairstyles, clothes, and detailed features of other images including the whole body.
상기 인물을 학습하는 단계는,
상기 동일 인물로 파악되는 인물이 설정 횟수 이상 등장하면 주요 등장인물로 분류하고, 설정 횟수 미만 등장하면 엑스트라로 분류하는 신 생성 방법.According to claim 5,
The step of learning the person,
A scene generation method of classifying a person identified as the same person as a main character if they appear more than a set number of times, and classifying them as an extra if they appear less than a set number of times.
상기 신 넘버를 순차적으로 생성하는 단계는,
사용자로부터 입력되는 시나리오의 용도를 반영하여 상기 웹툰이 다수의 영역으로 분할되면, 분할된 영역에 따라 상기 신 넘버를 생성하는 신 생성 방법.According to claim 1,
The step of sequentially generating the scene number,
When the webtoon is divided into a plurality of regions by reflecting the use of the scenario input from the user, the scene number is generated according to the divided regions.
상기 각 영역별로 생성하는 단계는,
상기 신 넘버에 대응하는 상기 웹툰의 회차 정보를 더 포함하여 상기 신을 생성하는 신 생성 방법.According to claim 1,
The step of generating each area,
The scene creation method of generating the scene by further including episode information of the webtoon corresponding to the scene number.
상기 생성된 복수의 신을 분석하여 각 등장 인물의 캐릭터를 판단하고, 배우 정보 제공 서버로부터 제공받은 배우 프로필을 이용하여 상기 판단된 등장 인물의 캐릭터에 부합하는 배우를 매칭하여 추천하는 단계를 더 포함하는 신 생성 방법.According to claim 1,
Further comprising the step of analyzing the generated plurality of scenes to determine the character of each character, and matching and recommending an actor matching the character of the determined character using an actor profile provided from an actor information providing server How to create a god.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210100577A KR102473475B1 (en) | 2021-07-30 | 2021-07-30 | Scene create method for scenario production based on webtoon |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210100577A KR102473475B1 (en) | 2021-07-30 | 2021-07-30 | Scene create method for scenario production based on webtoon |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102473475B1 true KR102473475B1 (en) | 2022-12-02 |
Family
ID=84413141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210100577A KR102473475B1 (en) | 2021-07-30 | 2021-07-30 | Scene create method for scenario production based on webtoon |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102473475B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102538156B1 (en) * | 2022-08-26 | 2023-05-31 | 주식회사 스튜디오사월 | Method for supporting scenario writing in electronic device and apparauts thereof |
| KR102672714B1 (en) * | 2023-08-16 | 2024-06-05 | 주식회사 일그램 | A method for producing text-based motion graphic short-form content using webtoons |
| KR102690474B1 (en) * | 2023-02-15 | 2024-08-01 | 윤광남 | Method for providing webtoon production service and system thereof |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200032614A (en) * | 2018-09-18 | 2020-03-26 | 이승일 | A system that generates text and picture data from video data using artificial intelligence |
| KR102180805B1 (en) | 2019-11-12 | 2020-11-19 | 네오코믹스 주식회사 | An automatic audio extraction system for webtoon by identifying speakers of a speech buble |
| WO2020234771A1 (en) * | 2019-05-20 | 2020-11-26 | Sony Corporation | Prediction of film success-quotient |
-
2021
- 2021-07-30 KR KR1020210100577A patent/KR102473475B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200032614A (en) * | 2018-09-18 | 2020-03-26 | 이승일 | A system that generates text and picture data from video data using artificial intelligence |
| WO2020234771A1 (en) * | 2019-05-20 | 2020-11-26 | Sony Corporation | Prediction of film success-quotient |
| KR102180805B1 (en) | 2019-11-12 | 2020-11-19 | 네오코믹스 주식회사 | An automatic audio extraction system for webtoon by identifying speakers of a speech buble |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102538156B1 (en) * | 2022-08-26 | 2023-05-31 | 주식회사 스튜디오사월 | Method for supporting scenario writing in electronic device and apparauts thereof |
| KR102690474B1 (en) * | 2023-02-15 | 2024-08-01 | 윤광남 | Method for providing webtoon production service and system thereof |
| KR102672714B1 (en) * | 2023-08-16 | 2024-06-05 | 주식회사 일그램 | A method for producing text-based motion graphic short-form content using webtoons |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12035005B2 (en) | Sensitivity assessment for media production using artificial intelligence | |
| KR102473475B1 (en) | Scene create method for scenario production based on webtoon | |
| US10522186B2 (en) | Apparatus, systems, and methods for integrating digital media content | |
| CN104735468B (en) | A kind of method and system that image is synthesized to new video based on semantic analysis | |
| CN110717470B (en) | Scene recognition method and device, computer equipment and storage medium | |
| JP6760318B2 (en) | Face image identification system, classifier generator, identification device, image identification system, and identification system | |
| BR102016007265A2 (en) | MULTIMODAL AND REAL-TIME METHOD FOR SENSITIVE CONTENT FILTERING | |
| KR20190069920A (en) | Apparatus and method for recognizing character in video contents | |
| US11468571B2 (en) | Apparatus and method for generating image | |
| CN113268994B (en) | Intention identification method and device based on capsule network | |
| KR102368300B1 (en) | System for expressing act and emotion of character based on sound and facial expression | |
| CN113536999A (en) | Character emotion recognition method, system, medium and electronic device | |
| KR20210051473A (en) | Apparatus and method for recognizing video contents | |
| CN116091836A (en) | Multi-mode visual language understanding and positioning method, device, terminal and medium | |
| Tymoshenko et al. | Real-Time Ukrainian Text Recognition and Voicing. | |
| CN112087590A (en) | Image processing method, device, system and computer storage medium | |
| Sherratt et al. | Multi-channel convolutional neural network for precise meme classification | |
| CN111488813A (en) | Video emotion marking method and device, electronic equipment and storage medium | |
| US20200050899A1 (en) | Automatically filtering out objects based on user preferences | |
| KR20210078206A (en) | Editing multimedia contents based on voice recognition | |
| Salunkhe et al. | Android-based object recognition application for visually impaired | |
| CN114064968A (en) | News subtitle abstract generating method and system | |
| US20180047137A1 (en) | Automatic correction of facial sentiment of portrait images | |
| WO2020191382A1 (en) | Automatic media production risk assessment using electronic dataset | |
| KR20210062274A (en) | Device and method for image automatic generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |