4D 영화 이펙트 자동 생성장치

요 약

 

딥러닝 기반의 4D 영화 이펙트 자동 생성장치에 대한 것이다. 본 발명에 따르면, 엠피이지 프로그램 스트림(MPEG Program Stream)에 포함된 비디오 정보와 오디오 정보를 분류 하고, 분류된 오디오 정보 및 비디오 정보를 각각 입력받는 입력부, 상기 입력된 비디오 정보에 포함된 현재 프레임을 기 구축된 딥러닝 모델에 입력하여 주요 객체를 추출하고, 추출한 객체의 움직임을 추정하여 스케일링 이 미지를 생성하고, 생성된 스케일링 이미지를 통해 모션 의차 효과를 도출하는 움직임 추정부, 상기 입력된 오디 오 정보에 윈도잉 기술을 적용하여 일정한 간격으로 데이터를 생성한 다음, 생성된 데이터를 VGG기반의 네트워크 에 입력하여 파형을 분류하는 오디오 분류부, 상기 움직임 추정 모듈을 통해 생성된 플로우 맵과 오디오 분류 모 듈을 통해 분류된 오디오 신호를 이용하여 각각 모션 효과와 추가 효과를 획득할 수 있는 4D 영화 이펙트 자동 생성 모델을 생성하는 모델생성부, 그리고 4D 영화 이펙트 자동 생성 모델을 이용하여 4D 영화 이펙트를 자동으 로 생성하는 효과 추출부를 포함한다.

 

 

 기 술 분 야

 

4D 영화 이펙트 자동 생성장치에 관한 것으로서, 더욱 상세하게는 4D 영화의 프로그램 스트림을 이용 하여 비디오에서 오디오 신호와 주요 물체의 움직임을 분류하여 4D 효과를 생성하는 4D 영화 이펙트 자동 생성 장치에 관한 것이다.

 

 

배 경 기 술

 

최근 사용자 친화적인 콘텐츠가 대중화되면서 4D 산업에 대한 관심이 높아지고 있다. 전통적인 드라마가 영화에 해당하는 2D 콘텐츠와 달리, 3D 콘텐츠는 입체 안경 착용을 통해 즐기는 콘텐츠이며, 4D 콘텐츠는 모션 체어 및 특수 장비를 사용하여 5 가지 감각에 영향을 미침으로써 사용자에게 몰입감을 선사한다. [0003] 관심도가 증가하고 있는 산업이기 때문에 영화관이나 과학박물관 같은 넓은 장소가 아닌 집에서 4D 콘텐츠를 즐 기는 연구가 진행되고 있다. 일부 회사는 가정용 4D 장치를 제조 및 판매한다. 4D 장치가 발전함에 따라 4D 콘 텐츠도 생성해내야 하는 반면 하나의 4D 영화에 효과를 제작하려면 3명의 전문가가 16 일을 소비해야 하는 많은 시간과 노력이 필요하다. [0004] 4D 효과를 내기 위해 노동력과 시간 같은 많은 자원이 필요하기 때문에, optical flow 및 RANSAC[1], VGG19, YOLO, SoundNet 등의 방법을 통해 영화 모션 효과를 만들려는 시도가 있었다.

 

 

해결하려는 과제

 

4D 영화의 프로그램 스트림을 이용하여 비디오에서 오디오 신호와 주 요 물체의 움직임을 분류하여 4D 효과를 생성하는 4D 영화 이펙트 자동 생성장치를 제공하는데 목적이 있다.

 

 

 

 해결 수단

 

딥러닝 기반의 4D 영화 이펙트 자동 생성장치에 있어서, 엠피이지 프로그램 스트림(MPEG Program Stream)에 포함된 비디오 정보와 오디오 정보를 분류하고, 분 류된 오디오 정보 및 비디오 정보를 각각 입력받는 입력부, 상기 입력된 비디오 정보에 포함된 현재 프레임을 기 구축된 딥러닝 모델에 입력하여 주요 객체를 추출하고, 추출한 객체의 움직임을 추정하여 스케일링 이미지를 생성하고, 생성된 스케일링 이미지를 통해 모션 의차 효과를 도출하는 움직임 추정부, 상기 입력된 오디오 정보 에 윈도잉 기술을 적용하여 일정한 간격으로 데이터를 생성한 다음, 생성된 데이터를 VGG기반의 네트워크에 입 력하여 파형을 분류하는 오디오 분류부, 상기 움직임 추정 모듈을 통해 생성된 플로우 맵과 오디오 분류 모듈을 통해 분류된 오디오 신호를 이용하여 각각 모션 효과와 추가 효과를 획득할 수 있는 4D 영화 이펙트 자동 생성 모델을 생성하는 모델생성부, 그리고 4D 영화 이펙트 자동 생성 모델을 이용하여 4D 영화 이펙트를 자동으로 생 성하는 효과 추출부를 포함한다. [0008] 상기 움직임 추정부는, CNN (Convolutional Neural Network)의 피라미드 형 구조에서 수정된 U 자형 구조에 스 케일링 이미지를 입력하여 주요 객체를 추출하고, 연속적인 비디오 프레임을 이용하여 상기 추출된 객체에 대한 방향 패턴을 추정할 수 있다. [0009] 상기 움직임 추정부는, 상기 추출된 객체의 움직임을 추정하기 위하여 이전 프레임 및 현재 프레임을 이용하여 플로우 맵을 생성하고, 생성된 플로우 맵에 스케일링 계수를 적용하여 생성될 수 있다. [0010] 상기 스케일링 계수는, 0 보다 크고 1 보다 작은 값을 가질 수 있다. [0011] 상기 움직임 추정부는, 색상을 사용하여 객체의 모션 벡터를 시각화한 플로우 맵을 출력하며, 상기 플로우 맵의 색상으로 객체의 모션 방향을 추출할 수 있다. [0012] 상기 오디오 분류부는, 입력 오디오를 일정한 간격으로 프레이밍 된 후 해당 섹션의 윈도우 크기를 결정하고 신 호를 처리한 다음, 짧은 섹션으로 분할 된 오디오 신호의 경우 푸리에 변환(Short-Time Fourier Transform, STFT)을 적용할 수 있다. [0013] 상기 오디오 분류부는, 상기 푸리에 변환 다음에, 인간의 청각 신호 수신 모양과 유사한 비선형 성을 갖는 로그 진폭인 Mel-spectrogram을 이용하여 시각화된 오디오 신호를 분류할 수 있다. [0014] 상기 모델생성부는, 앞뒤(mb), 왼쪽(l), 오른쪽 (r), 위아래(ud) 및 효과 없음(n)으로 구성되는 모션 효과와, 진동(v), 워터젯(wa), 윈드 젯(wi) 및 효과 없음(n)으로 구성되는 추가 효과를 각각 one-hot encoding에 입력하 여 데이터셋을 생성할 수 있다. [0015] 상기 모델생성부는, 효과가 한 프레임이상 지속될 경우, 하나의 효과가 여러 프레임에 걸쳐 발생된다는 것을 전 제하에 데이터를 증감시키며, 프레임에 포함된 모션 효과와 추가효과를 하나의 쌍으로 형성하여 4D 영화 이펙트 자동 생성 모델을 학습시킬 수 있다.

 

 

 

효과

 

각 상황에 대한 one-hot encoding 방법을 이용하여 데이터 세트를 생성하고, 생성 된 데이터 세트를 사용하여 네트워크를 학습시켜 각 상황에 적합한 4D 효과를 만들 수 있다.