TalkingFaceGeneration (2) 썸네일형 리스트형 아바타를 만드는 AI 기술 : Talking Face Generation 기술의 종류 5가지를 알아보자 AI아나운서, AI윤석열 등 AI를 이용하여 아바타를 만드는 기술에 대한 관심도가 최근에 부쩍 높아진 것을 느끼고 있는데요. 그래서 현재 연구개발분야이기도 한 AI 휴먼 생성 기술의 종류 중 하나인 Talking Face Generation가 무엇인지 그리고 기술의 종류를 어떻게 나눌 수 있을지에 대해 글을 한번써보려고 합니다. Talking Face Generation이란? 영상과 음성 등의 멀티모달 데이터를 입력으로 말하는 얼굴 동영상을 생성하는 기술로, 전처리로 여러가지 인식 기술도 필요하기 때문에 컴퓨터비전 분야와 음성/자연어 분야 등에 대한 폭넓은 이해가 필요한 기술입니다. 국내에서는 딥브레인, 마인즈랩 두곳이 상용화 서비스를 시작했고 그 품질 또한 상당히 훌륭합니다. 최근에 스마트테크코리아라는.. LipSync3D: Data-Efficient Learning of Personalized 3D Talking Faces fromVideo using Pose and Lighting Normalization 요즘 눈여겨 보는 분야인 Talking Face Generation. 그리고 역시 컴비쪽 논문은 최신 CVPR 논문부터 찾게 된다. 그래서 발견한 보물같은 논문인 LipSync3D라는 논문에 대해 리뷰해보려고 한다. 저자(연구기관) : Avisek Lahiri 등 (Google Research / Indian Institute of Technology Kharagpur) 개요 : 오디오 데이터에 align된 3D 얼굴 랜드마크와 2D 텍스쳐를 생성하여 Talking Face 생성 1) 학습용 비디오로부터 오디오 채널을 추출한 후 frequency 도메인의 spectrogram(STFT)으로 변환 2) 학습용 비디오의 한 프레임을 reference 프레임으로 선택하고, reference coordinate.. 이전 1 다음
