🔎 #441. Meshcapade와 Runway를 활용해 춤추는 영상 만드는 법

안녕하세요?
매일 1개의 프롬프트를 배달해드리는 Daily Prompt입니다.

오늘은 Meshcapade와 Runway를 활용해 춤추는 영상 만드는 법을 다룹니다.

AI로 틱톡에 있을 법한 댄스 영상 만들기

Meshcapade에서는 영상을 업로드한 뒤, 다각도로 볼 수 있는 3D 애니메이션 영상을 생성하는 것이 가능합니다. 이렇게 생성된 3D 애니메이션 영상을 Runway에서 Video to Video(영상을 업로드하여 영상을 생성하는 방법) 기능을 사용해 댄스 영상을 만들어보았습니다.

1️⃣ Meshcapade에서 3D 휴먼 애니메이션 영상 받기

Meshcapade 페이지의 왼쪽 사이드에서 'Videos'를 클릭하시면 아래와 같이 영상을 업로드하여 3D 휴먼 애니메이션 영상을 생성할 수 있습니다.

위 페이지에서 샘플 영상을 사용해보겠습니다. 샘플 영상을 클릭한 뒤 아래와 같은 페이지에서 'Create avatar'를 클릭합니다.

잠시 뒤 왼쪽 메뉴 'Vault'를 클릭하시면 3D로 변환된 영상을 확인하실 수 있습니다.

Open in editor를 클릭하면 성별/키/몸무게 등을 설정할 수 있습니다. 의상을 선택할 수는 있지만, 다양하지는 않습니다. 어차피 Runway에서 변환할 것이므로 의상은 크게 문제되지 않습니다.

인물 설정을 마쳤다면 Download>Download video를 클릭하여 영상을 다운로드 받습니다.

다운로드 한 영상 보기:

2️⃣ Runway에서 Video to Video 생성하기

Runway로 이동하여 Meshcapade에서 다운로드 받은 영상을 업로드하고, 프롬프트를 입력하여 영상을 생성합니다.

오늘의 프롬프트:

Runway 영상 생성 전후 비교하기:

마무리

1. 영상만으로 3D 영상 생성: Meshcapade의 놀라운 점은 인물의 앞모습만 찍은 영상이더라도 뒷모습까지 온전한 3D 영상이 나온다는 점입니다.

또한 여러 인물이 등장하는 영상도 3D 변환을 지원합니다.

2. 카메라 컨트롤이 용이: Meshcapade에서 뒷모습이 보이도록 영상을 만들고(화면녹화), Runway에서 생성하면, 뒷모습이 나오는 영상을 만들 수 있습니다. 영상에서 보실 수 있듯 얼굴이 뒷통수에 달려있는(...) 구간이 나오기도 합니다. 이러한 오류는 있지만 3D 에디터에서 카메라 각도나 위치를 원하는 대로 지정하고 이를 기반으로 영상을 생성할 수 있다는 점이 가장 큰 장점입니다. 텍스트 프롬프트로 카메라를 컨트롤하기가 쉽지 않기 때문에 오늘 실험한 방법을 AI 영상 제작단계에서 함께 활용해봐도 좋을 것 같습니다.

3. 동일한 인물 영상 생성은 안될까?: 오늘 실험한 방법에서는 영상을 생성할 때마다 새로운 인물이 만들어지므로, 인물을 일관적으로 생성하기는 어렵습니다. 인물을 학습하고, 학습된 데이터 기반으로 영상을 생성한다면 동일한 인물이 등장하는 영상을 만들 수 있게 될 것입니다. 또는 Runway에서 생성된 영상에 Face swap을 적용해 얼굴만 원하는 얼굴로 대치시키는 방법도 가능합니다.

오늘의 Midjourney Prompt & Music

아래 Midjourney 이미지를 음악과 함께 감상해보세요:)

Flower

0:00

/240.024

1×

프롬프트 (by @jae_hong__an) :