🔎 #673. Runway, Gen-4.5의 장점은?

안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.

오늘은 Runway Gen-4.5를 다룹니다.

Runway Gen-4.5

Runway의 영상 생성 모델 Gen-4.5가 업데이트 되었습니다. Gen-4.5 모델 자체는 지난해 12월에 출시되었지만 이 때는 '텍스트에서 영상 생성'만 되었고, Kling의 업데이트 소식에 밀려 다루지 못했는데요, 이제 '이미지에서 영상 생성'도 가능하여 뉴스레터로 다뤄봅니다.

Runway 로그인 후, 메인 화면의 Models 아래 Gen-4.5를 클릭합니다.

아래 붉은색 박스로 표시한 곳에 이미지를 업로드하여 영상을 생성합니다. 대부분 이미지는 Midjourney에서 생성한 후, Runway에 업로드하여 영상을 생성합니다.

직접 생성하며 실험해 봤을 때, '현실적인 장면'에서 강점을 보입니다. 즉, 영화에 있을 법한 장면을 사실적으로 만들어줍니다. 아래 영상들은 모두 뉴스레터 크루인 재홍님이 Gen-4.5로 생성한 영상들입니다.

피사체와 거리가 먼 장면일 경우, 피사체가 뭉개지는 현상도 많이 줄었습니다.

클로즈업 샷도 많이 개선되었습니다. 가장 어려워하는 장면이 바로 수영하는 장면이었는데요, 보다 현실적으로 보이게끔, 많이 개선되었습니다. 업데이트 전에는 제자리에서 허우적대거나, 팔이 사라지는등(?) 생성 난이도가 매우 높은 장면이었습니다.

그 외 현실적이지 않은 장면(촬영하지 않은 장면)은 다음과 같이 생성되었습니다.

마무리

1. Gen-4.5에서 직접 영상을 생성해보니, 영화, 광고, 게임 시네마틱 등 어디선가 본 것 같은 장면을 잘 생성해줍니다. 영화나 시네마틱 영상을 많이 학습한 듯 합니다.
2. Gen-4.5에 이미지를 업로드했을 때 피사체의 일관성이 잘 유지되는 편입니다(Runway 이전 모델과 비교했을 때). 아쉬운 점은 피사체의 움직이는 속도가 슬로우 모션을 걸어놓은 것처럼 느리다는 것인데요, 따라서 이 경우 편집 단계에서 1.5배속이든, 2배속이든 빠른 배속 적용을 하는 것이 필요합니다.
3. 이미지를 업로드한 뒤, 하단에 텍스트 프롬프트를 함께 입력할 수 있는데요, 텍스트 프롬프트 입력이 필수적이지는 않습니다. 이미지와 달리, 텍스트 프롬프트가 무조건적으로 영상 생성에 반영되지는 않기 때문입니다. 위 영상들도 텍스트 프롬프트 없이 이미지만으로 생성되었습니다. 따라서 영상 생성에 있어서 무엇보다도 영상의 첫 프레임 이미지를 잘 만들어야, 영상 생성의 결과물도 좋습니다.
4. <데일리 프롬프트>를 오래 구독한 분은 이미 잘 아시겠지만, 이미지와 영상 생성의 기본기를 다지고 싶은 분은 영상 생성의 교과서와 같은 <AI 영상> 책을 추천드립니다. 오늘 위 영상을 모두 생성하고 Runway 파트너(CPP)인 재홍님이 쓴 책이기도 합니다(호호)

오늘의 Midjourney Prompt & Music

아래 Midjourney 이미지를 음악과 함께 감상해보세요:)

Wind

0:00

/133.039979

1×

프롬프트 (by @jae_hong__an) :

1st person view, wool gloves in a child’s hands, snowy sledding hill, dusk twilight, amber floodlights and icy blue shadows, breath mist in cold air, sled tracks leading lines, shallow depth of field, 35mm film feel, soft bokeh crowd, drifting snow dust, wool fiber texture, cinematic framing, gentle stillness --ar 4:3 --raw

Image to Video 결과(Runway Gen-4.5):