🔎 #460. Runway Frame의 Image to Text 업데이트 (Describe)

안녕하세요?
매일 1개의 프롬프트를 배달해드리는 Daily Prompt입니다.

오늘은 Runway Frame의 'Describe' 기능(Image to Text)를 다룹니다.

이미지에서 텍스트 프롬프트 추출하기

Runway의 이미지 모델 'Frame'에도 Describe 기능이 추가되었습니다. Midjourney의 'Describe' 기능처럼 이미지를 업로드하면 텍스트 프롬프트를 작성해줍니다.

Runway에 접속한 뒤, 아래 붉은색 박스로 표시된 곳에 이미지 파일을 드래그&드랍을 합니다.

업로드한 이미지:

Runway가 써준 프롬프트:

Subject: Spherical water droplets of varying sizes float and spiral in a graceful formation, each droplet perfectly formed and reflecting light. The droplets appear suspended in mid-air, creating a curved, helix-like pattern.

Scene: Set against a vibrant turquoise background that transitions to a darker base with soft orange bokeh lights scattered in the lower portion. The environment suggests an indoor studio setting with controlled lighting conditions.

Style: Macro photography captures crystalline clarity and liquid refraction with exceptional detail. Sharp focus on water droplets contrasts with intentionally blurred background elements. Natural light interacts with water creating golden highlights and transparent reflections. Macro detail, liquid dynamics, selective focus, high contrast, minimalist composition.

1️⃣ Runway가 써준 프롬프트로 영상 생성하기

Describe를 한 뒤, 상단의 Video를 클릭하면, Runway가 써준 프롬프트를 사용해 영상을 바로 생성할 수 있습니다.

생성 결과:

2️⃣ 생성된 프롬프트 사용 + Style 지정 + Keyframe 지정

업로드한 이미지를 다음과 같이 Style에도 드래그&드랍을 해서 Style로 지정한 뒤,

Runway가 써준 프롬프트를 입력하여 새로운 이미지를 생성해보았습니다. 다음과 같이 4장의 이미지가 생성되었습니다.

반복해서 아래와 같이 또다른 이미지를 만들어낼 수 있습니다.

생성된 이미지를 Keyframe 이미지로 활용하여 영상을 생성해보았습니다. 먼저 아래와 같이 Video 탭을 클릭한 뒤, 'Turbo' 모델을 선택하면 Keyframe을 추가할 수 있습니다.

앞서 생성된 이미지들을 Keyframe으로 활용하여 아래와 같이 영상을 생성할 수 있었습니다.

마무리

1. 커스텀 Style 지정: Frame의 Style도 새롭게 업데이트된 기능인데요, 이미지 한 장으로 스타일 지정을 할 수 있습니다. Midjourney의 스타일 레퍼런스(Style reference)와 유사합니다.
2. 효율적인 영상 생성 과정 그러나: 1️⃣번에서 실험한 대로 이미지->텍스트->영상으로 하는 방법이 영상 생성을 위한 프롬프트 작성 및 생성에 효율적이지만 기대 이하의 결과물이 나오기도 합니다.

업로드한 이미지:

위 이미지에서 추출된 텍스트로 영상을 생성한 결과:

따라서, 2️⃣의 방식을 사용하면 조금 더 예측 가능한 영상을 생성하실 수 있습니다.

3. Midjourney의 영상 생성이 기대됨: 2️⃣~3️⃣번 방식대로 이미지를 생성하고 곧바로 영상 생성으로 이어지는 게 참 편리하게 느껴졌는데요, Midjourney에도 얼른 영상 생성 기능이 업데이트 되면 좋겠습니다. Midjourney는 2주 뒤 V7으로 업데이트 된다고 하는데, 과연 영상 생성이 추가될 지 기대가 됩니다.

오늘의 Midjourney Prompt & Music

아래 Midjourney 이미지를 음악과 함께 감상해보세요:)

Neon Dreams

0:00

/240.024

1×

프롬프트 (by @jae_hong__an) :