🔎 #654. 시(詩)에서 영상 생성하기

Published on: 2025.12.11

안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.

오늘은 시(詩)에서 영상 생성하기를 다룹니다.

시(詩)에서 영상 생성하기

지난 12월 7일(일) 불광천미디어센터에서 열린 AI 영상 생성 해커톤 '프롬프트 투 모션(Prompt to Motion)'에서 2등상을 받았습니다. 어떤 방식으로 작업했는지 뉴스레터를 통해 공유드립니다 :)

해커톤 당일 주제가 발표되었습니다. 서울 은평구와 관련된 키워드, 그리고 AI와 관련된 키워드 중 하나를 골라야 했습니다. 저는 여기서 '기와'와 '초실재'를 골랐습니다.

그 이유는... 주제가 공개되기 전, 해커톤 결과물이 전시될 불광천 미디어 브릿지를 참가자들과 함께 답사를 했는데요, 이 때 다리 위 풍경을 보고 영감을 받아 이와 같은 주제를 골랐답니다.

다리 위에는 지나가는 사람들 외에도 앉아서 쉬는 어르신들뿐만 아니라 자고 있는 비둘기도 있었습니다.

앉아있는 어르신들을 보면서 왜 여기 계속 머무르실까, 어떤 이유일까 상상하다가 다리 너머 복개천에 묻힌 꿈을 그리워해서 그렇지 않을까, 하는 생각이 들었습니다. 이러한 생각으로 먼저 시를 썼습니다.

Still Dreams

사람들이 바쁘게 오고가는 다리 위
사람들이 쌓인다.
머리 위로 넝쿨잎이 뻗어 있고, 비둘기도 하나둘 모여 잠에 묻히는 곳
흘러가는 사람들 사이에 고인 생각들이
흐르지 못한 꿈처럼 앉아 있다.

오래 전 저 다리 너머로 내(川)가 흘렀다는데
지금은 떠나보낸 꿈들만 층층이 쌓였다.

당신은 어떤 꿈을 그리며 이곳에 고여있을까
꾸벅 조는 비둘기가 대신 꿈을 꾸고 있진 않을까
그렇다면 당신의 꿈은 흐르는 대신 하늘을 날고 있겠지

그런 이야기가 흐른다.
한 때 저 다리 너머 떠나보낸 꿈이 묻혀있었다는 이야기
강물처럼 흐르다 하늘 어딘가를 비행하고 있다는 이야기

그리고 위 시 구절을 챗GPT에게 주고 Midjourney Prompt로 만들어 달라고 요청합니다.

오늘의 프롬프트:

아래 시 구절을 미드저니 프롬프트화 시켜줘
1.사람들이 바쁘게 오고가는 다리 위 사람들이 쌓인다.
2. 머리 위로 넝쿨잎이 뻗어 있고, 비둘기도 하나둘 모여 잠에 묻히는 곳
3. 흘러가는 사람들 사이에 고인 생각들이 흐르지 못한 꿈처럼 앉아 있다.
4. 오래 전 저 다리 너머로 내가 흘렀다는데 지금은 떠나보낸 꿈들만 층층이 쌓였다.
5. 당신은 어떤 꿈을 그리며 이곳에 고여있을까 꾸벅 조는 비둘기가 대신 꿈을 꾸고 있진 않을까
6. 그렇다면 당신의 꿈은 흐르는 대신 하늘을 날고 있겠지
7. 그런 이야기가 흐른다. 한 때 저 다리 너머 떠나보낸 꿈이 묻혀있었다는 이야기 강물처럼 흐르다 하늘 어딘가를 비행하고 있다는 이야기가 흐른다.

오늘의 프롬프트 입력 결과(GPT-5.1 Thinking):

챗GPT가 만들어준 프롬프트를 Midjourney에 입력하여 이미지를 생성하고, 그 중에서 골라 영상을 생성합니다. 분위기와 스타일은 Moodboard 기능을 활용하거나 스타일 레퍼런스 기능을 적극 활용합니다.

Midjourney 스타일 레퍼런스 관련하여 아래 590회차를 참고하시면 됩니다.

마무리

Midjourney에서 영상을 생성하면 5초 정도의 클립이 생성되는데요, 이를 extend 기능으로 길이를 늘리기 보다는 다양한 클립을 생성하고 프리미어와 같은 영상 편집 프로그램에서 이어붙여 마무리합니다. 아직 전시되지 않은 영상이어서 결과물은 추후 공유드릴 수 있을 것 같습니다. 그 전에 과정을 구독자님과 함께 나누어봅니다.
이와 같은 방식으로 했을 때 장점은 프롬프트에 저작권을 주장할 수 있다는 점입니다. 챗GPT가 써준 것 아니냐? 할 수 있기 때문에 결과물이 나오기 전 과정에 꼭 종이에 글을 쓴다던지, 러프 스케치하는 과정을 반드시 거치곤 합니다.
저와 크루 재홍님은 텍스트 프롬프트 자체에는 별도의 저작권이 있다고 보기 어렵다고 생각합니다. 구조가 이미 정해져 있고, 그 구조 안에서라면 누구나 비슷한 방식으로 작성할 수 있기 때문입니다. 그래서 매일 뉴스레터 하단에 Midjourney 프롬프트를 함께 공개해 오기도 했습니다.
하지만 오늘처럼 제가 직접 쓴 시를 그대로 프롬프트로 사용하는 방식이라면 이야기가 달라집니다. 이 경우 프롬프트는 단순한 형식이 아니라 온전한 창작물이기 때문에, 그 텍스트에 대해서는 제가 저작권을 주장할 수 있다고 생각합니다.
직접 쓴 시에서 AI 영상 생성이라니, 조금 새로운 방법으로 느껴지시나요? 이러한 방식을 쓴 이유는, 바로 제가 '쓰는 사람'이라는 아이덴티티가 강하기 때문입니다. 자신이 잘하는 것을 기반으로 영역을 확장해주는 것, 이것이 생성형 AI의 가장 큰 장점입니다.

Sponsored