🔎 #95. GPT-4 multimodal은 이곳에 적용되었습니다

구독자님, 안녕하세요?
매일 1개의 프롬프트를 배달해드리는 Daily Prompt입니다.

오늘은 GPT-4 multimodal 기능이 적용된 AI, Be my Eyes를 소개합니다.

1. 멀티모달(multimodal)기능이란?

OpenAI에서 GPT-4 소개영상이 공개되었을 때 모두가 주목했던 점은 이미지를 이해하고 답변하는 기능, 즉 멀티모달(multimodal) 기능이었습니다. 예를 들어, 이 이미지에는 무엇이 표현되었는지, 아래 이미지와 같이 사진 속 풍선의 줄이 끊어지면 어떻게 되는지? 라는 대화를 주고받을 수 있는 기능인데요, 텍스트만 이해할 줄 알았던 ChatGPT가 이미지도 이해한다니, 사용자들은 GPT-4가 공개되어 이 기능을 얼른 써볼 수 있게 되길 기대하게 되었습니다.

그러나 GPT-4가 나온지 몇 개월이 지났지만, 여전히 GPT-4의 멀티모달 기능은 개인 사용자가 써볼 수 없습니다. 그동안 유료 사용자 대상으로 플러그인이나 Advanced Data Analysis(구. Code interpreter)라는 Beta 기능의 접근이 가능해졌지만 이는 텍스트와 코드에 초점이 맞추어져 있습니다. 그러던 중에 GPT-4의 멀티모달 기능이 적용된 AI가 등장했습니다.

2. GPT multimodal을 탑재한 Be My Eyes

Be My Eyes는 2015년부터 시각장애인과 자원봉사자를 연결해주고 화상전화를 통해 시각장애인에게 도움을 주는 서비스입니다. 예를 들어, 시각 장애인이 화상전화로 이 근처에 엘리베이터가 어디있는지 알려달라고 요청하면 자원봉사자가 설명해주며 돕습니다. 이 서비스에서 지금까지 시각장애인과 인간 봉사자를 연결했다면, 이제 가상 봉사자 즉 AI 봉사자가 등장하게 되었습니다. 바로 GPT-4의 multimodal 기능입니다. [영상보기]

위 이미지를 보시면 시각장애인이 사진을 찍어 올린 뒤 사진 속 디테일에 대해 알려달라고 요청하자, 가상 봉사자(Virtual volunteer)가 옷의 형태와 컬러를 답변해주고 있는 것을 보실 수 있습니다.

마무리

1) ChatGPT 개인 사용자에게 multimodal 기능을 제공해서 유료구독을 유도할 수도 있었겠지만, 그 대신 이 기능을 가장 필요로 하는 곳에 먼저 제공을 했다는 점이 놀랍습니다.

2) Be My Eyes AI와 같은 서비스는 '사람을 돕는 AI'가 어떤 것인지 잘 보여주고 있습니다.

3) 지난 88일차 소개해드렸던 뇌 임플란트 사례와 마찬가지로, AI가 장애인에게 미치는 영향이 매우 밀접하며, 장애인의 일상생활 범위가 많이 확대될 것으로 보입니다. 앞으로 AI를 사용한 장애인 지원 서비스들도 많이 등장할 것 같습니다.

오늘의 프롬프트는 어떠셨나요? 

문의 및 제안할 점이 있으시면 director@secondbrush.co.kr 연락주세요.

Daily Prompt의 글은 발행인이 직접 구성하고 작성합니다.

감사합니다.