🔎 #848. 판단만 하는 AI가 주목받는 이유(Jev와 Decisions API)

안녕하세요?
매일 사람이 쓰는 뉴스레터 Daily Prompt입니다.

오늘은 Jev와 OpenAI Decisions API가 주목받는 이유를 살펴봅니다.

판단만 하는 AI가 주목받는 이유(Jev와 Decisions API)

최근 개발자들 사이에서 Jev라는 AI 모델이 주목받고 있습니다. 관련하여, OpenAI도 9월 29일(한국시간 9월 30일 새벽) DevDay에서 Decisions API를 발표했습니다.

Jev는 쉽게 말해, 상황을 읽고 정해진 선택지에서 답을 고르는 AI입니다. 메일이라면 답장을 쓰지 않아도 되는 메일을 먼저 골라내어, 사용자가 메일을 하나씩 확인하는 시간을 줄이고, 답장이 필요한 메일에만 집중하면 됩니다. 오늘은 이처럼 화제가 되는 Jev와 에이전트가 일하는 방식을 비교해보겠습니다.

에이전트는 한 번의 요청 안에서도 여러 번 판단합니다

예를 들어 AI에게 '받은 메일을 확인하고 일정을 정리해줘'라고 맡겼다고 해보겠습니다. AI는 어떤 메일을 열지, 답장이 필요한지, 캘린더를 확인해야 하는지, 작업을 마쳤는지 여러 번 판단해야 합니다. 이 가운데 사람에게 보여줄 문장을 쓰는 일은 일부입니다.

각 판단마다 모델의 응답을 기다리면, 그 대기 시간이 전체 작업에 쌓입니다. 한 번의 요청은 짧아도 수많은 고객 문의를 분류하거나 게임에서 계속 다음 행동을 고르는 상황에서는 속도와 비용이 중요해집니다.

Jev는 판단을 한 번 할 때 드는 비용을 낮춥니다

기존 LLM도 구조화된 출력으로 정해진 선택지 안의 답을 반환할 수 있습니다. Jev가 주목받은 이유는 AI 분류가 처음 가능해져서가 아니라, 반복 판단을 더 자주 소프트웨어 안에 넣을 수 있다는 가능성을 보여줬기 때문입니다. 개발자가 키워드 규칙을 하나씩 적기 어려운 자리에도, 문맥을 읽는 판단을 낮은 비용으로 호출할 수 있게 되는 것이죠.

Jev의 기본 기능은 선택지 고르기, 정해진 척도에서 점수 매기기, 참인지 확률로 답하기인데요, 즉 프로그램이 바로 쓸 수 있는 값과 확률을 반환합니다. 따라서 자주 반복되는 작은 판단을 빠르게, 그리고 낮은 비용으로 처리할 수 있습니다. Vercel의 도입 안내에서도 회사 자체 워크플로 평가의 최대 193.6배 빠른 속도와 444.6배 낮은 비용을 소개했습니다.

Jev로 만든 사례: 메일 분류부터 실시간 게임까지

• 메일 1,000건을 약 1분에 분류하는 Jevmail: Fazle Rahman이 공개한 Jevmail은 Gmail 메일을 '답장 필요', '업데이트', '프로모션', '영업', '스팸'으로 나눕니다.
• 초당 약 10번 판단하며 DOOM 플레이하기: DOOM 데모에서는 게임 상태를 전달하고 사격, 이동 등의 판단을 계속 요청합니다. 아래는 공식 영상의 첫 35초입니다. 오른쪽에는 각 판단의 선택지와 확률이 표시됩니다.

OpenAI도 반복 판단을 위한 Decisions API를 발표했습니다

Decisions API도 질문과 정해진 답 목록, 상황을 설명하는 데이터를 전달하면 Luna가 답을 고르는 방식입니다. 텍스트 입력을 받는 Jev와 달리 이미지도 입력할 수 있습니다. OpenAI는 콘텐츠 분류, 요청 전달, 에이전트의 다음 행동 선택을 용도로 제시했습니다. 다만, OpenAI는 발표 당시 Decisions API를 일부 개발자에게 제한된 프리뷰로 제공했습니다.

마무리

1. Jev가 주목받은 이유는 쉽게 말해 작은 판단 하나를 처리하는 데 드는 시간과 비용을 줄이기 때문입니다. 메일이 들어올 때마다 분류하거나 에이전트가 다음 행동을 고를 때마다 판단을 요청하는 작업에서는 이 차이가 계속 쌓입니다. 판단이 저렴해지면 AI를 쓰는 빈도와 범위가 달라질 수 있습니다.
2. 843회에서 개인 비서 AI dots를 소개드렸는데요. 이런 개인 비서에 Jev가 연결된다면, 편의점이나 올리브영에 들어갔을 때 내가 가진 카드 중 어느 카드가 할인이나 포인트 적립에 유리한지 알려주는 기능도 생각해볼 수 있습니다. 최신 카드 혜택과 이용 조건을 연결해두고, Jev가 구매 상황에 적용되는 조건을 판단하면 할인액은 프로그램이 계산하는 식입니다.
3. 가격이 더 저렴한 것, 거리가 더 가까운 것, 더 최신인 것처럼 우선순위가 비교적 명확한 일부터 맡기면, 사람이 일일이 찾아보고 비교하는 수고를 줄일 수 있겠지요. 이런 작은 판단을 낮은 비용으로 처리할 수 있게 되면, 개인 비서가 일상에서 도와줄 일도 많아질 것 같습니다.

오늘의 Midjourney Prompt & Music

아래 Midjourney 이미지를 음악과 함께 감상해보세요:)

Garden Beneath Two Suns

0:00

/193.2

1×

프롬프트 (by @jae_hong__an) :