Replies: 6 comments
1. Jev는 어떤 AI 모델이며, 기존 LLM과 비교했을 때 어떤 특징과 차이점이 있나요?Jev는 일반적인 LLM처럼 문장을 생성하는 데 초점을 둔 모델이 아니라, 주어진 정보를 바탕으로 빠르게 판단을 내리는 데 초점을 둔 AI 모델입니다.
2. Jev에서 이야기하는 System One Model이란 무엇이며, 기존 생성형 AI의 접근 방식과 어떤 차이가 있나요?System One이라는 이름은 Daniel Kahneman의 System 1 / System 2 사고 구분에서 영감을 받았습니다. System 1은 빠르고 직관적인 판단, System 2는 상대적으로 느리고 숙고하는 사고를 의미합니다. TypeSafe는 여기서 아이디어를 가져와 Jev를 빠른 판단을 담당하는 System One Model이라고 부릅니다. 즉 모든 작업에서 거대한 LLM이 생각하게 하지 않고, 단순하지만 반복적으로 많이 발생하는 판단은 Jev 같은 모델에 맡기자는 접근입니다. Jev는 이를 위해 LLM의 문자열 생성 대신 미리 정의된 타입의 결과와 확률·confidence를 반환하도록 설계됐습니다. 또한 여러 질문에 대한 출력을 순차적으로 문장 생성하는 대신 병렬적으로 처리하는 접근을 사용합니다.
3. Jev는 실제 AI Agent 시스템에서 어떤 역할로 활용될 수 있으며, 기존 LLM과 어떻게 함께 사용할 수 있을까요?AI Agent에서는 생각보다 작은 판단을 반복적으로 내려야 하는 상황이 많습니다. 위 예시처럼 Jev는 Agent에서 라우팅, 분류, 점수화, 필터링, 특정 행동을 실행할지 말지 결정하는 gate 같은 부분에 활용할 수 있습니다. TypeSafe 역시 Jev를 사람이 읽는 챗봇보다는 소프트웨어 자동화를 위한 판단 계층으로 설명하고 있습니다. 복잡한 추론이나 최종 자연어 답변 생성은 기존 LLM이 담당하도록 하여 함께 활용한다면 더욱 효율적인 AI Agent를 사용하실 수 있습니다. 요약“기존 LLM이 사람과 대화하고 콘텐츠를 생성하는 데 강점이 있다면, Jev는 소프트웨어 내부에서 빠르고 구조화된 판단을 내리는 데 초점을 둔 System One Model입니다. 따라서 AI Agent에서 Jev가 분류나 라우팅 같은 빠른 판단을 담당하고, 필요한 경우 LLM이 복잡한 추론과 자연어 생성을 담당하는 방식으로 함께 활용할 수 있습니다.” 주의할 점TypeSafe가 Jev에 대해 “can't hallucinate”, “zero hallucinations”라고 표현하는 것은 자유 텍스트를 생성하지 않고 출력 타입이 제한되어 있다는 제품 측 설명의 맥락으로 이해해야 합니다. Jev의 판단 자체가 항상 정답이라는 뜻은 아닙니다. TypeSafe도 확률과 confidence를 이용해 불확실성이 높을 때 별도 검토로 넘기는 방식을 설명하고 있습니다. |
1. Jev는 어떤 AI 모델이며, 기존 LLM과 비교했을 때 어떤 특징과 차이점이 있나요?Jev는 TypeSafe ai가 2026에 공개한 첫번째 System one모델로, 소프트웨어가 바로 사용할 수 있는 빠르고 구조화된 결정을 내리도록 설걔된 새로운 부류의 프론티어 모델이다. Jev는 한번에 한 토큰씩 텍스트를 생성하는 대신, 구조화되지 않은 상태를 입력 받아 보정된 확률과 함께 타입이 지정된 결정을 병렬로 반환한다. 텍스트를 아예 생성하지 않는다. 프로그램 상태와 타입이 지정된 질문들을 보내면 한번의 병렬 처리로 70 2. Jev에서 이야기하는 System One Model이란 무엇이며, 기존 생성형 AI의 접근 방식과 어떤 차이가 있나요?심리학자 카너먼은 인간의 뇌가 두가지 방식으로 사고한다고 설명했다. System1은 빠르고 자동적이며 노력이 들지 않는 사고이고, System2는 느리고 신중하며 노력이 필요한 단계적 사고이다. 이 구분을 모델 설계에 적용하여, System One모델은 상태를 평가해 타입이 지정된 답변과 확률을 반환하며, 보정된 결정을 위해 강화학습으로 훈련된다. 애플리케이션 코드는 매 결정마다 전체 채팅 LLM호출 없이 이 결과를 바탕으로 에이전트의 다음 행동을 결정한다. 또한 요청에 포함된 모든 질문을 병렬로 평가하기 때문에 질문을 추가해도 응답 시간은 거의 변하지 않고, 비용도 추가 질문의 토큰 만큼만 늘어나 저렴하다. Jev는 산문을 생성하지 않으므로, 서면 인시던트 업데이트 같은 것은 생성형 모델을 쓰고 증거와 승인된 결정은 별도로 제공해야 한다. 3. Jev는 실제 AI Agent 시스템에서 어떤 역할로 활용될 수 있으며, 기존 LLM과 어떻게 함께 사용할 수 있을까요?
|
1. Jev는 어떤 AI 모델이며, 기존 LLM과 비교했을 때 어떤 특징과 차이점이 있나요?llm 과 jev 는 입출력 과정에서 차이가 난다 입력 : "엔샵이 무슨 동아리인지 알려줘"
-> tokenization : ["엔샵이", "무슨", "동아리", "인지", "알려줘"]
-> embedding : 각 토큰을 vector 로 변환
-> transformer layers : 문장의 의미/context를 내부 representation으로 계산
-> 다음 token의 확률 계산
-> 다음 token 하나 생성
이 과정을 계속 반복함. cache 가 있어서 연산량이 계속 늘어나지는 않음
최종 문자열이 나오면 뱉음이렇게 cache 를 사용해서 출력토큰을 결정한다고 하지만 여전히 반복적인 연산을 통해 결과를 출력한다는 점을 jev가 해결해보고자 한 것이다. jev는 llm과 다르게 다음 토큰을 하나씩 순차적으로 계산하지 않는다. choices에 대한 확률을 한꺼번에 계산한다. 하지만 choices 에 대한 판단만 이루어지는 것이기 때문에 어떤 결과물을 만들어내지는 못한다는 것에 차이가 있다. 2. Jev에서 이야기하는 System One Model이란 무엇이며, 기존 생성형 AI의 접근 방식과 어떤 차이가 있나요?system one model : 긴 추론-문장 생성보다 빠른 판단과 확률 출력에 특화된 모델을 의미함. 1번 질문에서 생성형 ai와 jev의 특징 비교를 했는데, 접근 방식이 차이가 난다기 보다는, 차이가 안난다는건 아닌데, 이게 결국 llm이 더 큰 범위를 가지고 있음. 입력 토큰에 대해서, embedding 하고, transformer 방식으로 내부 representation 으로 계산하는 것. 이 부분은 jev도 유사한 과정을 거칠 필요가 있다. 다만 llm은 결과물을 생성하고 jev는 확률을 생성한다는 부분에서 접근 방식이 달라지는 것임. 결국 llm이 먼저 나온 시점에서 jev는 아류에 불과하다고 생각하긴함. 물론 이런 접근 방식 자체는 좋은 접근방식이 될 수 있음. 토큰 효율성을 향상시킬 수 있다거나..? 그런점에서? 3. Jev는 실제 AI Agent 시스템에서 어떤 역할로 활용될 수 있으며, 기존 LLM과 어떻게 함께 사용할 수 있을까요?예시를 간단히 들어보자면, 물론 현재 agent도 각각의 agent 마다의 토큰 효율성을 위해 내부적으로 어떠한 방식을 통해, 생성 모델을 입력 토큰에 따라 가벼운 걸 쓴다던지, 하는 각자만의 방식을 가지고 있을 것이다. jev는 이런 llm 사용방식에 대해서 choices : (문서작업, 코딩, 이미지, 간단한 질문)... 뭐 이런식으로?
choices를 제시하면 jev는 입력 토큰에 따라 확률을 생성한다
문서작업 : 5
코딩 : 3
이미지 : 6
간단한질문 : 89
이런식으로 확률을 생성할 텐데, 간단한 질문일 확률이 높으므로 낮은 성능의 모델을 쓴다던지,,
컴퓨팅 파워를 더 효율적으로 쓸 수 있다거나 하는 방식이 있다. |
1. Jev는 어떤 AI 모델이며, 기존 LLM과 비교했을 때 어떤 특징과 차이점이 있나요?→ Jev는 TypeSafe AI가 만든 모델로 텍스트를 생성하는 기존 LLM과 달리 자연어 텍스트를 생성하지 않고 프로그램 상태를 입력받아 타입이 정해진 확률적 결정을 반환하는 구조입니다. 기존 LLM이 한 토큰씩 순차적으로 텍스트를 생성하는 것과 달리 Jev는 정형화된 입력을 받아 병렬로 타입이 제한된 결정을 계산해 돌려줍니다. 2. Jev에서 이야기하는 System One Model이란 무엇이며, 기존 생성형 AI의 접근 방식과 어떤 차이가 있나요?→ System One Model은 Daniel Kahneman의 시스템 개념에서 이름을 따온 모델 분류로 텍스트를 전혀 작성하지 않고 소프트웨어가 바로 활용할 수 있는 빠른 판단만을 내리는 모델군입니다. 3. Jev는 실제 AI Agent 시스템에서 어떤 역할로 활용될 수 있으며, 기존 LLM과 어떻게 함께 사용할 수 있을까요?→ 에이전트 파이프라인에서 모델 라우팅처럼 요청 난이도를 판단해 적절한 모델로 분기하는 역할이나 위험한 액션을 실행하기 전에 검증하는 역할로 쓰일 수 있습니다. 모르는 필드를 추출하거나 복잡한 개체 관계를 다뤄야 할 때는 생성형 모델을 먼저 쓰고 Jev를 검증기나 라우터로 붙이는 방식이 권장됩니다. 즉 전체 워크플로우를 Jev로 대체하는 게 아니라 LLM이 생성한 결과나 다음 행동을 Jev가 빠르게 검증·분기하는 보조 판단기로 결합하는 형태가 실용적입니다. |
기본 질문1. Jev는 어떤 AI 모델이며, 기존 LLM과 비교했을 때 어떤 특징과 차이점이 있나요?Jev는 구조화된 판단을 하는 AI 모델입니다. 기존 LLM은 질문에 대해 문자로 응답을 뱉어내지만 Jev는 질문에 대해 선택과 신뢰도 점수만을 뱉어냅니다. 이런 차이로 자연어 입력은 이해하지만 답변으로 텍스트를 써내려가지 않기 때문에 비용 부담이 극도로 낮습니다. 또한 단어를 토큰 단위로 순차적으로 생성하지 않기 때문에 여러 질문에 대해 병렬적으로 처리가 가능해 응답 속도가 빠릅니다. 하지만 선택과 신뢰도 점수를 뱉어내는 구조적 특성 때문에 3가지 기본 질의 형태 Choice, Score, Noul을 가집니다. Choice는 여러 후보지 중 최선의 옵션과 신뢰도 점수를 반환하고, Score는 단계별 척도에 따른 점수 및 분포 반환, Noul은 해당 조건이 참일 확률을 0과 1 사이의 숫자로 반환합니다. 2. Jev에서 이야기하는 System One Model이란 무엇이며, 기존 생성형 AI의 접근 방식과 어떤 차이가 있나요?Jev에서 이야기하는 System One Model은 다니엘 카너먼의 저서에서의 인간의 뇌가 의사결정을 내릴 때 두 가지 시스템을 사용한다는 이론을 AI에 적용한 것입니다. 인간의 의사결정에서는 즉각적인 판단의 시스템 1, 논리적인 생각을 시스템 2로 구분을 짓습니다. 이를 AI에 그대로 적용해 기존의 LLM은 System Two Model이라고 보면서 Jev는 System One Model로 보는 것입니다. 기존의 LLM은 사람 중심의 접근으로 사람이 읽고 대화하기 편한 모델이라면 Jev는 시스템 중심의 접근으로 구조화된 판단 출력으로 소프트웨어 코드에서 소비하기 좋은 형태의 모델입니다. 3. Jev는 실제 AI Agent 시스템에서 어떤 역할로 활용될 수 있으며, 기존 LLM과 어떻게 함께 사용할 수 있을까요?Jev의 AI Agent 시스템에서의 역할은 내부에서 빠른 판단을 LLM에게 맡기는 것이 아닌 Jev가 담당해 비용 절감, 속도 상승에 기여합니다. 이를 적용하기 위한 핵심 4가지 역할은 에이전트 가드레일/보안 검증, 동적 루프 제어, 지능형 라우팅, 환각 및 인용 검증입니다. 에이전트 가드레일/보안 검증의 역할은 에이전트가 외부 도구를 호출하기 전 안전한 행동 인지 사전 검사를 Jev가 수행합니다. 동적 루프 제어는 에이전트가 정보 검색→정보 분석→필요 시 정보 재검색의 루프를 반복하며 작동합니다. 이때 루프를 더 돌릴지 말지를 Jev가 판단합니다. 지능형 라우팅은 AI Agent 시스템에서는 각자의 전문 에이전트가 존재합니다. 이때 사용자의 요청에 대해서 어떤 전문 에이전트가 적합한지를 Jev가 판단해 라우팅합니다. 마지막으로 환각 및 인용 검증은 LLM이 생성한 결과물이나 참고 문서가 실제 출처 내용과 일치하는지를 판단하여 LLM의 환각을 방지합니다. 이런 식으로 기존의 에이전트에서 중간 중간 Jev가 끼어들어가 LLM과 상호작용하며 에이전트 시스템을 작동합니다. |
1. Jev는 어떤 AI 모델이며, 기존 LLM과 비교했을 때 어떤 특징과 차이점이 있나요?Jev는 샌프란시스코 스타트업 TypeSafe AI가 만든 독점 AI모델이다. TypeSafe는 Jev를 "System One Model"이라는 새 범주의 첫 모델로 소개한다. 이름은 카너만이 말한 빠르고 직관적인 '시스템 1'사고에서 따온 것이다.
2. Jev에서 이야기하는 System One Model이란 무엇이며, 기존 생성형 AI의 접근 방식과 어떤 차이가 있나요?TypeSafe는 System One Model을 "소프트웨어가 바로 쓸 수 있는 빠르고 구조화된 결정을 내리도록 만든 모델"로 정의한다. 한줄로 줄이면 "비정형 상태를 넣으면, 타입이 정해진 확률적 결정이 나온다"이다. 이름은 카너먼의 이중 사고 이론에서 온 것이다.
동작 방식
LLM에 "JSON으로 답해줘"라고 시켜서 생성을 결정 도구로 억지로 쓰는 대신, 처음부터 결정만 하도록 설계한 모델을 따로 두자는 것이다. 주의할 점
3. Jev는 실제 AI Agent 시스템에서 어떤 역할로 활용될 수 있으며, 기존 LLM과 어떻게 함께 사용할 수 있을까요?LLM은 생각하고 행위를 하고, Jev는 빠르게 판단한다. Jev가 맡는 역할
함께 쓰는 흐름 원칙
|
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
📆 일자: 26년 9월 21일(월)
🤓 오늘의 질문
1. Jev는 어떤 AI 모델이며, 기존 LLM과 비교했을 때 어떤 특징과 차이점이 있나요?
2. Jev에서 이야기하는 System One Model이란 무엇이며, 기존 생성형 AI의 접근 방식과 어떤 차이가 있나요?
3. Jev는 실제 AI Agent 시스템에서 어떤 역할로 활용될 수 있으며, 기존 LLM과 어떻게 함께 사용할 수 있을까요?
https://www.youtube.com/watch?v=BDU6HJDeYhg
All reactions