이 콘텐츠들은 텔레위키가 직접 업로드하는 것이 아닌 유저들이 수집하고 게시하는 것입니다. 문제가 있는 경우 [email protected]로 연락 주시면 조치하겠습니다.
2024-12-21전달됨채널 1588820796
<AI Agent 구성 요소와 측정>
채팅방에서 좋은 질문이 나왔습니다.
이 질문을 이해하기 위해서는 AI Agent는 어떻게 구성되고 있는가에 대한 이해가 필요합니다. AI Agent Survey 페이퍼를 4~5개 정도 읽고 있는데, 공통적으로 이야기하는 부분을 정리해 공유합니다.
제가 간략하게 쓰는 내용이니 논문과 같은 표현보다는 독자들이 직관적으로 이해할 수 있게 정리해서 작성해보았습니다. 궁금한 분들은 레퍼런스 논문들을 읽어보시는 것을 추천합니다. (* 제가 적은 내용은 매우 간략 버전이며 한 문장 한 문장이 논문 주제입니다.)
0️⃣ AI와 AI Agent는 다른 지표를 사용해야 한다.
AI Agent는 기존의 단일 AI와는 다른 형태를 보입니다. 기존 LLM 단순히 입력-모델-출력으로 구성된 결과물을 위한 인프라라면, AI Agent는 여러 AI 또는 인프라와 결합되어 복합적인 문제를 해결하기 위한 도구입니다. 범용 문제를 해결하기도 하지만 특정 문제를 해결하기 위해 테스크에 따라 과적합 되어 있을 수 있으며, 비용, 환경, 대상 등 다양한 추가적인 변인을 고려하여 벤치마크를 설계해야 합니다.
1️⃣ AI Agent에 대한 정의와 공통 요소
AI Agent에 대한 정의는 여전히 모호한 영역 중 하나입니다. agent가 무엇이냐? 라고 하기보다는 어떤 게 더 agentic 한지에 대해 스펙트럼으로 이해하는 게 중요할 것 같습니다. 이 부분에서는 크게 3가지 요소가 있습니다.
- 목표 및 환경: 에이전트의 활동 반경 및 실제 테스크의 복잡도가 높을 수록 Agentic하다. 상호작용 대상의 수 , 실시간 소통 등이 복잡함의 요소가 될 수 있습니다.
- UI & UX: 사용을 위한 입력이 자연어에 가까울 수록 Agentic하며, 인간의 별도의 추가 입력이 없이 자율적으로 목표를 수행할 수록 Agentic 하다.
- 시스템 디자인: 시스템을 사용하기 위한 제어 흐름이 자율적이고 동적일 수록 Agentic하다.
2️⃣ Agent의 설계 요소
Agent 설계를 위해 정말 다양한 요소가 있겠지만 크게 네 가지로 구분할 수 있습니다.
- Profile: 초기값 설정. 페르소나를 포함하여 전체 요소에 대한 전략 등에 대한 설정을 포함합니다.
- Memory: 메모리 구성 방식 (장기기억, 단기기억 등), 메모리 정보 저장 방식 (자연어, 벡터 등), 메모리 관련 모든 것을 포함합니다. 개인적으로는 메모리 관리에 대해 더 관심이 많아 [2]를 읽어보시는 것을 추천드립니다.
- Planning: Reasoning 방식(단일 경로, 복수 경로), 피드백 방식(환경, 인간, 모델) 등을 의미합니다.
- Action: 시스템을 통해 나온 결과물과 동작을 포함합니다. 대상, 환경, 횟수, 제한 등이 포함됩니다.
3️⃣ 평가 방법
- 벤치마크는 주관적 평가와 객관적 평가로 나뉩니다. 주관적 평가에는 잘 알려진 튜링테스트 등이 있고, 객관적 평가에는 각 task에 따른 수행 완료 등이 있습니다. 또한 주관적 평가에는 윤리 등이 들어갈 수 있습니다.
- 근데 재밌는 제안 중 하나는 비용과 연계된 지표를 사용해야 한다는 것입니다. 정확도를 기준으로 한다면 비용이 많이드는 최신 모델일수록 더 좋은 정확도를 가질 확률이 높기에 실제 Agent로 사용하기 어려울 수 있습니다.
- 그리고 단순히 베이스 모델만이 아닌 다운스트림 모델에 대한 측정을 개별로 해야합니다. 각 Agent가 다루는 주제(과학, 개발, 문화 등)에 따라 정확도와 비용이 달라질 수 있습니다. Agent의 종류는 정말 다양합니다. 대표적인 Agent는 다음과 같습니다. (i.e., General Agent, Tool Agent, Simulation Agent, Embodied Agent, Game Agent, Web Agent, Assistant Agent)
* 관련해서 Web2/Web3에 다양한 시스템 디자인들도 추후 공유해보겠습니다.
<References>
- Wang, Lei, et al. "A survey on large language model based autonomous agents." Frontiers of Computer Science 18.6 (2024): 186345.
- Zhang, Zeyu, et al. "A survey on the memory mechanism of large language model based agents." arXiv preprint arXiv:2404.13501 (2024).
- Kapoor, Sayash, et al. "Ai agents that matter." arXiv preprint arXiv:2407.01502 (2024).
- Durante, Zane, et al. "Agent ai: Surveying the horizons of multimodal interaction." arXiv preprint arXiv:2401.03568 (2024).
채팅방에서 좋은 질문이 나왔습니다.
"좋은 AI Agent 프로젝트에는 어떤 게 있나요?"
이 질문을 이해하기 위해서는 AI Agent는 어떻게 구성되고 있는가에 대한 이해가 필요합니다. AI Agent Survey 페이퍼를 4~5개 정도 읽고 있는데, 공통적으로 이야기하는 부분을 정리해 공유합니다.
제가 간략하게 쓰는 내용이니 논문과 같은 표현보다는 독자들이 직관적으로 이해할 수 있게 정리해서 작성해보았습니다. 궁금한 분들은 레퍼런스 논문들을 읽어보시는 것을 추천합니다. (* 제가 적은 내용은 매우 간략 버전이며 한 문장 한 문장이 논문 주제입니다.)
0️⃣ AI와 AI Agent는 다른 지표를 사용해야 한다.
AI Agent는 기존의 단일 AI와는 다른 형태를 보입니다. 기존 LLM 단순히 입력-모델-출력으로 구성된 결과물을 위한 인프라라면, AI Agent는 여러 AI 또는 인프라와 결합되어 복합적인 문제를 해결하기 위한 도구입니다. 범용 문제를 해결하기도 하지만 특정 문제를 해결하기 위해 테스크에 따라 과적합 되어 있을 수 있으며, 비용, 환경, 대상 등 다양한 추가적인 변인을 고려하여 벤치마크를 설계해야 합니다.
1️⃣ AI Agent에 대한 정의와 공통 요소
AI Agent에 대한 정의는 여전히 모호한 영역 중 하나입니다. agent가 무엇이냐? 라고 하기보다는 어떤 게 더 agentic 한지에 대해 스펙트럼으로 이해하는 게 중요할 것 같습니다. 이 부분에서는 크게 3가지 요소가 있습니다.
- 목표 및 환경: 에이전트의 활동 반경 및 실제 테스크의 복잡도가 높을 수록 Agentic하다. 상호작용 대상의 수 , 실시간 소통 등이 복잡함의 요소가 될 수 있습니다.
- UI & UX: 사용을 위한 입력이 자연어에 가까울 수록 Agentic하며, 인간의 별도의 추가 입력이 없이 자율적으로 목표를 수행할 수록 Agentic 하다.
- 시스템 디자인: 시스템을 사용하기 위한 제어 흐름이 자율적이고 동적일 수록 Agentic하다.
2️⃣ Agent의 설계 요소
Agent 설계를 위해 정말 다양한 요소가 있겠지만 크게 네 가지로 구분할 수 있습니다.
- Profile: 초기값 설정. 페르소나를 포함하여 전체 요소에 대한 전략 등에 대한 설정을 포함합니다.
- Memory: 메모리 구성 방식 (장기기억, 단기기억 등), 메모리 정보 저장 방식 (자연어, 벡터 등), 메모리 관련 모든 것을 포함합니다. 개인적으로는 메모리 관리에 대해 더 관심이 많아 [2]를 읽어보시는 것을 추천드립니다.
- Planning: Reasoning 방식(단일 경로, 복수 경로), 피드백 방식(환경, 인간, 모델) 등을 의미합니다.
- Action: 시스템을 통해 나온 결과물과 동작을 포함합니다. 대상, 환경, 횟수, 제한 등이 포함됩니다.
3️⃣ 평가 방법
- 벤치마크는 주관적 평가와 객관적 평가로 나뉩니다. 주관적 평가에는 잘 알려진 튜링테스트 등이 있고, 객관적 평가에는 각 task에 따른 수행 완료 등이 있습니다. 또한 주관적 평가에는 윤리 등이 들어갈 수 있습니다.
- 근데 재밌는 제안 중 하나는 비용과 연계된 지표를 사용해야 한다는 것입니다. 정확도를 기준으로 한다면 비용이 많이드는 최신 모델일수록 더 좋은 정확도를 가질 확률이 높기에 실제 Agent로 사용하기 어려울 수 있습니다.
- 그리고 단순히 베이스 모델만이 아닌 다운스트림 모델에 대한 측정을 개별로 해야합니다. 각 Agent가 다루는 주제(과학, 개발, 문화 등)에 따라 정확도와 비용이 달라질 수 있습니다. Agent의 종류는 정말 다양합니다. 대표적인 Agent는 다음과 같습니다. (i.e., General Agent, Tool Agent, Simulation Agent, Embodied Agent, Game Agent, Web Agent, Assistant Agent)
* 관련해서 Web2/Web3에 다양한 시스템 디자인들도 추후 공유해보겠습니다.
<References>
- Wang, Lei, et al. "A survey on large language model based autonomous agents." Frontiers of Computer Science 18.6 (2024): 186345.
- Zhang, Zeyu, et al. "A survey on the memory mechanism of large language model based agents." arXiv preprint arXiv:2404.13501 (2024).
- Kapoor, Sayash, et al. "Ai agents that matter." arXiv preprint arXiv:2407.01502 (2024).
- Durante, Zane, et al. "Agent ai: Surveying the horizons of multimodal interaction." arXiv preprint arXiv:2401.03568 (2024).