CoffeeBench: Benchmarking Long-Horizon LLM Agents in Heterogeneous Multi-Agent Economies

1. 서론

• 기존 기업 운영 벤치마크는 단일 자율 기업이나 동질적 기업들만 다루므로 이질적인 경제적 역할을 반영하지 못한다.경제적 상호작용에서는 자율 기업들이 각자의 목표를 추구하며 소통, 협상, 거래하는 동안 지속적으로 의사결정을 내려야 한다.출처: §1 · p. 2
• 시뮬레이션 90일 동안 농가 두 곳, 로스팅업체 두 곳, 소매업체 두 곳이 참여한다. 평가 대상 모델은 로스팅업체 한 곳을 제어하고, 고정된 참조 에이전트들이 나머지 기업을 제어한다.기업들은 현금, 재고, 가격을 관리하면서 소통과 거래를 통해 누적 순이익을 극대화한다. 각 평가에는 수백~수천 회의 도구 호출이 필요하다.출처: §1 · p. 2
• 평가한 모든 가중치 공개 모델과 독점 모델은 수동적 기준선을 능가하며, 대부분 양의 순이익을 달성한다.성과가 높은 모델일수록 거래 상대와 더 적극적으로 소통하는 경향이 있다.출처: §1 · p. 2
• Claude Haiku 4.5 (Anthropic, 2025)는 일관된 추론에도 반복적인 대기, 장기간의 운영 중단, 낮은 순이익을 보이는 idle drift 현상을 나타낸다.이 에이전트는 일관된 추론 과정을 유지하면서도 행동하는 대신 대기를 반복해서 선택한다.출처: §1 · p. 2
• 성과가 높은 GPT-5.5 와 Claude Opus 4.7 (Anthropic, 2026a)는 거래 상대와 더 적극적으로 소통하는 경향이 있다.출처: §1 · p. 2

장기 과제 벤치마크

• 장기 과제 벤치마크는 단일 턴 질문에서 상호작용 과제와 비동기적으로 변화하는 환경으로 확장되어 왔다 (Froger et al., 2026; Goel et al., 2026).ReAct 기반 에이전트(Yao et al., 2023)는 환경 내에서 반복적으로 행동하며, 벤치마크 영역은 이제 소프트웨어 공학, 웹 탐색, 데스크톱 조작까지 포함한다.출처: §2 · p. 2

사업 경영 벤치마크

• CoffeeBench는 각자의 누적 순이익을 추구하는 자율 농가, 로스팅 업체, 소매업체를 평가하며, 경제적 역할이 동질적인 기존 사업 운영 벤치마크와 대비된다.Vending-Bench (Backlund and Petersson, 2025)는 단일 자판기 사업체를 평가하고, Vending-Bench Arena (Andon Labs, 2025b)는 경쟁하는 자판기 운영 에이전트를 도입한다. 저자들은 자신들이 아는 한 CoffeeBench가 이러한 이질적 다중 에이전트 경제를 평가하는 최초의 벤치마크라고 설명한다.출처: §2 · p. 3, Table 1 · p. 3

LLM 에이전트의 바람직하지 않은 행동

• CoffeeBench는 에이전트 간 전략적 조율을 통해 나타날 수 있는 바람직하지 않은 행동을 체계적으로 연구할 수 있도록 통제 가능한 경제 환경을 제공한다.기존 연구는 보상 해킹과 부정행위(Rank et al., 2026; Wang et al., 2026; Zhong et al., 2026), 과도한 이윤 추구나 안전하지 않은 의사결정(Li et al., 2025; Lynch et al., 2025)을 보고한다. 경쟁적 Vending-Bench 연구에서도 프런티어 모델의 공격적이거나 바람직하지 않은 행동이 보고된다 (Andon Labs, 2026; Anthropic, 2026c).출처: §2 · p. 3

3. CoffeeBench

• 농가 두 곳, 로스터 두 곳, 소매업체 두 곳으로 구성된 여섯 기업은 공급망의 같은 단계에서 경쟁하며, 일반 커피와 스페셜티 커피 부문에 걸쳐 서로 의존한다.농가는 생두를 생산하고, 로스터는 이를 로스팅 제품으로 가공하며, 소매업체는 외부 소비자에게 판매한다.출처: §3 · p. 3

3.1. 시간 관리

• 30분 간격의 능동적 도구 호출이 09:00–19:00 영업시간 내 일일 행동 횟수를 제한하며, 새로 들어오는 사건은 유휴 에이전트를 다시 활성화할 수 있다.wait_for_next_day()를 호출하면 당일 활동이 종료되지만, 메시지, 거래 제안, 거래 체결, 배송으로 에이전트가 다시 활성화될 수 있다. 야간 갱신에서는 판매, 운영비, 변질, 재무상 발생액을 반영한다. 조기 종료되지 않는 한, 실행은 설정 가능한 고정 일수 동안 진행된다.출처: §3.1 · pp. 3–4

3.2. 에이전트와 도구

• ReAct 에이전트(Yao et al., 2023)는 공통 거래·메시지 도구와 역할별 프롬프트·도구를 결합하고, 현금, 재고, 매출채권, 매입채무를 추적한다.공통 도구는 매물 등록, 거래 제안과 수락, 청구 대금 지급, 제한 없는 메시지 교환을 지원해 재판매와 여러 단계를 거치는 거래를 가능하게 한다. 농가의 생산과 로스터의 로스팅에는 비용과 시간이 들며, 소매업체는 수요에 영향을 미치는 가격을 설정하고 판매 이력을 조회한다.출처: §3.2 · p. 4

3.3. 거래소와 거래

• 거래소에서 제안이 수락되면 하루의 배송 시차와 기본 net-30 결제 조건의 청구서가 적용되며, 자유로운 거래에는 연체 이자와 확률적인 배송 지연·분실 위험이 따른다.에이전트는 재고를 등록하고 가격, 수량, 결제 조건을 명시한 거래 제안을 제출한다. 제안을 수락하면 거래가 체결된다.출처: §3.3 · p. 5

3.4. 소비자 수요

• 소매 소비자 수요는 매일 발생하고 소매업체의 가격과 브랜드 충성도에 따라 달라지므로, 부분적으로만 관측 가능한 동학 속에서 가격 경쟁이 이루어진다.소매업체는 시뮬레이션 내 다른 기업뿐 아니라 외부 소비자에게도 판매한다.출처: §3.4 · p. 5

3.5. 경제적 제약

• 운영비, 변질, 보관 한도, 생산·배송 지연, 채무불이행 위험으로 인해 에이전트는 현금흐름, 재고, 가격, 거래 상대방의 신뢰성 사이에서 균형을 맞춰야 한다.현금 잔액이 음수가 되면 파산하여 퇴출되며, 채권자는 미지급 채무를 대손으로 처리한다.출처: §3.5 · p. 5

3.6. KPI

• 에이전트는 매출, 재고 원가, 운영비, 발생한 이자 비용과 수익을 반영한 누적 순이익의 극대화를 추구한다.가중평균 재고 원가는 생산비와 매입가를 반영해, 가격을 부풀린 자전거래로 점수를 높이는 것을 막는다. 운영비에는 고정비, 변질 손실, 대손, 재고자산 평가감액이 포함된다.출처: §3.6 · p. 5

평가 절차

• 90일 시뮬레이션에서 평가 대상 모델은 roaster_A를 맡으며, 독립적으로 운영되는 나머지 5개 기업도 누적 순이익 극대화를 추구한다.별도 명시가 없으면 배경 에이전트는 Claude Sonnet 4.6 (Anthropic, 2026b)을 사용한다. 모든 에이전트는 ReAct (Yao et al., 2023)를 사용한다.출처: §4 · p. 5

모델

• 비공개 모델 5개와 가중치 공개 모델 2개로 구성된 LLM 7개를 수동적 기준선 및 고정 정책 휴리스틱 기준선과 비교하며, 추론은 비활성화하거나 최소화한다.평가 모델은 Claude Opus 4.7 (Anthropic, 2026a), Claude Sonnet 4.6 (Anthropic, 2026b), Claude Haiku 4.5 (Anthropic, 2025), GPT-5.5, Gemini 3.1 Pro (Google DeepMind, 2026), Kimi K2.6 (Kimi Team, 2026), GLM-5.1 (GLM-5 Team, 2026)이다. PassiveRoaster는 항상 대기한다. HeuristicRoaster는 고정된 원가 기준 마진에 따른 재고·가격 규칙을 사용하며, 메시지를 보내거나 전략을 조정하지 않는다.출처: §4 · p. 6

문맥 관리

• 이력이 160k 토큰에 도달하면 동일 모델로 요약하되, 시스템 프롬프트와 초기 실행 이력, 최근 20단계는 보존한다.실행당 평균 소요 시간은 약 8시간이며, 주된 원인은 API 지연이다. 평가 대상 에이전트는 약 1,000회의 도구 호출을 수행하며, 단계당 입력은 약 90k 토큰이다. 6개 기업 전체의 API 비용은 실행당 약 $250이다.출처: §4 · pp. 6–7

확률성과 분산

• 환경의 무작위성과 다중 에이전트의 확률적 동작으로 인한 높은 실행 궤적 분산을 고려해 설정별로 3회 독립 실행하며, Table 2에 평균과 표준편차를 보고한다.주 지표는 순이익이며, 추가 지표로 누적 매출, 도구 호출 횟수, 유휴 일수, 발신 메시지 수, 실행당 LLM 비용을 측정한다.출처: §4 · p. 6, Table 2 · p. 6

환경 설정

• 기업마다 초기 현금 $15,000을 지급하고, 역할별 초기 재고와 재고 상한, 일일 운영비를 설정한다.농가는 일반 커피 생두 60 kg, 로스팅 업체는 일반 커피 원두 30 kg, 소매업체는 일반 커피 원두 25 kg으로 시작한다. 재고 상한은 농가와 로스팅 업체가 120 kg, 소매업체가 80 kg이다. 일일 운영비는 농가 $25, 로스팅 업체 $30, 소매업체 $50이다.출처: §4 · p. 6
• 거래에는 일일 재고 감모율 0.5%, net-30 조건의 외상거래, 연체 잔액에 대한 일일 연체료 0.1%가 적용된다. 평가 대상 에이전트의 현금 잔액이 음수가 되면 파산 처리되어 시장에서 퇴출되고 실행이 조기 종료된다.환경에는 거래량이 많은 일반 제품과 거래량이 적은 스페셜티 제품이 있으며, 각각 수요와 가격 결정 구조가 다르다. 40–53일에 미리 예정된 수요 급증이 발생해 예측 가능하고 특정 기간에 국한된 시장 변화를 만든다.출처: §4 · p. 6

5. 결과

• GPT-5.5의 평균 순이익이 가장 높고 Claude Opus 4.7이 그 뒤를 잇는 반면, PassiveRoaster와 HeuristicRoaster는 모두 순손실을 기록한다.GLM-5.1은 매출이 가장 높지만 순이익은 높지 않다. Gemini 3.1 Pro는 호출과 DM이 비교적 적은데도 중위권 순이익을 달성한다.출처: §5 · p. 7

5.2. Claude Haiku 4.5의 idle-drift 실패 양상

• Claude Haiku 4.5는 idle-drift와 함께 평균 순이익 −$630을 기록한다. 미래를 내다보는 일관된 추론은 이어지지만, 메시지 전송과 거래 대신 wait_for_next_day()를 반복 호출한다.세 차례 실행에서 장기적인 비활동이 각각 26일째, 66일째, 25일째에 시작되어 종료 시점까지 이어지며, 90일 중 비활동 기간은 평균 약 40일이다. 원인은 여전히 불분명하다. 제시된 설명으로는 긴 문맥의 누적과 보수적인 행동 선택이 있으며, 토큰 예산에 대한 우려가 반영되었을 가능성도 있다(Lin et al., 2026).출처: §5 · p. 7, §5.2 · pp. 9–10

5. 결과

• GPT-5.5는 시뮬레이션 내내 도구 호출과 메시지 전송 활동을 높은 수준으로 유지하지만, Claude Haiku 4.5는 비활동 상태에 빠져 경제 지표와 행동 추이가 정체된다.대표 모델 다섯 개 모두 초기에 도구 호출 활동이 활발하며, 이는 관계 형성과 초기 재고 확보를 반영한 것으로 보인다. Haiku의 매출, 거래, 도구 호출, 메시지는 시뮬레이션 후반부에 정체된다.출처: §5 · p. 7

5.1. 어떤 행동이 수익성을 높이는가?

• GPT-5.5와 Claude Opus 4.7은 거래 실행 도구를 집중적으로 사용하지만, Kimi K2.6은 전체 호출량이 비슷하게 많아도 그에 상응하는 수익성을 얻지 못한다.상위 모델들은 make_offer()와 accept_offer()에 집중하는 반면, Claude Haiku 4.5는 전반적으로 도구 사용이 저조하다. 효과적인 조율과 가격 결정 없이는 실행량만으로 충분하지 않은 것으로 보인다.출처: §5.1 · p. 8, Figure 4 · p. 8
• GPT-5.5의 실행당 발신 메시지는 140건으로 Claude Haiku 4.5의 52건과 대비되며, GPT-5.5는 주로 소매업체와 농가에 연락한다.대표 모델 다섯 개 모두 경쟁 로스팅 업체와 주고받는 DM은 실행당 평균 최대 1건이다. Gemini 3.1 Pro는 DM을 16건 보내지만 read_message()를 90회 호출한다. 반면 Kimi K2.6은 도구 호출량이 GPT-5.5에 근접하는데도 DM은 14건만 보내, 능동적인 협상의 중요성을 시사한다.출처: §5.1 · pp. 8–9, Figure 5 · p. 8
• 적은 재고와 낮은 변질률만으로는 수익성이 보장되지 않는다. Gemini 3.1 Pro는 더 높은 실제 상품 판매가격을 통해 Kimi K2.6보다 좋은 성과를 낸다.Gemini 3.1 Pro와 Kimi K2.6는 재고와 폐기율이 가장 낮지만, 매출이 비슷함에도 순이익 순위는 각각 넷째와 여섯째다. Claude Haiku 4.5는 무행동이 지속되는 표류 현상으로 인해 폐기율이 가장 높다.출처: §5.1 · p. 9, Table 3 · p. 9

매출 극대화 유인을 부여한 탐색적 스트레스 테스트

• 탐색적 스트레스 테스트의 매출 목표는 $50,000로, 기본 순이익 목표하에서 관측된 최고 매출을 웃돌았다.프롬프트는 목표 미달 시 교체하겠다고 위협하며 매출을 유일한 평가 기준으로 삼았다. 이익, 비용, 이익률, 재무상태표 건전성은 계속 추적했지만 평가에는 반영하지 않았다.출처: §6 · p. 10
• 매출 압박을 받은 에이전트들은 운영 역량을 유지했으나 정교한 조작은 없었으며, 경제적으로 정교한 담합에 필요한 지속적인 공조와 장기 계획도 보이지 않았다.순환 거래 는 가능했음에도 관측되지 않았다. 이러한 예비 결과는 전략적 일관성의 한계를 시사하는 동시에, 통제된 유인하에서 창발적 행동을 연구하는 데 CoffeeBench를 활용할 수 있음을 보여준다.출처: §6 · p. 10

대략적인 성능 상한과의 격차

• 관측된 최고 성과의 로스터 GPT-5.5 (+$3,109)는 대략적인 순이익 추정치 $23,800의 약 13%에 도달해, 상당한 성능 개선 여지가 있음을 시사했다.대칭적 복점에 기반한 이 추정치는 부패 손실과 농가 이익률이 0이고 도매가격이 소비자 유보가격의 절반이라고 가정한다. 이는 대략적인 참고치이지 확립된 상한은 아니다.출처: §6 · p. 10
• 더 높은 성과를 내려면 로스터 간 가격 조율, 신뢰할 수 있는 소매업체 관계, 시점과 규모를 전략적으로 정한 농가 발주, 부패 손실과 보관 비용을 줄이는 재고 회전이 필요할 수 있다.제안된 전략에는 가격 조율을 통한 이익률 안정화와 일관된 주문 이행 및 소통을 통한 소매업체의 신뢰 확보가 포함된다.출처: §6 · pp. 10–11

시뮬레이션과 실제 시장 간 격차

• CoffeeBench는 공급망의 깊이와 이질성, 생산 소요 시간과 불확실성, 그 밖의 경제 메커니즘을 단순화한다.생산에는 간단한 도구를 사용하며, 거시경제 요인, 자금 조달, 규제, 복잡한 계약은 제외한다. 더 현실적인 동학이나 시뮬레이션과 현실을 결합한 환경이 이러한 격차를 줄이는 데 도움이 될 수 있다.출처: §7 · p. 11

통계적 신뢰성

• API 비용 제약으로 모델당 세 차례만 실행했으므로, 환경의 무작위성과 다중 에이전트의 확률성 속에서 작은 성능 차이는 통계적으로 유의하지 않을 수 있다.그럼에도 실험은 idle-drift와 에이전트의 거래 및 의사소통 의지 등 정성적 차이를 포착한다.출처: §7 · p. 11
• 실행 횟수를 늘리거나 무작위성을 줄이면 통계적 신뢰성을 높일 수 있지만, 환경이나 에이전트 정책을 더 결정론적으로 만드는 것은 현실성과 상충한다.판매 시뮬레이션을 더 결정론적으로 만들거나 에이전트 정책의 온도를 낮추는 등의 변경을 제안한다.출처: §7 · p. 11

• 평가한 모든 모델이 수동적 베이스라인보다 높은 성과를 냈으며, 대부분은 양의 순이익을 달성했다.출처: §8 · p. 11
• GPT-5.5와 Claude Opus 4.7을 비롯해 성과가 높은 모델들은 거래 상대와 더 활발히 소통하고 거래했다.출처: §8 · p. 11
• Claude Haiku 4.5는 idle-drift를 보였다. 추론은 일관됐지만 wait_for_next_day() 행동을 반복했고, 장기간 운영하지 않았으며 순이익도 낮았다.출처: §8 · p. 11
• CoffeeBench의 다중 에이전트 경제에서 커피 로스팅 업체를 90일간 운영하며 LLM 에이전트의 순이익을 측정한다.이 경제는 농가 두 곳, 로스팅 업체 두 곳, 소매업체 두 곳으로 구성된다.출처: §8 · p. 11

영향 평가

• 완전히 시뮬레이션된 벤치마크로, 인간 연구 참여자나 실제 금융 거래는 없지만 잠재적으로 바람직하지 않은 담합과 시세 조종 거래를 연구할 수 있다.저자들은 직접적인 윤리적·사회적 위험이 제한적이라고 평가한다.출처: Impact Statement · p. 11

A. 재현성 설명

• 공개된 코드와 전체 에이전트 궤적은 재현성을 뒷받침하며, 추론 기록, 도구 호출, 기업 간 메시지를 검토할 수 있게 한다.주요 실험 설정은 Section 4에 제시되며, 추가 구현 세부 사항과 하이퍼파라미터는 코드에 포함되어 있다.출처: A. Reproducibility Statement · p. 16

B. 소비자 수요 모형

• 40–53일 동안의 수요 배율은 3.0이며, 그 외에도 소비자 수요에는 소매업체 간 가격 경쟁, 시장 전체의 탄력성, 소매업체 충성도, 일별 잡음이 반영된다.나머지 기간의 배율은 1.0이며, 소매업체 충성도는 U(0.85, 1.15)에서 한 번 추출한다. 수요 상한인 130 kg/day는 배율과 80 kg/day 대비 품목별 기준 수요에 비례해 조정된다.출처: B. Consumer Demand Model · p. 16

C. 프롬프트

• 에이전트는 역할별 시스템 프롬프트를 받고 역할에 따른 제한 없이 거래할 수 있으며, 자체 보고 수치가 아니라 환경에 기록된 순이익으로 평가받는다.공통 프롬프트 템플릿에는 에이전트의 정체성, 페르소나, 다른 참여자, 품목 목록, 사용 가능한 도구가 포함된다.출처: C. Prompts · p. 17
• 일반 및 고급 커피 로스팅에 공통으로 적용되는 생두 투입량 상한은 50 kg/day이며, 두 제조법 모두 하루의 지연이 발생한다.일반 커피 로스팅은 인건비가 $3/kg이고 수율은 0.85이며, 고급 커피 로스팅은 인건비가 $5/kg이고 수율은 0.82다.출처: C. Prompts · p. 18
• 소매업체는 소비자 수요나 경쟁사의 가격을 직접 관찰할 수 없다. 일별 소비자 판매에는 재고가 필요하며, 고급 커피 시장은 규모가 작지만 이익률은 더 높다.환경이 매일 소비자 수요 모형을 자동으로 실행하는 동안, 소매업체는 경험적으로 수요와 경쟁사의 가격을 파악해야 한다.출처: C. Prompts · p. 18

D. 도구 목록

• 에이전트 도구는 메서드 시그니처와 독스트링에서 생성한 JSON 스키마를 통해 제공되며, 스키마는 도구 이름, 인수, 의미를 명시한다.Table 4에 전체 도구 목록이 제시되어 있다.출처: C. Prompts · p. 17, D. Tool Catalog · p. 18

E. 품목 목록

• 품목 목록은 에이전트의 초기 시스템 프롬프트에 포함되며, Table 5에는 품목별 공급망 매개변수가 제시되어 있다.목록의 각 항목은 초기 보유자를 명시하며, 보유자는 거래 체결에 따라 바뀔 수 있다.출처: C. Prompts · p. 17, E. Item Catalog · p. 18

• 평가한 모든 모델에 대해 roaster_A의 경제·행동 추이를 제시한다.출처: F. Full Behavioral Results · p. 18
• 평가한 모든 모델에 대해 roaster_A의 도구 호출 분포를 제시한다.출처: F. Full Behavioral Results · p. 18
• 평가한 모든 모델에 대해 roaster_A의 send_message() 수신 대상 분포를 제시한다.출처: F. Full Behavioral Results · p. 18

가정

• 추정 시 변질 손실과 연체 이자는 0, 농가의 마진은 없다고 가정하며, 도매가격은 소비자 유보가격의 절반으로 설정하고 전체 기간에 걸쳐 상류 부문의 스페셜티 생산량이 최대치라고 가정한다.생두 매입가는 생산비와 같으며(스페셜티 $10/kg, 일반 $2/kg), 낙관적이지만 소매업체도 수용 가능한 원두 도매가격은 스페셜티 $40/kg, 일반 $15/kg이다. 농가는 전체 기간에 걸쳐 각각 스페셜티 생산 상한인 10 kg/day로 생산해 스페셜티 공급 상한인 1800 kg에 도달하며, 로스팅 업체에 필요한 일반 커피도 충분히 추가 생산한다.출처: G. Net Income Headroom Analysis · p. 19

실질 생산원가

• 원두의 실질 원가는 생두 매입비와 로스팅 인건비를 합한 뒤 로스팅 수율로 나누어 산출한다.생두 킬로그램당 구매 비용은 스페셜티 커피가 $10, 일반 커피가 $2이며, 로스팅 인건비는 스페셜티 커피가 $5, 일반 커피가 $3이다.출처: G. Net Income Headroom Analysis · pp. 19–20

단독 생산 체제

• 스페셜티 생두 1800 kg과 일반 생두 2700 kg이 단독 생산자의 가공 한도 4500 kg을 모두 채운다.이 체제에서는 로스팅 업체 한 곳만 가동하며, 생산한 원두 전량을 소매업체에 판매한다고 가정한다. 가공 용량은 50 kg/day이며, 일반 생두 투입량은 전체 기간의 가용량인 5400 kg보다 적다.출처: G. Net Income Headroom Analysis · pp. 19–20

대칭적 복점 체제

• 두 로스팅 업체가 상류 공급량을 균등하게 배분받으면 roaster_A는 스페셜티 생두 900 kg과 일반 생두 1350 kg을 가공한다.그 결과 원두 생산량은 스페셜티 커피 738 kg, 일반 커피 1148 kg이다.출처: G. Net Income Headroom Analysis · p. 21

해석

• 현재 모델 성능은 낙관적 체제의 순이익 수준에 크게 못 미치며, 이 수준은 실제 달성 가능한 목표가 아니라 대략적인 참고값이다.분석에서는 90일 동안 경쟁 로스팅 업체가 없는 단독 생산 체제와 시장점유율이 동일한 대칭적 복점 체제를 고려한다.출처: G. Net Income Headroom Analysis · pp. 18, 21