계약은 어떻게 작동하나
확률
가격은 어떻게 움직였나
분석
배경
확률을 움직이는 요인
경쟁사 신모델 출시 시점
오픈AI, 구글 딥마인드, xAI, 메타 중 누구라도 10월 31일 전에 새 플래그십 모델을 내놓으면 순위가 뒤바뀔 수 있습니다. 아직 확정된 발표가 없다는 점이 현재 높은 확률을 지지하지만, 이는 언제든 바뀔 수 있는 변수입니다.
스타일 컨트롤 미적용
이 리더보드는 답변의 형식이나 길이에 대한 사람들의 선호를 보정하지 않고 그대로 반영합니다. 특정 모델이 더 친화적인 문체나 형식을 갖췄다면 순수 성능 외 요소로도 순위가 갈릴 수 있습니다.
AutoEval 태그 모델 제외 규칙
자동 평가로 분류된 모델은 순위 경쟁에서 빠지기 때문에, 실사용자 투표만으로 구성된 좁은 경쟁 구도가 유지됩니다. 이는 신규 모델이 순위에 진입하는 속도를 늦추는 요인입니다.
동률 처리 규칙
점수가 같을 경우 먼저 Arena 원점수, 그다음 회사명 알파벳 순으로 승자를 정합니다. 알파벳 순은 A로 시작하는 앤트로픽에 근소하게 유리하게 작동할 수 있지만, 실제로는 점수 차이가 이보다 훨씬 중요합니다.
얇은 거래량과 단일 거래소
거래량이 6만 8,012달러 수준으로 크지 않고 거래소도 하나뿐이라, 소수의 대형 주문이 가격을 크게 움직일 여지가 있습니다.
찬성 근거
- 앤트로픽의 현재 상위권 모델이 10월 31일 스냅샷까지 별다른 도전 없이 순위를 유지해야 합니다.
- 오픈AI, 구글 딥마인드, xAI, 메타가 그 이전에 앤트로픽을 앞지르는 신규 플래그십 모델을 내놓지 않아야 합니다.
- 앤트로픽이 자체적으로 더 강력한 모델을 추가로 출시해 우위를 굳힐 수도 있습니다.
반대 근거
- 오픈AI나 구글 딥마인드가 10월 31일 전에 새 모델을 공개하고, 이것이 블라인드 투표에서 더 높은 평가를 받으면 순위가 뒤집힙니다.
- 스타일 컨트롤이 꺼진 상태에서는 문체나 답변 형식에 대한 선호가 순위에 영향을 줄 수 있어, 성능 외 요소로도 결과가 바뀔 가능성이 있습니다.
- 동률 발생 시 Arena 원점수가 먼저 적용되므로, 알파벳 순서만으로 앤트로픽이 유리해지는 것은 아닙니다.
- AI 리더보드 순위는 과거에도 신모델 출시 직후 며칠 안에 크게 뒤바뀐 사례가 있어 변동성이 낮지 않습니다.
앞으로 주목할 일정
이 결과 계약 거래하기
- 가스비 지원
