Key Specifications

Vendor	anthropic
Version	3-opus
Release Date	2024-03-04
Context Window	200000 tokens
Input Modalities	text, image
Output Modalities	text
License	Proprietary
Documentation	https://docs.anthropic.com/claude/docs

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	81.2	%	2024-03-04	5-shot	view
HUMANEVAL	83.3	pass@1	2024-03-04	—	view
GSM8K	91.8	%	2024-03-04	0-shot CoT	view
MATH	42.7	%	2024-03-04	0-shot CoT	view
BBH	81.6	%	2024-03-04	3-shot CoT	view
GPQA	46	%	2024-03-04	0-shot	view
IFEVAL	79.2	%	2024-03-04	prompt_strict	view
ARC	94.5	%	2024-03-04	challenge	view
MUSR	53.3	%	2024-03-04	0-shot	view
WINOGRANDE	81.9	%	2024-03-04	0-shot	view

Name: Claude 3 Opus
Brand: anthropic

Anthropic Claude 3 Opus 旗舰模型, 200K 上下文, 超越 GPT-4 的推理与创意能力, 适合复杂分析任务。

المزود	الإصدار	تاريخ الإصدار	نافذة السياق	وسائط الإدخال	وسائط الإخراج	الترخيص
Anthropic	3-opus	2024-03-04	200K	text, image	text	Proprietary

المعيار	النتيجة	الوحدة	ملاحظات
MMLU (Massive Multitask Language Understanding)	81.2	%	5-shot
HumanEval	83.3	pass@1	—
GSM8K (Grade School Math 8K)	91.8	%	0-shot CoT
MATH	42.7	%	0-shot CoT
BBH (BIG-Bench Hard)	81.6	%	3-shot CoT
GPQA	46.0	%	0-shot
IFEval	79.2	%	prompt_strict
ARC	94.5	%	challenge
MUSR	53.3	%	0-shot
WinoGrande	81.9	%	0-shot

الإدخال	الإخراج	قراءة الذاكرة المؤقتة	كتابة الذاكرة المؤقتة
—	—	—	—

لكل مليون رمز