Key Specifications

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	62.6	%	2024-02-01	5-shot	view
HUMANEVAL	62.2	pass@1	2024-02-01	—	view
GSM8K	71.3	%	2024-02-01	0-shot CoT	view
MATH	37.1	%	2024-02-01	0-shot CoT	view
BBH	67.7	%	2024-02-01	3-shot CoT	view
GPQA	37.4	%	2024-02-01	0-shot	view
IFEVAL	68.4	%	2024-02-01	prompt_strict	view
ARC	86.4	%	2024-02-01	challenge	view
MUSR	46.8	%	2024-02-01	0-shot	view
WINOGRANDE	78.7	%	2024-02-01	0-shot	view

Name: OLMo 7B
Brand: other

AllenAI OLMo 7B 完全开源模型, 2K 上下文, 训练数据/代码/权重全部开放, 适合研究用途。

المزود	الإصدار	تاريخ الإصدار	نافذة السياق	وسائط الإدخال	وسائط الإخراج	الترخيص
Other	olmo-7b	2024-02-01	2K	text	text	Apache 2.0

المعيار	النتيجة	الوحدة	ملاحظات
MMLU (Massive Multitask Language Understanding)	62.6	%	5-shot
HumanEval	62.2	pass@1	—
GSM8K (Grade School Math 8K)	71.3	%	0-shot CoT
MATH	37.1	%	0-shot CoT
BBH (BIG-Bench Hard)	67.7	%	3-shot CoT
GPQA	37.4	%	0-shot
IFEval	68.4	%	prompt_strict
ARC	86.4	%	challenge
MUSR	46.8	%	0-shot
WinoGrande	78.7	%	0-shot

الإدخال	الإخراج	قراءة الذاكرة المؤقتة	كتابة الذاكرة المؤقتة
—	—	—	—

لكل مليون رمز