Key Specifications

Vendor	google
Version	gemma-2-9b
Release Date	2024-06-27
Context Window	8192 tokens
Input Modalities	text
Output Modalities	text
License	Gemma License
Documentation	https://ai.google.dev/gemma/docs

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	64.3	%	2024-06-27	5-shot	view
HUMANEVAL	60.9	pass@1	2024-06-27	—	view
GSM8K	64.3	%	2024-06-27	0-shot CoT	view
MATH	28.9	%	2024-06-27	0-shot CoT	view
BBH	66.7	%	2024-06-27	3-shot CoT	view
GPQA	30.3	%	2024-06-27	0-shot	view
IFEVAL	64.3	%	2024-06-27	prompt_strict	view
ARC	90.3	%	2024-06-27	challenge	view
MUSR	44.1	%	2024-06-27	0-shot	view
WINOGRANDE	72.5	%	2024-06-27	0-shot	view

Name: Gemma 2 9B
Brand: google

Google Gemma 2 9B 开源模型, 8K 上下文, 在 9B 规模上超越 Llama 3 8B, 推理能力接近 70B 模型。

المزود	الإصدار	تاريخ الإصدار	نافذة السياق	وسائط الإدخال	وسائط الإخراج	الترخيص
Google	gemma-2-9b	2024-06-27	8K	text	text	Gemma License

المعيار	النتيجة	الوحدة	ملاحظات
MMLU (Massive Multitask Language Understanding)	64.3	%	5-shot
HumanEval	60.9	pass@1	—
GSM8K (Grade School Math 8K)	64.3	%	0-shot CoT
MATH	28.9	%	0-shot CoT
BBH (BIG-Bench Hard)	66.7	%	3-shot CoT
GPQA	30.3	%	0-shot
IFEval	64.3	%	prompt_strict
ARC	90.3	%	challenge
MUSR	44.1	%	0-shot
WinoGrande	72.5	%	0-shot

الإدخال	الإخراج	قراءة الذاكرة المؤقتة	كتابة الذاكرة المؤقتة
—	—	—	—

لكل مليون رمز