Llama 3.1 405B: Complete Benchmark Performance Guide

meta 3.1-405b 2024-07-23 Llama 3 Community License

In-depth analysis of Llama 3.1 405B performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendormeta
Version3.1-405b
Release Date2024-07-23
Context Window128000 tokens
Input Modalitiestext
Output Modalitiestext
LicenseLlama 3 Community License
Documentationhttps://llama.meta.com/docs/

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU88.6%2024-07-235-shotview
HUMANEVAL89pass@12024-07-23—view
GSM8K89.2%2024-07-230-shot CoTview
MATH73.8%2024-07-230-shot CoTview
BBH82.9%2024-07-233-shot CoTview

Pricing

TierPriceCurrency
Input$5 / MtokUSD
Output$15 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://www.together.ai/pricing · as of 2024-08-01

Compliance

  • Data Residency: self-host
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

Llama 3.1 405B

نظرة عامة على النموذج

Meta Llama 3.1 405B 是当前最大规模的开源权重模型之一，拥有 4050 亿参数，128K 上下文窗口，在 MMLU、HumanEval、MATH 等基准上接近闭源旗舰水平，支持自托管部署。

المواصفات الأساسية

المزودالإصدارتاريخ الإصدارنافذة السياقوسائط الإدخالوسائط الإخراجالترخيص
Meta3.1-405b2024-07-23128KtexttextLlama 3 Community License

أداء المعايير

المعيارالنتيجةالوحدةملاحظات
MMLU (Massive Multitask Language Understanding)88.6%5-shot
HumanEval89.0pass@1—
GSM8K (Grade School Math 8K)89.2%0-shot CoT
MATH73.8%0-shot CoT
BBH (BIG-Bench Hard)82.9%3-shot CoT

التسعير

الإدخالالإخراجقراءة الذاكرة المؤقتةكتابة الذاكرة المؤقتة
————

لكل مليون رمز

نقاط القوة

  • MMLU score 88.6, strong knowledge reasoning.
  • HumanEval 89.0, excellent code generation.
  • GSM8K 89.2, robust math reasoning.

نقاط الضعف

  • 闭源专有模型，不支持自托管。

حالات الاستخدام

  • 代码生成与调试

المراجع