Mistral 7B v0.1: Complete Benchmark Performance Guide

mistral 7b-v0.1 2023-09-27 Apache 2.0

In-depth analysis of Mistral 7B v0.1 performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendormistral
Version7b-v0.1
Release Date2023-09-27
Context Window8192 tokens
Input Modalitiestext
Output Modalitiestext
LicenseApache 2.0
Documentationhttps://docs.mistral.ai/

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU68.4%2023-09-275-shotview
HUMANEVAL56.4pass@12023-09-27—view
GSM8K63.1%2023-09-270-shot CoTview
MATH26.5%2023-09-270-shot CoTview
BBH65.4%2023-09-273-shot CoTview
GPQA25.3%2023-09-270-shotview
IFEVAL58.9%2023-09-27prompt_strictview
ARC88.7%2023-09-27challengeview
MUSR37.4%2023-09-270-shotview
WINOGRANDE79.6%2023-09-270-shotview

Pricing

TierPriceCurrency
Input$0.18 / MtokUSD
Output$0.18 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://mistral.ai/technology/ · as of 2023-09-27

Compliance

  • Data Residency: EU
  • SOC2: ✓
  • HIPAA: ✗
  • GDPR: ✓
  • ISO 27001: ✓

Mistral 7B v0.1

نظرة عامة على النموذج

Mistral 7B v0.1 首版开源模型, 8K 上下文, 7B 参数, 在所有 7B 模型中表现领先, Apache 2.0 可商用。

المواصفات الأساسية

المزودالإصدارتاريخ الإصدارنافذة السياقوسائط الإدخالوسائط الإخراجالترخيص
Mistral7b-v0.12023-09-278KtexttextApache 2.0

أداء المعايير

المعيارالنتيجةالوحدةملاحظات
MMLU (Massive Multitask Language Understanding)68.4%5-shot
HumanEval56.4pass@1—
GSM8K (Grade School Math 8K)63.1%0-shot CoT
MATH26.5%0-shot CoT
BBH (BIG-Bench Hard)65.4%3-shot CoT
GPQA25.3%0-shot
IFEval58.9%prompt_strict
ARC88.7%challenge
MUSR37.4%0-shot
WinoGrande79.6%0-shot

التسعير

الإدخالالإخراجقراءة الذاكرة المؤقتةكتابة الذاكرة المؤقتة
————

لكل مليون رمز

نقاط القوة

  • 可靠的通用模型。

نقاط الضعف

  • 闭源专有模型，不支持自托管。
  • 上下文窗口 8K 偏小。

حالات الاستخدام

  • 通用对话与问答

المراجع