Mixtral 8x7B: Complete Benchmark Performance Guide

mistral 8x7b 2023-12-11 Apache 2.0

In-depth analysis of Mixtral 8x7B performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendormistral
Version8x7b
Release Date2023-12-11
Context Window32000 tokens
Input Modalitiestext
Output Modalitiestext
LicenseApache 2.0
Documentationhttps://docs.mistral.ai/

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU77.2%2023-12-115-shotview
HUMANEVAL79pass@12023-12-11—view
GSM8K79.7%2023-12-110-shot CoTview
MATH38%2023-12-110-shot CoTview
BBH78.4%2023-12-113-shot CoTview
GPQA43%2023-12-110-shotview
IFEVAL72.1%2023-12-11prompt_strictview
ARC91.6%2023-12-11challengeview
MUSR53.5%2023-12-110-shotview
WINOGRANDE82%2023-12-110-shotview

Pricing

TierPriceCurrency
Input$0.7 / MtokUSD
Output$0.7 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://mistral.ai/technology/ · as of 2023-12-11

Compliance

  • Data Residency: EU
  • SOC2: ✓
  • HIPAA: ✗
  • GDPR: ✓
  • ISO 27001: ✓

Mixtral 8x7B

Обзор модели

Mistral Mixtral 8x7B 首个开源 MoE 模型, 总参 47B/活跃 13B, 32K 上下文, 性能接近 GPT-3.5。

Основные характеристики

ПоставщикВерсияДата выпускаОкно контекстаВходные модальностиВыходные модальностиЛицензия
Mistral8x7b2023-12-1132KtexttextApache 2.0

Производительность

БенчмаркОчкиЕдиницаПримечания
MMLU (Massive Multitask Language Understanding)77.2%5-shot
HumanEval79.0pass@1—
GSM8K (Grade School Math 8K)79.7%0-shot CoT
MATH38.0%0-shot CoT
BBH (BIG-Bench Hard)78.4%3-shot CoT
GPQA43.0%0-shot
IFEval72.1%prompt_strict
ARC91.6%challenge
MUSR53.5%0-shot
WinoGrande82.0%0-shot

Цены

ВходВыходЧтение кэшаЗапись кэша
————

за миллион токенов

Сильные стороны

  • 采用 MoE 混合专家架构。

Слабые стороны

  • 闭源专有模型，不支持自托管。

Сценарии

  • 代码生成与调试

Ссылки