Microsoft WizardCoder Python 34B: Complete Benchmark Performance Guide

other wizardcoder-python-34b 2023-08-17 Llama 2 Community License

In-depth analysis of Microsoft WizardCoder Python 34B performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorother
Versionwizardcoder-python-34b
Release Date2023-08-17
Context Window16384 tokens
Input Modalitiestext
Output Modalitiestext
LicenseLlama 2 Community License
Documentationhttps://huggingface.co/models

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU60%2023-08-175-shotview
HUMANEVAL79.8pass@12023-08-17—view
GSM8K46.7%2023-08-170-shot CoTview
MATH40.6%2023-08-170-shot CoTview
BBH67.2%2023-08-173-shot CoTview
GPQA36.6%2023-08-170-shotview
IFEVAL53.8%2023-08-17prompt_strictview
ARC91.2%2023-08-17challengeview
MUSR53.1%2023-08-170-shotview
WINOGRANDE70.4%2023-08-170-shotview

Pricing

TierPriceCurrency
Input$0.5 / MtokUSD
Output$0.5 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://huggingface.co/models · as of 2023-08-17

Compliance

  • Data Residency: self-host
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

Microsoft WizardCoder Python 34B

Обзор модели

Microsoft WizardCoder Python 34B 代码模型, 16K 上下文, 基于 Code Llama 34B, Python 代码生成突出。

Основные характеристики

ПоставщикВерсияДата выпускаОкно контекстаВходные модальностиВыходные модальностиЛицензия
Otherwizardcoder-python-34b2023-08-1716KtexttextLlama 2 Community License

Производительность

БенчмаркОчкиЕдиницаПримечания
MMLU (Massive Multitask Language Understanding)60.0%5-shot
HumanEval79.8pass@1—
GSM8K (Grade School Math 8K)46.7%0-shot CoT
MATH40.6%0-shot CoT
BBH (BIG-Bench Hard)67.2%3-shot CoT
GPQA36.6%0-shot
IFEval53.8%prompt_strict
ARC91.2%challenge
MUSR53.1%0-shot
WinoGrande70.4%0-shot

Цены

ВходВыходЧтение кэшаЗапись кэша
————

за миллион токенов

Сильные стороны

  • 可靠的通用模型。

Слабые стороны

  • 闭源专有模型，不支持自托管。
  • 上下文窗口 16K 偏小。

Сценарии

  • 代码生成与调试

Ссылки