Gemini 2.0 Flash: Complete Benchmark Performance Guide

google 2.0-flash 2024-12-11 Proprietary

In-depth analysis of Gemini 2.0 Flash performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorgoogle
Version2.0-flash
Release Date2024-12-11
Context Window1.048576e+06 tokens
Input Modalitiestext, image, audio, video
Output Modalitiestext
LicenseProprietary
Documentationhttps://ai.google.dev/gemini-api/docs

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU86.3%2024-12-115-shotview
HUMANEVAL90.7pass@12024-12-11—view
GSM8K92.7%2024-12-110-shot CoTview
MATH71.3%2024-12-110-shot CoTview
BBH83.4%2024-12-113-shot CoTview
GPQA55%2024-12-110-shotview
IFEVAL85.9%2024-12-11prompt_strictview
ARC95.7%2024-12-11challengeview
MUSR69.3%2024-12-110-shotview
WINOGRANDE89.5%2024-12-110-shotview

Pricing

TierPriceCurrency
Input$0.1 / MtokUSD
Output$0.4 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://ai.google.dev/pricing · as of 2024-12-11

Compliance

  • Data Residency: US
  • SOC2: ✓
  • HIPAA: ✗
  • GDPR: ✓
  • ISO 27001: ✓

Gemini 2.0 Flash

Обзор модели

Google Gemini 2.0 Flash 新一代模型, 1M 上下文, 原生工具调用与多模态输出, 性能超越 1.5 Pro。

Основные характеристики

ПоставщикВерсияДата выпускаОкно контекстаВходные модальностиВыходные модальностиЛицензия
Google2.0-flash2024-12-111048Ktext, image, audio, videotextProprietary

Производительность

БенчмаркОчкиЕдиницаПримечания
MMLU (Massive Multitask Language Understanding)86.3%5-shot
HumanEval90.7pass@1—
GSM8K (Grade School Math 8K)92.7%0-shot CoT
MATH71.3%0-shot CoT
BBH (BIG-Bench Hard)83.4%3-shot CoT
GPQA55.0%0-shot
IFEval85.9%prompt_strict
ARC95.7%challenge
MUSR69.3%0-shot
WinoGrande89.5%0-shot

Цены

ВходВыходЧтение кэшаЗапись кэша
————

за миллион токенов

Сильные стороны

  • MMLU score 86.3, strong knowledge reasoning.
  • HumanEval 90.7, excellent code generation.
  • GSM8K 92.7, robust math reasoning.
  • 支持文本、图像、音频多模态输入。

Слабые стороны

  • 闭源专有模型，不支持自托管。

Сценарии

  • 代码生成与调试
  • 视觉与图像理解
  • Agent 工作流与工具调用

Ссылки