High Throughput Inference: AI Model Selection Guide

High Throughput Inference

نظرة عامة على حالة الاستخدام

This page focuses on the High Throughput Inference use case, covering core requirements, recommended models, and evaluation criteria.

معايير الاختيار

• 开源权重许可

معايير التقييم

• 开源权重许可

أفضل الممارسات

• 提供系统提示以建立上下文
• 监控 token 用量与成本

النماذج الموصى بها

See the recommended models list for this use case (path: /en/use-cases/high-throughput/).