LLM API 基准测试工具

这是一个用于测试兼容OpenAI风格API的LLM性能基准测试工具。该工具支持动态生成提示词、高并发请求和详细的性能报告。

功能特点

  • API兼容性:支持OpenAI Compatible风格的LLM API
  • 提示词生成:
    • 集成tiktoken-go/tokenizer
    • 自动生成短咨询提示词(50 tokens ±5%)和长文档提示词(1000 tokens ±5%)
    • 基于模板动态调整至目标Token数
  • 并发请求:支持高并发异步请求,模拟真实负载
  • 场景建模:支持混合负载(短咨询70%,长文档30%)
  • 用户行为模拟:请求间隔遵循泊松分布
  • 梯度增压:支持阶梯式加压(50→200→500并发)
  • 性能指标收集:响应时间、QPS、Token生成速率等
  • 报告生成:生成包含性能指标统计和可视化图表的质量报告

安装

git clone https://github.com/yourusername/llm-api-benchmark-tool.git
cd llm-api-benchmark-tool
go mod download

使用方法

  1. 配置 config.yaml 文件:
api:
  endpoint: "https://api.example.com/v1/completions"
  api_key: "your_api_key"
  model: "gpt-3.5-turbo"
  1. 运行测试:
go run main.go -config config.yaml
  1. 查看生成的报告(位于 reports 目录)

配置说明

详细配置选项请参考 配置文档。

许可证

MIT

S
Description
No description provided
Readme
41 MiB
0 Stars 1 Watchers 0 Forks
Languages
Go 61.3%
HTML 38.7%