llm-api-benchmark-tool/README.md

LLM API 基准测试工具

这是一个用于测试兼容OpenAI风格API的LLM性能基准测试工具。该工具支持动态生成提示词、高并发请求和详细的性能报告。

功能特点

• API兼容性：支持OpenAI Compatible风格的LLM API
• 提示词生成：
  • 集成tiktoken-go/tokenizer
  • 自动生成短咨询提示词（50 tokens ±5%）和长文档提示词（1000 tokens ±5%）
  • 基于模板动态调整至目标Token数
• 并发请求：支持高并发异步请求，模拟真实负载
• 场景建模：支持混合负载（短咨询70%，长文档30%）
• 用户行为模拟：请求间隔遵循泊松分布
• 梯度增压：支持阶梯式加压（50→200→500并发）
• 性能指标收集：响应时间、QPS、Token生成速率等
• 报告生成：生成包含性能指标统计和可视化图表的质量报告

安装

git clone https://github.com/yourusername/llm-api-benchmark-tool.git
cd llm-api-benchmark-tool
go mod download

使用方法

1. 配置 config.yaml 文件：

api:
  endpoint: "https://api.example.com/v1/completions"
  api_key: "your_api_key"
  model: "gpt-3.5-turbo"

2. 运行测试：

go run main.go -config config.yaml

3. 查看生成的报告（位于 reports 目录）

配置说明

详细配置选项请参考 配置文档。

许可证

MIT