53 lines
1.4 KiB
Markdown
53 lines
1.4 KiB
Markdown
# LLM API 基准测试工具
|
||
|
||
这是一个用于测试兼容OpenAI风格API的LLM性能基准测试工具。该工具支持动态生成提示词、高并发请求和详细的性能报告。
|
||
|
||
## 功能特点
|
||
|
||
- **API兼容性**：支持OpenAI Compatible风格的LLM API
|
||
- **提示词生成**：
|
||
- 集成tiktoken-go/tokenizer
|
||
- 自动生成短咨询提示词（50 tokens ±5%）和长文档提示词（1000 tokens ±5%）
|
||
- 基于模板动态调整至目标Token数
|
||
- **并发请求**：支持高并发异步请求，模拟真实负载
|
||
- **场景建模**：支持混合负载（短咨询70%，长文档30%）
|
||
- **用户行为模拟**：请求间隔遵循泊松分布
|
||
- **梯度增压**：支持阶梯式加压（50→200→500并发）
|
||
- **性能指标收集**：响应时间、QPS、Token生成速率等
|
||
- **报告生成**：生成包含性能指标统计和可视化图表的质量报告
|
||
|
||
## 安装
|
||
|
||
```bash
|
||
git clone https://github.com/yourusername/llm-api-benchmark-tool.git
|
||
cd llm-api-benchmark-tool
|
||
go mod download
|
||
```
|
||
|
||
## 使用方法
|
||
|
||
1. 配置 `config.yaml` 文件：
|
||
|
||
```yaml
|
||
api:
|
||
endpoint: "https://api.example.com/v1/completions"
|
||
api_key: "your_api_key"
|
||
model: "gpt-3.5-turbo"
|
||
```
|
||
|
||
2. 运行测试：
|
||
|
||
```bash
|
||
go run main.go -config config.yaml
|
||
```
|
||
|
||
3. 查看生成的报告（位于 `reports` 目录）
|
||
|
||
## 配置说明
|
||
|
||
详细配置选项请参考 [配置文档](docs/configuration.md)。
|
||
|
||
## 许可证
|
||
|
||
MIT
|