# LLM API 基准测试工具

这是一个用于测试兼容OpenAI风格API的LLM性能基准测试工具。该工具支持动态生成提示词、高并发请求和详细的性能报告。

## 功能特点

- **API兼容性**：支持OpenAI Compatible风格的LLM API
- **提示词生成**：
  - 集成tiktoken-go/tokenizer
  - 自动生成短咨询提示词（50 tokens ±5%）和长文档提示词（1000 tokens ±5%）
  - 基于模板动态调整至目标Token数
- **并发请求**：支持高并发异步请求，模拟真实负载
- **场景建模**：支持混合负载（短咨询70%，长文档30%）
- **用户行为模拟**：请求间隔遵循泊松分布
- **梯度增压**：支持阶梯式加压（50→200→500并发）
- **性能指标收集**：响应时间、QPS、Token生成速率等
- **报告生成**：生成包含性能指标统计和可视化图表的质量报告

## 安装

```bash
git clone https://github.com/yourusername/llm-api-benchmark-tool.git
cd llm-api-benchmark-tool
go mod download
```

## 使用方法

1. 配置 `config.yaml` 文件：

```yaml
api:
  endpoint: "https://api.example.com/v1/completions"
  api_key: "your_api_key"
  model: "gpt-3.5-turbo"
```

2. 运行测试：

```bash
go run main.go -config config.yaml
```

3. 查看生成的报告（位于 `reports` 目录）

## 配置说明

详细配置选项请参考 [配置文档](docs/configuration.md)。

## 许可证

MIT