| # 音频数据集处理工具 | |
| 本工具用于处理音频数据集，支持音频切割、转录和人工验证功能。 | |
| ## 功能特性 | |
| ### 1. 音频处理和切割 | |
| - 基于振幅和VAD(Voice Activity Detection)的音频切割 | |
| - 自动过滤无效的短音频片段 | |
| - 保存切割后的音频片段到指定目录 | |
| ### 2. 音频转录 | |
| - 使用faster-whisper模型进行音频转录 | |
| - 支持批量处理音频片段 | |
| - 保存带时间戳的转录文本 | |
| ### 3. 聚合转录 | |
| - 支持将多个连续片段聚合后进行整体转录 | |
| - 提高语义连贯性和转录准确度 | |
| - 适用于语义上相关的连续语音片段 | |
| ### 4. 人工验证界面 | |
| - 交互式验证转录结果 | |
| - 支持修改转录文本 | |
| - 添加验证注释 | |
| - 保存验证状态 | |
| ## 项目结构 | |
| ``` | |
| faster-whisper-small/ | |
| ├── vad/ # VAD音频处理工具目录 | |
| │ ├── audio_processor.py # 音频处理核心代码 | |
| │ ├── audio_transcriber.py# 音频转录核心代码 | |
| │ ├── main.py # 命令行入口 | |
| │ └── README.md # 使用说明文档 | |
| ├── dataset/ # 数据集目录 | |
| │ ├── audio/ # 存放原始音频文件 | |
| │ │ └── segments/ # 存放切割后的音频片段 | |
| │ └── transcripts/ # 存放转录和验证结果 | |
| ├── ct2_model/ # faster-whisper模型文件 | |
| └── whisper_processor/ # whisper处理器文件 | |
| ``` | |
| ## 使用方法 | |
| ### 1. 安装依赖 | |
| ```bash | |
| pip install -r requirements.txt | |
| ``` | |
| ### 2. 处理新的音频文件 | |
| ```bash | |
| # 在项目根目录下运行 | |
| python vad/main.py process dataset/audio/test1.wav | |
| ``` | |
| 这个命令会： | |
| 1. 将音频切割成多个片段 | |
| 2. 对每个片段进行转录 | |
| 3. 保存结果到JSON文件 | |
| ### 3. 验证已有的转录结果 | |
| ```bash | |
| # 在项目根目录下运行 | |
| python vad/main.py verify dataset/transcripts/your_transcript.json | |
| ``` | |
| ### 4. 聚合转录连续片段 | |
| ```bash | |
| # 在项目根目录下运行 | |
| python vad/main.py aggregate --segments "0,1,2" | |
| ``` | |
| 这个命令会： | |
| 1. 自动查找已处理的音频片段 | |
| 2. 聚合指定的连续片段（这里是索引为0、1、2的片段） | |
| 3. 对聚合后的音频进行整体转录 | |
| 4. 保存结果到JSON文件 | |
| 参数说明： | |
| - `--segments`: 指定要聚合的片段索引，用逗号分隔，索引从0开始（必需） | |
| ## 参数调整 | |
| 可以通过修改 `vad/audio_processor.py` 中的参数来优化切割效果： | |
| ```python | |
| processor = AudioProcessor( | |
| vad_level=2, # VAD灵敏度 (0-3) | |
| min_silence_duration=0.5, # 最小静音持续时间（秒） | |
| min_speech_duration=0.3, # 最小语音片段长度（秒） | |
| amplitude_threshold=0.01 # 振幅阈值 | |
| ) | |
| ``` | |
| ## 输出文件格式 | |
| ### 1. 音频片段 | |
| 切割后的音频片段保存为WAV格式，采样率为16kHz，命名格式为： | |
| ``` | |
| {原文件名}_segment_{序号}.wav | |
| ``` | |
| ### 2. 转录结果 | |
| 转录结果保存为JSON格式，包含以下信息： | |
| ```json | |
| { | |
| "audio_file": "dataset/audio/meeting_001.wav", | |
| "timestamp": "20250422_182233", | |
| "segments": [ | |
| { | |
| "text": "今天的会议主要讨论两个议题。", | |
| "start_time": 0.0, | |
| "end_time": 2.5, | |
| "confidence": 0.92, | |
| "verified": true, | |
| "verified_text": null, | |
| "verification_notes": "转录正确" | |
| }, | |
| { | |
| "text": "第一个是项目进度报告。", | |
| "start_time": 2.8, | |
| "end_time": 4.6, | |
| "confidence": 0.88, | |
| "verified": true, | |
| "verified_text": "第一个是项目进度汇报", | |
| "verification_notes": "纠正：'报告'改为'汇报'" | |
| }, | |
| { | |
| "text": "第二个是下个月的工作计划", | |
| "start_time": 5.0, | |
| "end_time": 7.2, | |
| "confidence": 0.95, | |
| "verified": false, | |
| "verified_text": null, | |
| "verification_notes": null | |
| } | |
| ] | |
| } | |
| ``` | |
| 这个示例展示了： | |
| 1. 已验证且正确的片段（第一个） | |
| 2. 已验证且需要修正的片段（第二个） | |
| 3. 未验证的片段（第三个） | |
| 使用以下命令验证此转录： | |
| ```bash | |
| python vad/main.py verify dataset/transcripts/meeting_001_20250422_182233.json | |
| ``` | |
| ## 注意事项 | |
| 1. 音频文件要求： | |
| - 支持常见音频格式（WAV, MP3, M4A等） | |
| - 建议使用16kHz采样率 | |
| - 如果是多声道音频会自动转换为单声道 | |
| 2. 聚合转录建议： | |
| - 建议聚合语义上相关的连续片段 | |
| - 聚合片段不宜过多，建议不超过5个片段 | |
| - 聚合转录适合解决单独转录时出现的语义断裂问题 | |
| 3. 性能考虑： | |
| - 转录速度取决于CPU性能和音频长度 | |
| - 较长的音频文件会被自动切割成小片段处理 | |
| - 聚合转录可能需要更多内存和处理时间 | |
| 4. 后续优化方向： | |
| - 优化切割策略 | |
| - 添加批量处理功能 | |
| - 改进语义重组算法 | |
| - 添加GUI界面 | |
| - 自动检测适合聚合的片段 | |