README.md

---
title: AiRoom
app_file: app.py
sdk: gradio
sdk_version: 5.20.1
---
# AiRoom - AI辅助室内设计工具

## 项目简介

AiRoom是一个基于AI技术的室内设计辅助工具，通过结合ControlNet和Stable Diffusion模型，实现对室内场景的全局风格调整和局部区域风格定制。该工具提供了直观的交互式界面，使用户能够轻松地对室内设计进行创意探索和风格转换，并支持相似图像搜索功能，帮助用户发现灵感。

## 功能特点

- **全局风格调整**：使用ControlNet保持原始空间布局的同时，通过Stable Diffusion调整整体风格
- **局部风格调整**：针对特定区域（如墙壁、地板、家具等）进行风格定制，保持其他区域不变
- **相似图像搜索**：基于CLIP和FAISS实现的高效图像相似性搜索，帮助用户发现相似设计方案
- **交互式界面**：基于Gradio构建的用户友好界面，支持实时预览和参数调整
- **多方案生成**：每次生成多个设计方案供用户选择，以2x2网格形式展示
- **区域智能识别**：自动分析图像中的不同功能区域，无需手动标注

## 安装说明

### 环境要求

- Python 3.8+
- CUDA支持的GPU (推荐8GB+显存)

### 安装步骤

1. 克隆本仓库到本地：

```bash
git clone https://github.com/yourusername/AiRoom.git
cd AiRoom
```

2. 创建并激活虚拟环境（推荐）：

```bash
# 使用Conda创建虚拟环境
conda create -n Airoom python=3.10
conda activate Airoom

# 或使用venv创建虚拟环境
python -m venv Airoom
# Windows激活
Airoom\Scripts\activate
# Linux/Mac激活
source Airoom/bin/activate
```

3. 安装依赖包：

```bash
# 安装PyTorch（根据您的CUDA版本选择适当的命令）
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装项目依赖
pip install -r requirements.txt
```

4. 下载必要资源：

```bash
python download_resources.py
```

## 使用指南

1. 启动应用：

```bash
python app.py
```

2. 在浏览器中访问显示的本地URL（通常为 http://127.0.0.1:7860）

3. 使用流程：
   - 首先点击"加载模型"按钮，等待所有模型加载完成
   - 选择功能模式（通过顶部选项卡：全局风格调整、局部风格调整或相似图像搜索）
   - 上传室内场景图片或使用示例图片
   - 点击"分析图像结构"按钮处理输入图像
   - 根据需要调整参数
   - 点击"生成设计方案"按钮创建新设计
   - 从生成的多个设计方案中选择喜欢的结果
   - 可选择保存设计方案供后续参考或搜索

## 功能详解

### 全局风格调整

全局风格调整功能允许用户保持原始空间布局的同时，改变整个场景的设计风格。用户可以：

- 输入详细的风格描述提示词（可从预设列表中选择或自定义）
- 选择房间类型（卧室、客厅、厨房等）
- 选择风格主题（现代、北欧、工业风等）
- 调整推理步数（影响生成质量和时间）
- 调整引导比例（影响生成结果对提示词的遵循程度）
- 同时生成4个不同的设计方案进行比较
- 选择并保存喜欢的设计方案

工作原理：
- 使用MLSD检测器提取房间的线条结构，生成控制图像
- ControlNet确保生成的图像保持原始空间布局和结构
- Stable Diffusion根据提示词和控制图像生成符合要求的设计风格

### 局部风格调整

局部风格调整功能允许用户针对场景中的特定区域进行风格定制，而保持其他区域不变。用户可以：

- 从下拉菜单中选择要调整的区域（墙壁、地板、家具等）
- 查看所选区域的掩码预览（红色半透明覆盖显示选中区域）
- 输入针对该区域的风格描述提示词
- 调整区域变化的强度和细节
- 生成保持整体结构的局部风格变化

工作原理：
- 使用Mask2Former模型进行语义分割，识别图像中的不同功能区域
- 将识别的区域转换为掩码，供用户选择
- 结合ControlNet和Stable Diffusion Inpainting进行局部区域的风格调整
- 保持未选中区域不变，只修改选中区域的风格

### 相似图像搜索

相似图像搜索功能利用CLIP模型和FAISS索引，帮助用户查找与参考图像风格相似的设计方案。用户可以：

- 上传参考图像
- 设置搜索结果数量（2-8个）
- 查看以2x2网格布局展示的相似图像结果
- 查看每个结果的相似度百分比
- 通过"重建图像索引"按钮更新索引，包含新生成的设计方案

工作原理：
- 使用CLIP模型提取图像的语义特征向量
- FAISS索引存储所有已生成设计方案的特征向量
- 搜索时计算查询图像与索引中所有图像的余弦相似度
- 返回相似度最高的图像作为结果

## 项目结构

- `app.py`：主应用程序，包含Gradio界面和核心功能实现（全局风格调整、局部风格调整、相似图像搜索）
- `download_resources.py`：下载必要模型和资源的工具脚本
- `requirements.txt`：项目依赖列表
- `resources/`：存放模型、图像和标签数据的目录
  - `models/`：存储AI模型（Mask2Former、ControlNet、Stable Diffusion等）
  - `images/`：存储示例和生成的图像
  - `labels/`：存储标签数据（如ADE20K数据集标签）
  - `output/`：存储生成的设计方案
    - `global_style/`：全局风格调整生成的图像
    - `local_style/`：局部风格调整生成的图像
  - `features/`：存储图像特征和索引文件（用于相似图像搜索）
    - `image_features.index`：FAISS索引文件
    - `image_metadata.pkl`：图像元数据文件

## 技术实现

项目使用了多种先进的AI模型和技术：

- **Mask2Former**：用于场景语义分割，识别不同功能区域（如墙壁、地板、家具等）
- **ControlNet (MLSD)**：保持原始场景的结构和布局，通过线条检测提供控制指导
- **Stable Diffusion**：生成符合提示词描述的图像内容
- **Stable Diffusion Inpainting**：针对特定区域进行图像修复和风格转换
- **CLIP**：提取图像特征，用于相似性搜索和语义理解
- **FAISS**：高效的向量相似性搜索库，支持大规模图像检索
- **Gradio**：构建直观的用户界面，支持交互式操作和实时预览
- **PyTorch**：深度学习框架，支持GPU加速的模型推理

模型加载策略：
- 使用`torch.float16`精度减少内存占用
- 实现模型CPU卸载以优化内存使用
- 支持xformers内存优化（如果安装）
- 从本地缓存加载模型，避免重复下载

## 注意事项

- 首次运行时需要下载较大的模型文件（约10GB），请确保有足够的磁盘空间和稳定的网络连接
- 生成过程可能需要较长时间，取决于您的硬件配置（推荐使用NVIDIA GPU）
- 为获得最佳效果，建议使用清晰的室内场景照片作为输入
- 相似图像搜索功能需要先生成并保存一些设计方案才能有效工作
- 调整推理步数可以平衡生成质量和速度，通常20-30步可以获得不错的结果
- 调整引导比例可以控制生成结果的创意程度，较高的值（7-9）会更严格遵循提示词

## 许可证

[在此添加您的许可证信息]

## 致谢

本项目基于以下开源项目和模型：

- [Hugging Face Diffusers](https://github.com/huggingface/diffusers)
- [ControlNet](https://github.com/lllyasviel/ControlNet)
- [Mask2Former](https://github.com/facebookresearch/Mask2Former)
- [CLIP](https://github.com/openai/CLIP)
- [FAISS](https://github.com/facebookresearch/faiss)
- [Gradio](https://github.com/gradio-app/gradio)

## 联系方式

[在此添加您的联系信息]