MoodScope · 心情检测

跨模态特征融合的细粒度文本-图像情绪识别

正在检查引擎…

输入

文本、图片可单独使用,也可以同时输入做跨模态融合
文本 0/2000
图像 人脸表情识别
点击选择 / 拖入照片 也可以直接 Ctrl+V 粘贴截图,支持 JPG / PNG / WebP

检测结果

🙂

还没有结果

输入一段文字或上传一张人脸照片,点击「开始检测」

历史记录

  • 暂无记录
算法说明(与论文的对应关系)
  1. 文本分支:中文情绪词典 + 最大匹配分词 + 否定/程度作用域分析 + 转折结构加权 + 语气符号调制 → 8 类情绪分布。
  2. 图像分支:YuNet 检测人脸 5 点关键点 → 相似变换(旋转/缩放/平移)做 STN 式空间对齐 → ViT 表情模型 → 7 类表情投影到同一 8 维情绪空间。
  3. 跨模态门控融合:联合表示 x = concat(f文本, f图像);全局上下文 s;门控 g = 1 + tanh(Wgs + bg)(对应论文中对 GCT 的改进,避免 sigmoid 梯度消失);通道重加权 x′ = x ⊙ g;softmax 输出。
  4. 维度输出:离散分布按环形模型锚点投影为 valence / arousal。

完整可训练版本(BiLSTM + STN + 门控融合 + W-MSA 全局特征块)见代码仓库 training/ 目录。