type
date
slug
summary
tags
category
icon
password
Publication Date
Link
Shot Title
Author/Team
Fields
Publication
Notes
Status
status
 
💡
Notion Tip: Use this page to keep track of all your notes and highlights. You can also reference other Notion pages by typing the [[ command. Learn more here.
 
notion image
 
Fast ReviewShot AbstractNotesKey takeawaysSummaryMy Note1. Blink 基准测试，包括 14 类视觉相关任务2. 最新 MLLM 在 Blink 上的测试AI-assistant Summary1. Task：这篇文章所做的任务是什么？ (包括输入、输出，一般用于哪些场景中)2. Aspect: 这篇文章中，主要面对这个任务，发现之前工作有哪些不足？ (一般在 Abstract 、Introduction中的转折语气后)3. Motivation: 在发现已有工作后，该文章作者又是如何考虑的，他们进行改进的出发点，或者说motivation是什么？（主要是一句话说清楚，他们是从哪个角度去思考问题去解决问题的）4. Methods: 该文章提出的方法有哪些？主要是哪些方面上的改进，比如 是模型结构上的改进，还是训练方法上的改进，或者是使用数据的改进 ， 这些具体改进的策略或者动机是啥？5. Experiment: 该文章中是如何进行实验进行测试实验的？他们训练的模型是基于什么模型改进的(重要)，用了哪些数据，用了多少训练资源(用的啥GPU，训练了多久)，测试了哪些数据？ 他们的实验如何证明了他们方法的有效性？ 有多有效？ 还存在哪些缺陷？6. Summary : 帮我根据我的总结，提炼一下这篇论文，提取成合适的总结格式，这个也需要请你帮我想一个好的格式。
 

Fast Review

Shot Abstract

 
多模态大模型难以拥有的视觉感知能力，现有评测都没有重点关注的任务合集。文中提出 Blink 评测基准，目标是瞄准那些人眼能很快完成的视觉任务，但是大模型却难以处理。这些任务通常难以用文本描述来进行表达。并且对现有开源、闭源的多模态大模型进行测试时发现，虽然这些问题对人类来说很容易（平均准确率95.70%），但机器很难解决——GPT-4V模型的平均准确率只有51.26%，比人类低44.44%，仅比随机猜测高13.17%。
 
新基准、视觉任务、新的能力挑战

Notes

 
1. Blink 基准测试，包括 14 类视觉相关任务
2. 最新 MLLM 在 Blink 基准上的情况
 
notion image
 

Key takeaways

 
文中发现一个观点，就是很多的多模态大模型，虽然能够做好视觉识别任务，但是当他们遇到一些难以用语言描述的视觉信息情况时，表现的很弱的性能。例如 拼图、空间推理 等等。文中则将这种情况称为模型无法对视觉内容进行充分认知，视觉中的丰富隐藏信息并不能被利用。
 
这也导致很多的模型智能完成一些基础简单的模型，而高级一些的视觉相关任务，难以被大模型解决，即使这些任务能够被人类 “瞥一眼 Blink” 就能解决。
 
MLLM 可以看到视觉信息，但是无法认知视觉内容。
 

Summary

 
核心工作
  1. 设计全面评估基准，包含14个视觉理解任务
  1. 采用标准化多选题格式，确保评估的可比性
  1. 构建层次化评估体系，从基础到高级视觉认知能力
 
实验发现
  1. 模型表现
      • 在高级任务上表现较好
      • 基础视觉能力仍有明显不足
      • 跨任务性能差异显著
  1. 能力边界
      • 基础视觉理解是瓶颈
      • 空间推理能力有限
      • 需要更强的底层视觉处理能力
 
关键观点
  1. 现有评估过于关注高级任务，忽视基础能力
  1. 基础视觉理解对多模态模型至关重要
  1. 标准化评估对模型发展具有指导意义
 
未来方向
  1. 加强模型基础视觉能力训练
  1. 完善评估基准的覆盖面
  1. 深入研究模型视觉认知机制
 
 

My Note

 

1. Blink 基准测试，包括 14 类视觉相关任务

评估多模态大模型在14个基础视觉感知任务上的能力,包括三种级别：初级、中级、高级 等。
 
low-level pattern matching : 视觉对应 Visual correspondence 、 视觉对比度估计 Relative reflectance
 
mid-level spatial reasoning ：相对深度估计 Relative depth 、空间推理 Spatial relation 、 多图推理 Multi-view reasoning 、 拼图 Jigsaw
 
high-level visual understanding : 相似风格估计 Art style 、 目标定位 Object localization 、 计数 Counting 、 真实/合成 图像检测 Forensic detection 、 图像智力测试 IQ test 、 视觉相似性估计 Visual similarity 、 语义对应 Semantic correspondence 、 功能对应 Functional correspondence
 
notion image
 
这些任务基本上都是 多选(A,B,C,D) 或 判断(Yes/No) 类型的形式。但是会要求模型对其选择的答案进行对应的解释。
 
1. 视觉对应 (Visual Correspondence)
目标: 评估模型在不同视角、光照条件或时间下识别相同场景点的能力 数据来源: HPatches数据集 任务设置:
  • 随机选择两张同一场景的不同图片
  • 在其中标注一个兴趣点
  • 使用真实的单应性矩阵(homography)计算对应点
  • 随机选择三个额外的兴趣点作为干扰选项
2. 相对反射率 (Relative Reflectance)
目标: 比较两个像素点的反射率,评估模型对材质特性和光线交互的理解 数据来源: Intrinsic Images in the Wild (IIW)数据集 任务设置:
  • 给定一张图片和两个指定点
  • 判断哪个点更暗,或两点反射率是否相似
3. 相对深度 (Relative Depth)
目标: 评估模型的几何理解能力,模仿人类判断深度的能力 数据来源: Depth in the Wild数据集 任务设置:
  • 给定一张图片和两个指定点
  • 判断哪个点距离更近
4. 空间关系 (Spatial Relation)
目标: 评估模型对场景中物体空间关系的理解 数据来源: Visual Spatial Reasoning数据集 任务设置:
  • 给定一张图片和一个陈述
  • 判断陈述是否正确
  • 使用GPT-3.5将陈述重新格式化为二元问题
5. 多视图推理 (Multi-view Reasoning)
目标: 评估模型理解多视角场景的能力 数据来源: Wild6D数据集 任务设置:
  • 从视频中随机选择两帧
  • 简化为判断相机向左移动还是向右移动
  • 虽然问题简单,但对模型仍具有挑战性
6. 拼图 (Jigsaw)
目标: 评估模型识别和组合图案的能力 数据来源: TARA数据集 任务设置:
  • 将图片分成3x3网格
  • 保留左上角三个片段作为参考
  • 在中心片段和随机片段中选择正确的配对
7. 艺术风格 (Art Style)
目标: 评估模型分析和识别艺术风格相似性的能力 数据来源: WikiArt 任务设置:
  • 给定一幅参考画作和两幅其他画作
  • 选择与参考画作风格最接近的一幅
8. 物体定位 (Object Localization)
目标: 评估精确定位物体的能力 数据来源: LVIS数据集 任务设置:
  • 随机选择一个物体及其真实边界框
  • 添加高斯噪声创建干扰边界框
  • 选择正确的边界框
9. 计数 (Counting)
目标: 评估检测、识别和组合推理能力 数据来源: TallyQA数据集 任务设置:
  • 包含图片、问题和数字答案
  • 随机选择三个数字作为干扰选项
10. 取证检测 (Forensic Detection)
目标: 评估识别真实和合成图像的能力 数据来源:
  • 使用Stable Diffusion XL生成合成图像
  • 使用COCO数据集的描述搜索真实图片 任务设置: 在相似场景的真实和合成图像中识别真实图像
11. 智力测试 (IQ Test)
目标: 评估图形推理能力 数据来源: 手动收集的公开许可的在线资源 任务设置:
  • 给定视觉示例和多个图像选项
  • 识别符合模式或空间一致性的图像
12. 视觉相似度 (Visual Similarity)
目标: 评估对视觉特征、模式和美学的理解 数据来源: DreamSim数据集 任务设置:
  • 给定一张参考图片和两张备选图片
  • 选择视觉上最相似的图片
13. 语义对应 (Semantic Correspondence)
目标: 识别不同图像中语义相似的元素 数据来源: SPair-71k数据集 任务设置:
  • 在一张图片中随机选择一个语义点作为参考
  • 在配对图片中提供正确匹配点和三个随机语义点作为选项
14. 功能对应 (Functional Correspondence)
目标: 识别物体间功能相似的点 数据来源: FunKPoint数据集 任务设置:
  • 提供一个动作和两张物体图片
  • 一张图片包含参考点
  • 另一张图片提供四个可能的点
  • 选择在功能上最匹配的点
 
notion image
 

2. 最新 MLLM 在 Blink 上的测试

 
notion image
 
notion image
 
notion image
 
notion image
 
 

AI-assistant Summary

 
帮我总结一下这几个问题：

1. Task：这篇文章所做的任务是什么？ (包括输入、输出，一般用于哪些场景中)

 
这篇文章提出了新的多模态大语言模型基准测试集 Blink,主要用于评估模型的视觉感知能力。
 
输入输出:
  • 输入: 3,807个多选题(包含7,358张图片)、视觉提示(圆圈、方框等标注)
  • 输出: 多选题答案(A/B/C/D)
 
使用场景: 评估多模态大模型在14个基础视觉感知任务上的能力,包括三种级别：初级、中级、高级 等。
 
low-level pattern matching : 视觉对应 Visual correspondence 、 视觉对比度估计 Relative reflectance
 
mid-level spatial reasoning ：相对深度估计 Relative depth 、空间推理 Spatial relation 、 多图推理 Multi-view reasoning 、 拼图 Jigsaw 、
 
high-level visual understanding : 相似风格估计 Art style 、 目标定位 Object localization 、 计数 Counting 、 真实/合成 图像检测 Forensic detection 、 图像智力测试 IQ test 、 视觉相似性估计 Visual similarity 、 语义对应 Semantic correspondence 、 功能对应 Functional correspondence
 
"Blink consists of 14 classic computer vision tasks, ranging from low-level pattern matching to mid-level reasoning, and extending to high-level visual understanding."
 
 

2. Aspect: 这篇文章中，主要面对这个任务，发现之前工作有哪些不足？ (一般在 Abstract 、Introduction中的转折语气后)

 
 
文章发现现有工作主要存在以下不足:
"While many of these benchmarks have been popularized as the de facto evaluation measures for influential models like GPT-4V and Gemini-Pro, they conflate perception with language knowledge and reasoning."
 
主要问题包括过度依赖语言知识而非视觉感知、可以通过密集文字描述替代图像完成任务、缺乏对基础视觉感知能力的评估。这导致现有的评估方法无法真实反映模型的视觉理解能力。
 

3. Motivation: 在发现已有工作后，该文章作者又是如何考虑的，他们进行改进的出发点，或者说motivation是什么？（主要是一句话说清楚，他们是从哪个角度去思考问题去解决问题的）

 
作者希望重新关注传统计算机视觉中的基础感知能力,让多模态模型不仅停留在语言层面的理解。
"Compared to today, computer vision was originally attempting to interpret images as projections of 3D scenes, not just processing 2D arrays of flat 'patterns'."
 
核心目标是通过这个基准测试来评估模型的真实视觉感知能力,并激励社区帮助多模态LLM达到人类级别的视觉感知水平。
 
 

4. Methods: 该文章提出的方法有哪些？主要是哪些方面上的改进，比如 是模型结构上的改进，还是训练方法上的改进，或者是使用数据的改进 ， 这些具体改进的策略或者动机是啥？

 
主要创新在于数据集的设计方法:
"To guarantee the quality of Blink, we manually go through all collected data and filter out data that are ambiguous."
 
具体包括:
  • 任务重设计: 将传统CV任务转化为多选题形式,使用视觉提示精确定位关注区域
  • 多维度评估: 涵盖从像素级到图像级的任务、从低级模式匹配到高级视觉理解
  • 质量控制: 人工审核所有数据以确保质量
 

5. Experiment: 该文章中是如何进行实验进行测试实验的？他们训练的模型是基于什么模型改进的(重要)，用了哪些数据，用了多少训练资源(用的啥GPU，训练了多久)，测试了哪些数据？ 他们的实验如何证明了他们方法的有效性？ 有多有效？ 还存在哪些缺陷？

 
测试对象包括17个不同规模(7B、13B、34B)的多模态LLM,如 GPT-4V、Gemini Pro、LLaVA系列等。
 
关键结果:
  • 人类基准: 平均准确率95.70%
  • 最佳模型: GPT-4V(51.26%)、Gemini(45.72%),仅比随机猜测高13.17%和7.63%
 
主要发现:
"For example, the specialist outperforms GPT-4V by 62.8% on visual correspondence estimation, 38.7% on relative depth estimation, and 34.6% on multi-view reasoning"
现有多模态模型在基础视觉感知任务上表现不佳,而专门的计算机视觉模型表现更好。
 
局限性: 数据集仅使用现有图像数据集、部分任务(如取证检测)的数据收集可能存在版权问题。
 
请你帮我根据这篇论文的内容，帮我回答出这些问题，这些问题是文章中都会提到的，你最好的回答方式是，引用他文章的原话，再加上自己的补充来回答这些问题。
 

6. Summary : 帮我根据我的总结，提炼一下这篇论文，提取成合适的总结格式，这个也需要请你帮我想一个好的格式。

 
任务：
  • 构建全面的多模态大语言模型评估基准
  • 设计14个细粒度的视觉理解任务
  • 评估模型在基础视觉能力到高级认知推理的表现
挑战：
  1. 现有评估方法过于关注高级视觉任务，忽视基础视觉能力
  1. 缺乏对模型底层视觉理解能力的系统评估
  1. 评估任务设计需要平衡难度和可解释性
思路：
  1. 将复杂的视觉理解任务转化为标准化的多选题格式
  1. 设计从基础到高级的层次化评估体系
  1. 确保每个测试样本使用唯一图像，避免数据重叠
核心方法：
  1. 任务设计：
      • 基础视觉能力：视觉对应、相对反射率、相对深度
      • 空间理解：空间关系、多视图推理、拼图
      • 高级认知：艺术风格、物体定位、计数
      • 综合能力：取证检测、智力测试、视觉相似度
      • 语义理解：语义对应、功能对应
  1. 数据收集：
      • 利用现有高质量数据集（如HPatches、IIW、LVIS等）
      • 人工标注和筛选
      • 自动生成与人工验证相结合
实验情况：
  • 评估对象：主流多模态大语言模型
  • 评估维度：14个细分任务
  • 评估指标：准确率、一致性、鲁棒性
主要贡献：
  1. 提出首个全面的多模态模型基础视觉能力评估基准
  1. 设计标准化的多选题评估格式，提高评估效率和可比性
  1. 构建层次化的评估体系，覆盖从基础到高级的视觉认知能力
  1. 为多模态模型的能力边界研究提供重要参考
  1. 揭示当前模型在基础视觉理解方面的不足