本书分为基础篇、核心篇、扩展篇三部分。基础篇阐述了图像与图像语义的基础理论与基本模型，对现有图像语义研究与图像语义交互系统进行了调研分析与述评，找出了图像语义研究的关键问题，为全书定下了研究基调与理论框架，是全书的立足之本；核心篇把握住图像感性认知与图像理性语义表达研究的关键与核心，通过用户特性及研究需求、理论模型、实验平台、用户实验以及用户行为模式等研究，层层递进，全方位研究了图像语义的可视化人机交互；扩展篇围绕图像语义的可视化人机交互这个核心，针对图像与图像语义可视化人机交互的相关关键问题，从标签语义鸿沟识别与优化、自动标签推荐以及自动用户建模等三个方面分别进行了研究。