关键词 人机交互模型; 清华大学; 实物用户界面; 界面范式; 人机交互系统;

摘要 在信息技术迅猛发展的背景下,人工智能的爆发及在诸多行业的成功应用再次引发人们对计算机全方位为人类服务的美好想象.然而,作为人与计算机之间信息沟通的桥梁和以人为中心指导系统开发的方法论,人机交互没有得到应有的同步发展,其瓶颈效应日益彰显.究其原因,可以归纳为以下两点:一是没有吸取好历史的发展经验;二是智能时代下应用场景的变化导致新的需求,对人机交互提出了巨大的挑战.本文回顾了人机交互的发展历史,重点讨论了人机交互的发展模式、心理学模型、交互界面、交互设计原则和研究框架等多个核心问题,并总结了当前人机交互出现的重要思想理论,提出在智能时代下对人机交互未来发展必要的讨论和思考.

关键词 人机交互; 用户界面; 心理学模型; 研究框架; 人工智能; human-computer interaction; user interface; mental model; research framework; artificial intelligence;

摘要 最近10年,人工智能和人机交互研究突飞猛进,在学术界和产业界都掀起了热潮.不管是突破人工智能的瓶颈,还是实现和谐、自然的人机交互,都迫切需要符合人类认知机理和心理规律的人机交互心理模型.建构面向智能时代的人机合作心理模型,不但可以解释、模拟和预测人类的行为,而且可以指导相应的智能系统和人机交互设计.本文回顾和总结了以往的人机交互模型和认知计算模型,基于最近10年的实验证据和研究发现,试图拓展和深化已有的认知模型,建构面向智能时代的人机合作心理模型,为智能时代的人机交互研究提供理论基础.

关键词 人工智能; 人机合作; 人机交互; 心理模型; 感知; 认知; 动作; artificial intelligence; human-computer cooperation; human-computer interaction; psychological model; perception; cognition; motor;

摘要 实物用户界面是一种新型的人机交互界面范式.通过实物对象与数字信息的耦合,实物用户界面允许用户通过抓握、移动、组装等自然的操作方式对数字信息进行操作.结合机电驱动等新兴技术,实物用户界面也可以通过自主移动、形状改变等方式,将数字内容的变化在真实世界中产生物理反馈.在诸多领域中,包括信息可视化、日常办公、教育与娱乐,以及支持创意创作等方面,实物用户界面都具有巨大的应用潜力.本文对实物用户界面的研究发展做了较细致的梳理,介绍了实物用户界面的起源及发展、理论框架、实现技术及应用领域等几方面,并展望了这一研究领域未来的发展趋势.

关键词 实物用户界面; 自然用户界面; 界面范式; tangible user interface; natural user interface; interface paradigm;

摘要 本文首先介绍范式的含义,然后讨论人机交互领域中范式这一概念的使用.以人机交互领域最有影响力的WIMP范式为例,讨论界面范式所包含的主要成分,并在此基础上分析了目前主要的智能系统的界面的特点和不足.最后本文提出了针对智能系统界面设计的RMCP界面范式,强调智能系统界面设计需要考虑系统的角色(role)、交互模态(modal)、交互命令(commands)和信息展示方式(presentation style)这几个基本因素.

关键词 人机交互; 界面范式; 智能系统; human-computer interaction; interface paradigm; intelligent system;

摘要 本文阐述了通过Bayes方法来预测用户交互意图的建模方法过程和推理过程.在自然交互界面上,用户不再是严格地通过离散明确的交互操作完成交互,而是通过连续、非确定的多模态数据表达交互意图.在解释用户的交互意图时,既可以使用"黑盒子"的机器学习方法,也可以利用"白盒子"的基于用户行为建模的方法.后者中的用户建模,其本质是通过计算的方法来刻画用户的行为能力,对于理解用户意图和探索自然交互的计算原理具有重要的科学意义.文章回顾了近年来人机交互研究中主要采用的智能算法,向读者厘清不同方法之间的差别,并通过我们实验室的具体研究工作展示用户建模的方法和Bayes推理的建模方法过程和推理过程.

关键词 Bayes方法; 机器学习; 意图推理; 用户建模; Bayes method; machine learning; intent prediction; user modelling;

摘要 本文首先简要回顾了认知科学在单通道信息加工及多通道信息融合方面的假定;其次,介绍了计算机科学在多通道信息融合方面相对于单通道信息处理增强的理论模型及实验验证.在各通道特征能够同时获得并统一表示的前提下,多通道人机交互信息的融合可以转化为分类或者回归问题求解.对于实际的交互系统,目前的多通道信息融合技术除了依赖单通道信息识别的准确性外,还依赖于交互系统设计的合理性.最后通过一个多通道信息融合的人机交互的实例,讨论了目前多通道交互系统的缺陷,并给出多通道人机交互信息融合智能方法未来的一个突破方向.

关键词 多通道信息融合; 人机交互; 机器学习; 模式识别; 认知科学; multi-modal information fusion; human-computer interaction; machine learning; pattern recognition; cognitive science;

摘要 人机和谐是人机交互的理想境界和永恒追求.近年来人工智能的蓬勃发展使得机器智能不断进步,引发了对于人类智力造成挑战的担忧.能否利用多模态人机交互技术实现人类智能的训练和强化,是人机交互研究的新命题.神经可塑性研究成果表明,人类的核心认知能力,如注意力控制能力、工作记忆容量等,有望通过视听觉交互任务、触觉交互任务、经颅电磁刺激、脑机接口等技术进行训练和强化.本文通过剖析虚拟现实系统的沉浸感、交互性、想象性的本质优势,结合工程控制论思想,提出面向人类智能增强的视听触觉多模态有机融合的人机交互机制.通过构建可控认知负荷、及时生理反馈、双向体脑交互的新型人机交互系统,探索基于Hebbian learning可塑性机制的智能增强方法.该研究将为揭示和认识人脑神经可塑性机制提供新的研究工具,同时将促进新型人机交互的硬件设备和软件方法研究,并将在个性化教育、神经康复、特种职业认知能力强化等领域产生应用价值.

关键词 神经可塑性; 触觉交互; 视听触融合; 人机交互; 注意力; 工作记忆; 智能增强; neural plasticity; haptic interaction; haptic-visual-aural multisensory feedback; human-machine interaction; attention; working memory; cognitive enhancement;

摘要 随着认知科学与移动计算技术的发展与应用,如何构建与评估自然用户界面成为越来越重要的问题.为此,本文在分析了自然人机交互主要特征的基础上,指出了自然语言的使用及其语义理解的重要性,借用语言学的语义三角形模型,提出了基于语义三角形的自然人机交互模型.该模型诠释了自然人机交互场景下,人与计算机之间信息流转与理解过程.最后,基于该模型给出了自然性、连续性和易学性3个评估要素的评估思路.

关键词 自然人机交互; 自然用户界面; 语义三角形; 自然人机交互模型; 用户界面评估; natural HCI; NUI; semiotic triangle; natural HCI model; user interface evaluation;

摘要 以聊天机器人为代表的Bots带动了以用户为中心的全新交互体验.基于多通道自然语言交互的Bots不再依赖于桌面的图形环境,源于桌面隐喻的传统WIMP(windows,icon,menu,pointor)范式也不再适用于基于Bots的人机交互,因此需要建立一种新的支持移动交互的界面范式来规范界面的描述.为此,本文对化身隐喻(avatar metaphor)进行扩展,提出了基于化身交互隐喻的ASLI(avatar,scenario,language,instrument)界面范式,并给出了基于ASLI范式的界面实例和交互框架,为基于Bots的人机交互系统提供了界面设计的指导.最后,讨论了未来ASLI范式的平台化发展趋势和衍生的生态系统.

关键词 Bots; 人机交互; 界面范式; 化身隐喻; Bots; human-computer interaction; interface paradigm; avatar metaphor;