同济大学黄立鹤教授：多模态语言研究的理论与实践
科学出版社 2026-11-10 13:12:05
胡壮麟先生在《与时俱进，永无止境——有关多模态和人工智能研究的若干认识》（《当代外语研究》2025 年第 1 期）一文中高屋建瓴地指出，从“口述时代”到“读写时代”，再到“工业化时代”，以及今天的“人工智能时代”，多模态贯穿始终；从远古时代人类的沟通，到今天人类使用先进的人工智能技术，多模态无时不在。总的来看，多模态与人的全面发展、人机交互的智能演化、人类文明传承创新等宏大命题都密切相关。多模态始终伴随人类语言演化史和文明发展史。语言交际研究的视野从单模态到多模态的转变，体现了崭新的语言观，反映了学界对语言交际本质的新认识。这对于语言交际相关的研究，可以说是一种范式革命。多模态研究的兴起与发展，拓展了语言研究对意义建构与交际行为的认识。当前，多模态研究正处于发展的关键节点，不同理论传统与方法路径并存交织。随着研究对象与分析方法的不断拓展，多模态研究的概念基础与方法体系也受到越来越多的关注，并引发了学界对相关问题的进一步思考。著名多模态研究专家Charles Forceville（2026）近期指出，多模态研究若要进一步发展为成熟的学术领域，需要更加清晰地界定“模态”及其与感官知觉的关系。目前的多模态研究范式内部发展并不均衡，主流研究大多依附于社会符号学传统；要使多模态研究成长为人文社会科学领域的重要学科，还须拓展理论方法与分析框架。由此可见，多模态研究的深化不仅在于研究对象的增加，更在于对基本概念、研究路径及其相互关系形成更加系统的认识。针对上述问题，《多模态语言研究的理论与实践》以语言交际的多模态本质为切入点，力图对多模态研究的最新发展作出阐释与指引。本书并不将多模态研究局限于某一特定分析方法，也不将其等同于语言学的单一分支，而是立足语言学的问题意识，将不同研究传统置于多模态这一共同视野下加以考察。书名中的“语言”是研究的切口，即语言学者从事多模态研究，凭据的是语言交际的多模态本质。以多模态观语言，由语言入而不止于语言，是本书的立场。本书在全面回溯多模态研究发展历程的基础上，系统阐释其理论内涵、方法路径、领域范畴及典型案例，尝试构建相对完整的多模态语言研究知识体系。全书立足于多模态研究是整合性研究范式的基本认识，按照学科历史、理论内涵、方法路径与领域范畴的逻辑逐步展开，旨在弥补国内相关领域具体案例研究较多、系统性理论导引相对不足的问题，为多模态语言研究提供系统性的理论与方法参考。本书基于国际多模态语言研究的前沿进展，将该领域的基本图景概括为：一个整合的研究范式、多种不同的方法路径、一批不断拓展的应用领域。这一核心观点主要体现在理论内涵、研究方法和应用范畴三个方面。
在理论内涵上，本书将多模态理解为一种整合性研究范式，强调建立系统的多模态语言理论。多模态研究并非仅仅关注语言之外的符号形式，而是从语言交际的多模态本质出发，将感官认知、符号表达及交际行为纳入统一的研究视野。本书认为，语言交际的发生与发展、人类与外界的交际互动，均以多模态感官系统为支撑；基于这一前提，依托多维数据类型对言语交际展开新的考察，有助于突破不同研究路径之间的界限，弥补长期以来语言学研究观察维度较为单一的不足。在研究方法上，本书强调多模态研究范式下共存的多种研究路径，并对相关方法进行系统梳理。目前，与语言交际相关的多模态研究方法和具体路径大体上包括：多模态话语分析等符号学研究方法、多模态语料库方法、多模态会话分析方法、多模态神经认知机制研究方法等。我国在个别路径上成果丰硕，其余路径的研究则仍显不足；加之部分学者将多模态语言研究等同于多模态话语分析，一定程度上造成了研究方法单一、研究视域偏窄的局面。本书从方法来源、核心理论和具体操作路径等维度展开阐释，并结合相关研究案例，帮助读者全面认识不同方法的适用范围及其研究价值。在应用范畴上，本书强调多模态语言研究的问题导向与跨学科属性，全面呈现其不断拓展的研究领域。多模态语言研究的内涵与外延正在持续拓展，其研究既包括对人类语言交际的多模态互动机制、脑机制及行为规律等基础性问题的探索，也涉及基于现代科技与未来发展的多模态应用性研发。这些研究领域的持续发展，反映出多模态本质及其机制在语言交际多维层面的具体展开，也进一步彰显了多模态作为整合性研究范式的开放性与广泛适用性。本书是国内为数不多的对该领域进行较为全面、系统阐释的导论式论著，凸显了该研究领域的系统性、前沿性及实践性。其学术价值主要体现在以下三个方面。
一是构建系统的多模态语言观，深化对人类语言交际本质的认识。多模态语言交际研究既根植于认知加工过程中多种感官模态的整合机制，也连接着外在多种符号模态的组合及其行为内涵。本书系统论证建立多模态语言理论的合理性与适用性，将语言研究置于更加广阔的感官认知与交际互动过程中加以考察。这一研究视角有助于弥补传统语言学研究观察维度相对单一的不足，为进一步认识语言的本质及其运作机制提供新的理论思路。二是完善多模态语言研究方法体系，为相关实证研究提供系统性指导。本书系统介绍多模态语言研究涉及的核心方法，从理论基础、研究视角到具体操作路径对不同研究传统加以梳理，并辅以典型研究案例的阐释，由此形成较为完整的方法体系，立体呈现多模态语言研究的基本图景。三是全面呈现多模态语言研究的新兴领域，拓展跨学科研究空间。本书反映近年来国内外多模态语言研究的前沿动态，既涵盖多元识读与语言教育、多模态语用学、多模态修辞学、多模态文体学、多模态认知诗学、多模态与特殊人群语言研究等新兴方向，也辐射语言文学、语言教育与语言认知科学等前沿交叉领域，充分展现了多模态研究的跨学科属性及其广阔的应用前景，可为相关学科之间的理论交流与方法融合提供参考。黄立鹤教授长期从事多模态研究，并基于该范式创新语用学研究，考察老年人言语行为特征及其背后的机制，通过跨学科、新方法，拓展了新的研究领域。他的这部新著，全面介绍了多模态语言研究的理论框架，通过对近年来国内外多模态范式在语言交际相关研究实例的描述，系统地介绍了具体的分析方法，解答了许多前沿问题，展示了多模态研究推动语言学研究方法的全面革新，为多模态语言处理的神经机制研究、数字媒介中新兴语言形式的系统考察、跨文化语境下的多模态比较研究及多模态视角下的语言演化理论构建等指明了新方向，对多模态研究有重要的启发和指导意义，有助于推动多模态研究在中国进一步发展。
——李 嵬
伦敦大学学院教育学院院长
英国国家学术院院士
黄立鹤，同济大学长聘教授，同济大学老龄语言与看护研究中心主任、同济大学语言学与多模态符号学研究所副所长、中国逻辑学会符号学专业委员会副主任委员、中国英汉语比较研究会医学语言与翻译研究专委会办公室副主任、上海市语文学会副会长；主要从事多模态、语用学、老龄化与老年语言学、语言健康及高等教育等研究；主持国家社科基金类项目、教育部人文社科、上海市哲社等其他各类纵向或横向项目二十余项；在国内外发表论文、媒体文章、出版专著文集百余篇（部），获教育部科学研究优秀成果奖（人文社会科学）、上海市哲社优秀成果奖，科技转化与科创育人成果获评国家级奖项五项，入选国家高层次青年人才、上海市曙光人才、上海市东方英才、德国洪堡学者、上海市外语杰出青年学者。
模态既可指感知觉通道，也可指符号系统，同时也是信息递质。人类语言本质上是多模态的。本书遵循“多模态是整合性研究范式”的基本立场，系统阐释多模态语言研究的学科历史、理论内涵、方法路径、领域范畴及研究案例，包括多模态语言研究的发展与现状、路径与方法、实践与应用等，全面阐释了多模态语言研究的知识体系框架，同时介绍了近年来国内外多模态范式在语言交际相关研究领域的前沿问题，是一本富有启发性的导论式著作，凸显了该研究领域的系统性、前沿性及实践性。本书适合语言文学、社会学、传播学、教育学、心理学等相关专业领域的师生阅读。
【版权声明】本文内容来源于科学出版社，版权归原作者及原媒体所有。本站仅作信息分享，不构成任何商业用途；如涉版权问题，请联系本站删除。
发布时间：2026-11-10 08:03:44
(第
1/1页/共37701字/2阅)