胡壮麟多模态符号学 社会符号学研究中的多模态化

提要 索绪尔对语言符号学的建立和对普通符号学的展望有其不可磨灭的贡献,但他的有些观点在符号学研究者中有不同反响。代表英美传统的皮尔斯发展了符号范畴,但他忽视了作为社会成员的人,因此仍不能摆脱形式主义的研究方法。

随后的社会符号学发端于韩礼德的“语言是社会符号”的理论,关注的是特定于某一文化某一社团的符号实践。这一理论推动了多模态表达的研究,从而形成了多模态符号学。本文首先讨论多模态符号学和多媒体符号学的区别;进一步介绍具有媒体和模态双重特性的计算机符号学;对一些具体问题分别作了论述,如作为符号系统的符号资源、以屏幕代替书本的多模态符号的设计以及由话语参与者实现的连贯。

最后指出,在人类进入社会符号学的多模态化的新世纪,对多模态识读能力的培养应引起重视。

关键词 社会符号学;多模态化;体符号学;计算机符号学;多模态识读能力

2004年,原洛阳外国语大学王铭玉教授的《语言符号学》一书问世,我在序言中肯定了索绪尔明确指出语言学是符号学的一个分支后,接着说了这么一段话:

如今,我们一方面认识到语言是全部符号事实中的一个特殊系统,对语言学的研究推动了对符号学的研究。对符号学的认识加深了我们对语言的认识。另一方面又开拓了我们对其他符号系统的研究。这就是说,符号学有广阔的目标,它的理论旨在探索意义的生成。任何意义,不仅是书面语的意义,诸如视觉、听觉、嗅觉、味觉、触觉,以至抽象的模型、结构、主体意识都应纳入它的视线之内。

本文就这个话题,谈谈自己的认识。

一 从普通符号学到社会符号学

索绪尔对语言符号学的建立和对普通符号学的展望(Saussure1974)有其不可磨灭的贡献,但他的有些观点,如关于语言单位和结构是语言系统固有的特性,不受制于外部影响,在语音和意义之间没有必要的联系,意义不是通过与外部现实的关系而是通过该符号与其他符号之间的关系来界定,在符号学研究者中有不同反响。(Saussure1974,Fiske1982,Beaugrande1991,Guske1998)

代表英美传统的皮尔斯发展了符号范畴,如图标、索引和语符。他论述的媒介、对象、解释三位一体的三角关系是奥格登和理查兹的语义三角的理论基础。值得注意的是“解释”这个概念的出现,意味着他对人作为解释者,作为主体作用的确认,但由于皮尔斯从哲学上关注逻