运动图像的操作化:对触屏视频流装置及其姿势现象的考古
2020-08-14 17:37:09
  • 0
  • 0
  • 0

来源: 国际新闻界 

徐亚萍,上海师范大学影视传媒学院副教授。


引言

智能手机是一种生产、传播、消费不断更新的计算机图像的媒介,作为新的意指实践,将手指的点、按、滑等操作姿势自然化为语汇(Werning,2015),其互动性、移动性迷思是厂商技术竞争和产品迭代的焦点。托马斯·埃尔塞瑟(Thomas Elsaesser)(2016:115)指出,计算机已经使图像变成一种“用来点击而非观看的图像”,这一判断对计算机图像的操作性而非表征性的强调,提醒我们需要超越文本,从媒介本体的角度来考察和分析无所不在的计算机图像在日常经验中的意义。从媒介研究和电影史的交叉角度分析智能手机视频流,也可以重新定位数字转型、“后电影”危机中活动影像的媒介特性。

本文对智能手机视频流的研究始于两个疑问:其一,借助移动手持触屏计算机和互联网流媒体技术构建观看经验的运动图像,与电影存在什么关联和断裂?其二,“抖音”“快手”“刷宝”“微视”等本土“短视频”应用程序,不仅提供了可操控的流媒体运动图像,也产生了“刷视频”这种新的观看体验及其病理化恐慌;观者的强迫性触摸动作,对理解屏幕关系带来什么影响?

对此,本文使用媒介考古学中的另类谱系路径,考察与智能手机视频流有所关联的视听话语意指实践,理解视频流的观看诗学,尤其是观察者姿势、观者与屏幕的关系,并从两个方面归纳考察和发现。

首先,视频流反而挑战了“后电影”身份,视听话语星丛中的多种活动影像观看装置的视觉策略和形式组织惯例,在智能手机的视听界面和意指实践中重返,包括“前电影”光学玩具的具身触知,经典电影装置的景框/窗口策略,袖珍电视机对观者身体的解放与新的束缚。

同时,视频软件界面和触敏输入设备作为触屏观看机具的可供性,以连续的身体动作介入为其功能,借助上滑刷新、双击选中等标准化动作语汇,生产触屏用户更新和探入图像的意图,手部增强的感知、判断、跟踪和反应能力,成为触控图像动态演替的直接作用因。连续操作形成潜在无限的信息表面,冲击移动触屏机具的有限边框。


研究路径:
对观看装置和观者姿势的考古

在考察3D数字电影时,Elsaesser(2016:287)将其与19世纪后期火车车厢视窗、立体主义绘画、立体视镜、20世纪60-70年代北美先锋电影等装置加以比较,以发现图像媒介在开发双目视野方面的潜在连续性,这种建构图像媒介特性的方法被称为另类系谱学(alternative genealogy),旨在以某种技术装置的断裂性特征为线索,在横向和纵向的历史时空中寻找另类的装置加以媒介间的分析,当下装置视为过去的重返,为新机具或装置的产生提供来自多种历史的未来可能性。

观者与屏幕的互动关系表现为机具与姿势的关系,构成特定的历史化的观看装置(dispositif)。本文对于触摸观看和操作图像的追溯,旨在说明装置和姿势的意指。装置在本文中指的是由机具设定、由观者具身实践的特定观看结构,人与屏幕的关系、身体的姿势是其现象,装置意味着技术、文本、观者之间的各种共生关系。

数字图像在打断经典电影装置优先地位的同时,重新建构视听话语中观者与图像、观者与媒介的关系。电影开始被视为一种基于社会和技术的“界面”,揭示某种历史前提下的特定存在经验(Elsaesser,2016:132),并作为视听话语参与科学与医学、监控与军事、传感与监视等非娱乐性任务(Zielinski,1999:113)。埃尔基·胡塔莫(Erkki Huhtamo)(2016:81)将屏幕视为对“信息表面”的截取,取决于屏幕的使用(具身观看)而非仅仅是显像材料,意味着媒介(物质硬件)、图像(视听软件)、观者(能动的操演者)的动态关系。这一关系彰显出维兰·傅拉瑟(Vilém Flusser)的姿势现象学所强调的人作为机具的功能的观念(章戈浩,2018)。机具是技术与文本、硬件与软件的结合;机器是技术的物质条件,物质性地、可见地存在于观者身边,机具的运转涉及到对机器的隐蔽。观者与机具的关系涉及到人与界面的交互,这种界面既包括机器界面,也包括视听文本及其文化编码所构成的感知表面。作为符号意指过程,不同的姿势(gesture)表达或言明了不同媒介经验(Flusser,1994/2014:3)。因为姿势是对心理状态的外在化,而印刷文字、摄影、电影、录像等技术图像媒介极大提高了外在化的可见性、规模、程度和速度(Flusser,1985/2011:21),因此观察和阐释姿势,既可以获知图像机具对压力、情感和意向的缓冲,也是媒介历史条件的反映。


“刷视频”:强迫性重复
病理作为感知模式转型的征状

智能手机视频流的观看以个人拥有的移动联网能力以及对屏幕的触摸动作为基础。借助流媒体网络实时数据传输技术,手指与直角长方形操作显示界面/屏幕的交互,创造不断更新和演替的连续图像,从而形成视频流。手指和触敏硬件之间的用户界面构成一种准物质层,视频流屏幕的使用依赖手尤其是手指的生理心理自主性,因此“刷视频”的观看快感不仅来自于对窥阴癖的满足、演替图像对视觉好奇感的持续激发,也来自直接施力于物体的侵略快感、身体连续性的“惯性滚动”(Werning,2015),即依靠身体对于上滑刷新、下滑重播等动作语汇的重述。操作触屏的身体与用户界面设计的共同进化,强化了用户输入动作和数字页面脉冲会随着时间的增长而不断增强的倾向(Werning,2015)。曾经施加于鼠标滚轮的触摸惯行,转换为触屏的直接动作,后者用不同模态的输入姿势来与计算机交流。重复的手部输入,造成手指和手掌的肿胀酸痛,在临床上被诊断为重复性过度劳累损伤(RSI),引起了大众对新的媒介依赖的恐慌。“抖音有毒”(苏叶,2018)用身体对毒品的生理依赖作类比,强调手机视频软件造成了身体机能的极度拔高、身体偏离正常阈值后的失调和失控危险。

媒体对手指过度劳动的病理化建构,增加了新的观看装置的神秘性,在短视频应用商正急速创造活跃用户规模的时间获得公众关注。2016年6月11日,一条转译的国外媒体报道在网络流传,通过援引所谓当时英国最新研究的统计数据和手部疾病专家的解释发出警告:经常用大拇指刷手机会导致手指变粗(快科技,2016),这条资讯通过“#常玩手机大拇指变粗#”的话题标签被大量转发。2018年5月11日,《潇湘晨报》报道,继带孩子的女性和经常从事家务的中老年家庭妇女之后,青少年成为容易罹患拇指腱鞘炎的新一类人群,而病理的年轻化倾向肇因于成瘾:“迷上抖音......每天刷个不停,不到半夜实在困得不行绝不关机。”(张树波,石荣,2018)在线诊疗医生开始在社交网络中公布临床病例,倡导注射或手术治疗方法则强化了病理严重性。

触觉快感与强迫性重复可以追溯到本雅明20世纪初对视觉技术凯撒全景视镜(Kaiserpanorama)观看经验的描述(Benjamin,1938/1999:347):

每当画面晃悠悠启程,小铃就会响起,先是开启空白的空间,然后出现下一幅图像。每当它响起的时候,绵延的山脉及其丘陵、窗明几净的城市、喷出浓浓黄烟的火车站、葡萄园以至于最小的叶子,都充满了离别的痛楚。我意识到不可能只来一次就能穷尽这些场景的美妙。于是我决定来日再过来。

令本雅明欲罢不能的机械化装置,是奥古斯特·富尔曼(August Fuhrmann)对手持立体视镜的改造。这种具有公共私密性的观看装置往往出现在露天集市、游乐场、拱廊街等消费休闲场景中,将购物、游荡、消费构连在一个整体的、流动的、充满竞争的时间绵延中,在巴黎、伦敦、纽约、波士顿等都会城市尤为流行,在都会游荡者本雅明、克拉考尔写作于20世纪二三十年代的文章描述中,凯撒全景视镜并没有随着电影经典观看制度的建立(1907年后)而消失。


拼装的机具:触摸、边框、连续运动

拼装(bricolage)意味着动态的构成方式。区别于手工艺人,巧匠(bricoleur)双手使用异质混杂且非常规工具和所有近在手边的材料完成拼装,形成一种由许多种类混杂构成的集合,包罗万象的元素获得新的组织(Lévi-Strauss,1962/1966:16-17)。智能手机触屏视频流作为拼装的机具和“杂种装置”(bastard dispositif)(Zielinski,1999:252),使立体视镜等光学玩具的身体接触界面、经典电影装置的景框(窗口)策略、袖珍电视机的观看连续性等元素获得复活和新的组织。

在视频流的触屏观看中,视觉上有距离的、需要投入专注力的审美感知受制于手动操作和触觉感知的脉冲。这种通过身体接触而侵入、操作和占有的观看关系,是19世纪后期“前电影”光学机具观看经验的重返。从私人家庭空间到公开的游乐场、市集,观者的窥视实践在有距离的观看和缩短距离的触摸之间调试。留影盘(thaumatrope)、费纳奇镜(phenakistoscope)、立体视镜(stereoscope)等光学玩具一次只供一人操作和观看,通过手摇柄操作而转动以展现视域的活动全景画,可以为家庭成员分享视觉经验(Huhtamo,2013:343)。在1880-1890年间,Raynaud尝试将活动视镜(praxinoscope)打造为集体共享的观看装置,同时代对观看设备的各种频繁的公开展示(Zielinski,1999:40),将观者手动操作的权力集中到公开展示的放映者手中。

手动和手持设备允许观者触摸和占有图像,在公开放映与私人观看的种种形式相互竞争的过程中,集中化的放映和观看模式通过强调离身观看的视觉性,管控和抑制身体的直接接触活动。1900-1910年间电影向经典叙事长片转型,集体影院将放映移交给专职技术人员来操作,机具被集中控制和管理,个体观者的具身操作成为一个需要被戒除的问题。观影者共同租赁影院的时间,电影设备(拷贝、屏幕、放映机、建筑空间)属于暂时的集体所有,电影院被建构为公共空间,而触摸屏幕作为对屏幕的占有,破坏了集体利益,作为回应,社会的和叙事的互文本场域共同建构“只看,别碰”的素养和价值观(Strauven,2011:157)。经典电影装置的视觉政体将触摸与观看建构为一种对立关系:占有座位、与银幕保持距离的行为符合“中产阶级化”的城市秩序(Zielinski,1999:93)。电影装置效果理论所描述的理想观影场景,正是这种强调离身视觉和表征优先的文化界面:影院旁观者的快感来自与电影表象的认同而非对放映机的亲手操作。

1970年后,成为家庭和个人私有财产的“后电影”观看机具(如电视机、录像放映机、游戏机、个人电脑),构成公共与私人共生的、强调公共私密性(public intimacy)的媒介生态(Zielinski,1999:252),一方面,身体直接操作图像,另一方面,媒介内容仍然遵循经典电影制度,将机具的使用者预设为影院中离身旁观的群体。比如家庭高清电视遥控播放的数字电影,形成了小群体的新社会性。触摸屏幕的吸引力,不仅体现在家庭娱乐的标准配置上(比如20世纪90年代以来流行的游戏手柄控制器),而且也被流行电影的叙事和视觉景观赋予合法性。在新的触屏设备(如智能眼镜)强化观者亲身操作这一技术特性的同时,图像世界中的内容流也不断型构虚拟社群圈层,智能手机视频流突显出公共私密性的张力。

家庭和个人机具的遥控器、物理或虚拟按钮,彰显出活动影像的操作性、观者的具身操作对观看经验的决定作用。但在屏幕由观者自由控制的时代,观者仍会将触屏操作界面中的世界视为机械复制的现实,这意味着经典电影视觉策略的惯性延续。经典电影装置的屏幕强调从实在空间进入表征空间的窗口作用;景框切割现实,以提喻的方式使离身观者认同屏幕表象,将其误认为经验现实被感知到的部分。触控硬件的边框强化了窗口隐喻的认同作用,视频流的观者自觉忽视作为操作工具的屏幕(不管是台式电脑用户借助鼠标滚轴或键盘方向键“滚动窗口”,还是触屏用户以手指直接滑动视窗),使用者仍然相信自己正在透过窗口看到现实,期待从聚拢的视野中获得可见化的知觉现实。

Greenaway将手机图像构想为新的语言和艺术表达诞生的机遇,使其成为思考的媒介而非表征的媒介,寻找突破景框限制和窗口隐喻的另类视觉策略,比如分屏、建筑空间界面、多次曝光、网络界面互动等形式。计算机姿势控制界面的实验性设计也早已尝试抛弃景框和表征的中介。20世纪70年代,Myron Krueger使用摄像机捕捉人的动作信号,将输入和反馈都投影在墙壁上,以此超越显像器的切割和触控的中介。这些对屏幕边框的反身意识凸显了图像流动的无限性和边框的有限性之间的张力。

20世纪80年代中期,索尼公司向欧洲和北美市场推出“随身看”(Watchman),将20世纪60年代已经出现的袖珍电视机构想转化为大批量生产的手持远程通讯观看机具,推广轻型、灵活、可移动的大众化视听实践。观看变成了携带,机具伴随移动主体随时穿梭。随身看已将信息社会主体的游牧性放大到了峰值(Zielinski,1999:232),为智能手机视频流提供了一种解放与禁锢并行的身体连续介入范式,一方面放映私有化取消了时空的限定,另一方面图像的持续更新意味着观者的持续注意。作为新的观察者技术,智能手机在覆盖范围和速度上优化了随身看远程通讯系统技术,全天候地生产和控制观者的知觉,在屏幕实践中轮换工作和休闲活动、劳动和再生产。


“增强人类智能”的触控技术:
硬件实体与软件界面的分离

20世纪50年代后的一系列经济和技术增长需求,驱使计算机设计师瞩目非工程技术工作者的身体潜力,将这类规模巨大并需要在短时间内与作为生产条件的新机器(数据和信息的存储和运算设备)协同工作的劳动者,开发为能够胜任现代工作环境的主体,其中很大一部分构成是女性。在计算机从实验室进入办公室时期,如何为运算机器开发劳动者身体智能和操演能力,成为“鼠标之父”道格拉斯·恩格尔巴特(Douglas Engelbart)的研究兴趣。在1968年9月9日美国计算机协会的秋季联合会议上,Engelbart公开展示了他的个人计算机模型,其中用于操作计算机图形界面系统的“横纵坐标指示器”(即鼠标器)成为这个“展示之母”(mother of all demos)模型的重要组成部分。

在20世纪60年代,为了给联机系统界面寻找一种高效的定位和输入设备,Engelbart尝试了脚踏开关、膝盖操作器、操作杆、头戴式设备等各种工具,最终选择了项目工程师比尔·英格利希(Bill English)的手持可移动设计:在底部镶嵌滚轮的方形木块上面安装三个选择按钮(Father of the Mouse)。

随着English从斯坦福研究所调入施乐公司(Xerox)的帕罗奥托研究中心(PARC),Engelbart的增强工作者观念被带入施乐的触控技术设计逻辑。PARC不仅为个人计算机模型Alto保留了鼠标,而且在20世纪80年代末至90年代初,参与研发高精度触屏控制技术,旨在为操作计算机设计更直觉性、更接近自然状态的交流方式。在这个背景下,施乐推出“数字桌面”模型:软件界面被投射到实物桌面上,使用者在投影表面(日常物体)上触摸图形虚拟按钮来与计算机互动(Strauven,2012)。“数字桌面”的互动控制界面不仅将硬件与软件分离,而且依靠软件所产生的信息表面已经脱离了硬件的制约。

20世纪80年代是个人计算机从实验室向商业化、从办公室向大众消费市场转向的时代,为了提高对一般人的可供性,计算机设计领域关注如何结合声音、图像、姿势吸引使用者发生互动,游戏图形界面尤其受到青睐。基于对一般人的民族志观察和分析,“用户操作的是界面而非机器”(Katz,2015:114)的观念开始影响触控技术设计向“与软件的互动而非实体设计”(Katz,2015:94)方向发展。互动设计隐藏了机器的存在,以便刚接触电脑的使用者也能平滑地进出于文本、图像与声音,在虚拟图表和实体感触间无缝切换。通过图形界面和软件实现人机交互,可以将使用者的注意力集中在屏幕上的可视化集群,忽略机具操演对感知连贯性的打断。

触敏输入设备将可视界面与基于触摸的实体硬件相结合,从20世纪80年代开始成为互动设计的宠儿。但20世纪80-90年代的触敏装置,如惠普150台式电脑、IBM与南方贝尔合作的西蒙个人通信器(初代移动电话),以及苹果的牛顿掌上电脑,主要定位商务使用者或办公室工作环境,仍强调硬件(点控笔或台式固定显示器)对身体的约束。由于2000-2010年间,消费领域对移动视听和移动联网的需求增长,更接近自然姿态的触控技术被用于匹配个人移动办公和消费设备。2005年,苹果公司收购了手势识别公司(Finger Works)及其基于电容性触屏和多点触摸技术的触控板(iGesture Pad)技术专利,在此基础上,于2007年推出的手势触控产品(如iPhone、iPod Touch),推动了触屏与个人视听消费的融合。


软件可供性与手动意图标准化

智能手机作为姿势互动系统,由传感器、比测器和驱动器三部分构成(Saffer,2009:16),触屏作为输入和输出的界面,将观者手指在传感器上的运动转译为位置数据,以供掌上计算机做出测定并借由软件驱动反馈(播放、停止、切换和推荐视频等),形成人机互动回路,这个过程的重复运转构成视频流观看装置的黑盒。触屏传感器通过网格,定位和形成观者行为的数值表征:每触摸屏幕就产生一次触摸事件,电容传感器(智能手指主要使用的触屏技术)的横纵坐标电荷网格,将触摸事件测定为电荷变化并进行记录。观者的手指运动在触屏的网格上被识别、比测、反馈。

移动通讯系统为智能手机提供了比无线局域网(WIFI)更广的远程通讯范围,同时,得益于视听流媒体技术标准的改进(通过拆分数据包传输,实现下载与播放的同时),观看者可以快速访问和切换出现在眼前的视频,手指姿势与软件驱动的因果关联实现了视频图像的流动体验:不仅单体视频在静止与播放间切换,而且先后出现的单体视频动态演替。手指的连续性输入动作引发简单和高级的算法运作,比如手机短视频应用在简单算法逻辑上对应打开、关闭、选择视频的反馈,在高级算法逻辑上记忆用户行为数据并预测和推荐。由于算法互动而在时间中衍生的信息流,通过手指与触屏的互动,被机具可视化为平面上的图像变化,这种变化依据手部动作的快或慢、连续或间隙而形成速度曲线,因此手部动作的意义在于控制图像更新和流动的速度,同时用软件规定的语言向计算机表达意愿。

基于跨硬件、跨软件的记忆和姿势惯行,应用程序设定各种手动模态,形成界面互动的语法:

1.上滑刷新(播放)、下滑返回(播放):“抖音”等流行的手机软件及其效仿者普遍使用手势在垂直方向的运动、变化,形成界面连续性。垂直方向快速拖动的所指是实现清理、清扫、冲走效果,这种意涵在一定程度上源于使用下拉刷新动作的流行软件已经形成的语义惯行,比如在Twitter、Facebook等社交媒体手机应用中,上滑代表出现新内容、下滑代表回到旧内容,垂直滑动意指接收新文本的效果和愿望,也可以追溯到滚动鼠标滚轮或下拉滑竿以形成连续电脑页面的形式所构成的惯性期待心理。这种姿势惯行将使用者召唤为连续性的身体效果,也强化了软件的游戏感:将硬件边框外的空间唤醒和带入视野,边框刺激了对无限空间的想像。垂直运动被认为是近年来界面姿势创新的主要方向之一(Carr,2013)。

2.双击“点赞”(即标记为偏好视频):作为计算机基本操作,双击动作源于双击鼠标左键,连续两次点击体现强调意味,向计算机表达对纵深方向的探索意愿。比如双击Word文档的页面会出现选中某个区域的高亮标记,意味着即将进行下一步操作;在图像上双击则会产生“推镜头”放大效果(Werning,2015),以便细读。双击的肯定、选中意涵,在网络白话(比如“双击666”)中意味着触屏操作可以带来直接的收益。

3.单击选中并播放:在“快手”等软件的菜单界面中,单体视频以框中框形式并置,充满屏幕景框(最多时六个)。单击意味着通行、启动,使用者通过单击将同意的意愿告知软件,软件界面对单击输入做出全屏播放的反馈,用图像在尺寸变化上的吸引力培养手指的好奇感。

单击和双击不仅唤醒了指尖对打字机键盘、电脑键盘、鼠标、游戏手柄的按钮操作记忆,也将触敏设备类比为基于按钮的DVD播放器等观影硬件,唤起某种“过时”的物质文化意涵,比如“秒拍”(以及“西瓜视频”“YouTube”)等软件仍然在界面中保留传统宽银幕比例,通过双击选中并播放。


运动图像的操作化与身体连续性

由于软件的界面互动和算法互动,触屏智能手机的视频流形成了一种另类的叙事时间,其叙事弧线和连贯性不取决于文本结构,而是随着屏外操作时间而变化。由于观看的具身性,“更新”成为图像界面中的重复形象和母题。手机软件的可供性要求观者追赶之前的形象并激活之后的形象,触屏因而呈现出雷达屏幕的即时性、实时性,旨在消除跟踪者与监测对象之间的时间间隔。作为移动触屏设备的另一种先导,负责跟踪定位的观者面对雷达监视屏,通过光笔实时输入监测对象位置,这种运动轨迹表征强化了可被操作的显示屏与身体连续性之间的功能性互动关系。

作为触控技术的硬件实体创新,在鼠标发明以前,光笔就已应用于军事控制台,并在20世纪60年代成为流行的定位设备。半个世纪后,光笔重新回到个人消费移动设备的触屏控制端,比如苹果公司在2015年推出用于平板电脑的触控电容笔(“苹果铅笔”),旨在“使绘图、做笔记和标记文档有直觉、精确和奇妙的感觉”(Apple pencil,n.d.)。但在恩格尔巴特的增强研究中心,光笔和膝控都不是理想的输入设备,在恩格尔巴特看来,光笔“虽然是标准的浏览方式,但我却觉得这不太对劲”(Father of the mouse,n.d.)。这种不太对劲很大程度上并非源于光笔本身,而是因为显示机具的可供性存在人体工学上的缺陷:直立的固定显示器无法转移和倾斜,使用者必须持续抬着胳膊在屏幕前长时间悬空输入,很容易造成手臂肌肉疲劳(即“猿臂”)(Pangilinan,Lukas & Mohan,2019:9)。1983年惠普推出的150红外线触屏计算机也有同样的问题。解决光笔问题的关键在于显示器,于是兰德公司设计出桌面触控板,让悬空的手臂可以自然下垂,但是售价昂贵,还没有真正进入市场,鼠标和图形用户界面系统就已经流行起来。虽然光笔没有成为现代工作系统的原型,但是光触针的歧路揭示了触控技术对于视觉生产的影响:触控图像区别于摄影术的再现,依靠身体的连续性操作而产生视景变化和运动图像,触控显示屏中出现的图像也并非或并不仅是表征,更是将身体连续性操作的结果客观化、可视化的准物质层。

显示器的出现,使实验室和控制室的专业技术人员可以通过符号形象的方式监视运算过程,专门为监视成像而存在的输入设备(如滚轮、操作杆以及光触针),让操作者可以对运算施加影响。触控技术已在二战中被用于雷达和声呐显示器的互动成像以及监控系统对运动目标方向和速度的测算,二战后,美国空军支持下的林肯实验室继续将雷达屏幕和触针控制界面用于军事监控,以便针对前苏联的大量轰炸机进行航空侦察、拦截和反击。1953年9月,科德角系统全面运行,作为半自动地面防空系统(SAGE)的实验模型,科德角系统实时处理海岸线十几个雷达的信号:82名空军军官各自面对“武器指挥操作台”(计算机)的雷达屏幕,用手中的光枪点击屏幕中出现光点(在显示器上标记运动目标的位置),当屏幕再次出现光点,光枪再次点击时,计算机就可以根据两次连续动作之间的距离,测算出目标运动的方向和速度。光笔的“书写”(监控)旨在以接近本能反应的连续动作,缩小硬件与软件界面、预期图像(后台运算)和真实图像(雷达动态图形)之间的时间间隔,因此要求身体长时间持续投入(据称SAGE军官每天需要操作光枪8-14小时,计算机为此设计了一个嵌入机身的烟灰缸)。与雷达屏幕相比,智能手机显示实体的可供性(尤其是移动可随意倾斜角度)与软件界面的“游戏感”(控制虚拟物体的触觉和肌肉运动知觉)(Swink,2008:xiii)互动设计,拓宽了信息表面的使用范围,使用者可以实时更新图像的具身生成,更轻易将屏幕监控动作嵌入日常例行活动中。

在光笔监控与智能手机触屏上生成的触控图像,延续了立体视镜的“实在性效果”(克拉里,1992/2017:199),与摄影术的现实效果存在明显的断裂。乔纳森·克拉里(Jonathan Crary)指出,现实效果取决于图像与现实的相似性,而实在性效果取决于机具可供性与观者使用活动之间的关系。立体视镜通过立体视图近景或中景处的突出物,令视轴的辐辏角度产生足够显著的改变,从而产生增强现实的效果,彰显出机具的操作过程:“身体和机器之间的功能性互动。”(克拉里,1992/2017:199)

19世纪光学机具训练观者增强目视连续性的能力,生成移动中变化而连续的视象。与之相比,触控媒体强化了手部的连续性投入,连续视景的具身生成因此也取决于触控姿势的使用和创新,而强调游戏感的软件界面(强调与虚拟物体的配合动作)与基于联网数据库的算法预测和推荐,强化了即时更新的吸引力,将图像的生成变得更加复杂。比如手控与机具的互动挑战了静态图像与动态图像之间的界限,手机上的谷歌街景图结合谷歌网络服务器中的大量数据化街景照片、GPS移动定位装置和触控设备,为使用者的手指操作反馈程控变化的拟像;同时,连续的触控介入在使用者的感觉认知中召唤出360度范围内移步换景的内在图像。作为一种准物质层面,触控图像“不再是物体的再现,而是某个操作过程的结果”(Farocki,2004:17)。


总结讨论与研究展望

通过媒介间分析可以看到,“抖音”等流行手机应用所构成的移动触屏观看装置,拼装了“前电影”具身触知功能和电影的屏幕/窗口策略,更加复杂地彰显出视听实践中公共与私人、表征与操作的张力以及机具与身体的相互关系。移动触屏观看装置涉及输入实体与软件可供性对手部智能的增强,图像的运动取决于身体连续性动作和触控机具的功能性互动。

对“抖音”等流行软件的强迫性重复操作,使“刷视频”姿势发展成一种病理表征,彰显出身体尤其是手部连续性动作的生产性功能,构成新的视听意指实践。流行的手机视频软件通过界面和算法的互动设计,将点、按、滑等简单触摸单位语义化,“上滑更新”“双击选中”等动作语汇,强化了更替和探入的意愿。这些得益于硬件间、软件间操作标准和惯行记忆的动作能指,将直觉形式固定为可辨认的风格,比如“抖音”等视频应用的垂直滑动风格。滑动更新相对自动更新或其他触屏动作,更加强调身体的连续性接触和投入在获得视觉经验中的中心作用。

动作的重复操演取决于触控技术,通过触敏设备输入的身体动作,借助软件转化为可被比测和运算的数据,软件决定了输入设备的表现。触屏观看设备将软件界面、输入实体、显示器的功能集合为一体,将使用者的连续性身体投入召唤为机具效果而非仅仅是文本效果,提示进一步的受众研究和观者身份研究在考虑叙事形式、视听风格的优先编码和受众的解码惯行时,需要结合对软硬件可供性及其身体效果的分析。比如使用者对软件的反向欺骗性投喂,以扰乱机具与身体的功能性互动为战术,彰显了具身的抵抗实践。

由于身体连续性实现了移动触屏机具的功能,触控技术的发展和机具产品的创新,将保留和拼装已有那些实现和优化身体连续性的软硬件设计,比如iPod滚轮与滑鼠中间键的关系、“苹果铅笔”与用于雷达显示器的光枪的关系。进一步的研究将可以从优化身体连续性的角度,考察移动通信技术、手机屏(如刷新率、折叠屏)、界面互动设计(如过渡动画)等标准、技术和设备的变化。以触屏经验对手部情感、记忆、认知能力的增强作用为起点,追溯输入设备和体验界面的设计历史,能够发现触控机具潜在的可能性,比如被恩格尔巴特所舍弃的膝控、关节控制设备。进一步的研究可以通过对不同部位身体智能的比较研究,考虑视觉与其他触觉的结合以及视觉性的另类建构。可供性对身体连续性的有意或无意的破坏(比如滑看包含视频的图文),如何影响特定身份的用户在特定地点和时间的社会惯行,也需要进一步研究。

手机视频流作为由身体与机具的互动所书写的触控图像,其构成不仅包括某个视频的表征,更包括计算机具的操作过程(机器对于身体输入的分析、运算和反馈),这个操作过程在一定条件下才会被有限的窗口可视化。上滑刷新、侧滑拉入等动作,指涉出联网触控图像在经验上的无限性,连续性操作拓宽了信息表面。手指与软件的持续互动,生成即时变化的动态图像,冲击着屏的有限矩形边框,又同时保留以有限的窗口提喻无限现实的认知惯性。一些设计模型试图为信息表面的可视化寻找替代方案,比如米伦·克鲁格(Myron Krueger)的姿势互动投影墙、施乐的“数字桌面”与新近的“第六感”项目,分别用墙壁、桌面和手掌这些日常实物代替电子显示机器。这说明信息表面不一定是包裹和遮蔽计算硬体的屏障,也可能是即时的信息组合在其他相对平整的物质表面上的临时驻留。

由于本研究主要考察移动触屏观看装置和经验的现象层面,对于硬件制造商、流媒体服务商、具体软件的设计和使用惯行疏于考察,这些方面都有可能影响移动触屏中的视听意指实践,需要在后续进一步探究。同时,本文对触屏姿势的现象学分析仍然失之宏观和抽象,对于基础设施、硬件物质材料、算法预测和推荐机制、界面图形图像元素、姿势动作与身份差异的关系等方面,仍然需要通过细化的历史研究或经验研究做出检验和拓展。

 
最新文章
相关阅读