一些属性
如我上面所说,所有事物都对某些东西来说是最适合的,而对其它东西来说就是最不适合的。人群的多样性,交流的方式方法的多样性,以及交流的信息属性多样性都会促进技术的发展以适应不同任务的特质。
但是潜在的问题是,这会把我们带入设备的海洋之中,每个设备都具有不同的目的和交互方式。这很可能会导致失控,使我们被泛滥的小装置所包围。这些小装置本身简单而有效,但是太多的装置可能无助于简化这个复杂的世界。但是,历史告诉我们,好的工具会在此过程中产生。想想你厨房里的各种刀具或者你工具房里的各种改锥,虽然它们种类很多,但是它们都有合适的用途,这引向了另一个老话题:所谓“多的即是少的”,或者说科技的多样性反而会降低复杂度,不过这并不是一定对的。
而触摸屏所基于的所谓“软机器”正相反,“少的即是多的”。少的但是更普遍适用的技术也会导致复杂度的降低。我们当然希望多点触摸系统能够仅靠单一设备而转化为适用特种任务的任何交互界面。但是功能照顾的太全往往不能把每一个功能做精做好。
一种触摸屏驱动的思路是:不用设计一个布满不同按钮和连线的输入设备,“软机器”仅仅构画出一幅设备的图像让用户通过它来进行交互。理想情况下,这与单一设备相比具有极大的灵活性。想象当你操作物理设备的时候,你可以同时触控多个按键或虚拟设备,这会是一个很好的用户输入界面。
同样的,多点触控扩展了我们在交互中使用的手势。我们可以做除了简单的指向,按键和拖动-这些在过去主导了我们与电脑的交互方式以外的操作。这就好像我们不再用一根筷子吃中国食物、用一根手指去捏别人,或是用一只手拥抱别人。多点触摸是实现这些的一种方式,但绝不是仅有的一种或最好的一种。
没有免费的午餐
感觉 触摸屏和多点触摸屏的适应性也要付出一些代价。除了可能增加单一设备的复杂度,当你对着一幅设备的虚拟图像操作时你仍会觉得不适应,尽管它们模拟的是同样的功能,但是你的感觉仍会不同。使用过虚拟键盘的人应该会了解这种感受。
用户界面的两个因素是外观和感觉,而多数的基于触摸屏的系统都着重于外观,这有些具有讽刺意味,因为他们被称作“触摸”屏。
如果你是盲人你仅仅是很不幸,我们在某些时候都会是盲人- 比如当灯被熄灭的时候,或者仅仅我们的目光停留在别处。触摸屏界面几乎都需要看,而不能仅靠触摸,因此当你看不见的时候,你不能开启,停止或暂停你的MP3播放器,除非你非要说你的触摸屏界面具有语音提示的功能。
而另一方面,机械按键在某种程度上可以盲操作,比如我们可以不看着键盘进行打字。
手持型的触摸屏设备通常都需要两只手操作 通常是一只手拿着设备,另一只手进行操作。因此操作的时候需要两只眼和两只手。
你的手指并不透明 触摸屏越小,手指遮挡的问题越严重,手指不会像图像和芯片一样缩小,这是有时需要触笔的原因之一,因为它可以替代手指而且非常纤细不会遮挡屏幕。
我们不用手指作画是有理由的 即使是在大尺寸表面,用手指也不如用画刷或触笔来进行写和画更有效。在小型设备中,几乎不可能用手指替代触笔来记笔记或画画。如果设备支持高质量的电子墨水并具有合适的触笔和设计,用户可能可以像在纸上一样流畅地写笔记。值得注意的是在几乎所有只支持手指输入的设备中,都不支持草书功能。
太阳光 我们都曾经历过在户外阳光下很困难地读取MP3播放器,手机或数字摄像机上的LCD显示。但是至少在这些设备中,部分的功能可以通过机械按键来控制。比如即使你看不清屏幕的显示,你还是可以将数字摄像机对准目标按下快门。但是在只依赖于触摸屏的界面中,这就有些困难了,除非设备具有卓越的反射显示功能,否则在强光下可能无法使用。
但是所有这些问题是说明触摸设备不好吗?不,一点也不,这只是说明它具有自己的优缺点。天下没有免费的午餐也没有万灵药,如我所说,所有事物都对某些东西来说是最适合的,而对其它东西来说就是最不适合的。理解以及权衡这个相对的含义才能做出一个明智的决定,只是大多数消费者和设计者都没有足够的经验能够认识和理解这个问题,这正是我们需要多做一些工作来弥补的地方,希望我所写的对你们能有所帮助。
不完全和简单注释的多点触摸及相关技术的编年录
最开始... 打字和N键响应(N-Key Rollover)(IBM及其它)
- 尽管看上去和多点触摸屏相差很远,但多点触摸的故事始于键盘。
- 尽管它们是机械式设备,比软件更“硬“,但是它们的确包含了多点触摸的技术。
- 起初,我们使用顺序组合键,诸如SHIFT,Control,Fn或ALT与其它键进行组合,这是多点触摸的雏形。
- 接着,我们想将不是故意但有时却不可避免地同时按下几个键的情况赋予正确含义,这就是所谓的N键响应(当你按住的前一个键未松开时按下另一个键)
电声音乐: 早期的电子触摸传感器(Hugh LeCaine , Don Buchla & Bob Moog).
http://www.hughlecaine.com/en/instruments.html
- 比PC更早的触控设备
- 许多早期的音效合成器和电子乐器的制作者们用接触式电容传感器来控制声音和音乐
- 这些是触摸板,不是触摸屏。
- 这些为音乐而设计的触控设备是多伦多大学的多点触摸表面和CMU Sensor Frame的早期基础。
1972: PLATO IV触摸屏终端((Computer-based Education Research Laboratory, University of Illinois, Urbana-Champain) http://en.wikipedia.org/wiki/Plato_computer
- 触摸屏在60年代后期开始研发。
- 早期工作成就于IBM, the University of Illinois, and Ottawa Canada.
- 到1971年许多不同的技术被揭开。
- 它们都是单点触摸,并且不能感应压力。
- 最早的普遍被大众所知的是PLATO IV电脑辅助教育系统的终端,开发于1972年
- 和使用触摸方式一样受人瞩目的是它的实时随机存储音频回放功能以及平板等离子显示。
- 它所用的触控技术是如今红外触控技术的前身,这项技术至今仍在使用(如CarrollTouch)
- 最初的设计具有16X16的触摸分辨率。
1981年: 用于机器人的触觉阵列传感器(Jack Rebman, Lord Corporation).
- 为一个可以感应形状、方向的机器人所设计的多点触摸传感器。
- 在一个4'X4'的正方形平板上由8X8阵列的传感器组成。
- 用法描述于Wolfeld, Jeffrey A. (1981). Real Time Control of a Robot Tactile Sensor. MSc Thesis. Philadelphia: Moore School of Electrical Engineering.
- 图片显示的是在一个触觉传感器上放置一个圆形物体的成像结果。Groover, M.P., Weiss, M., Nagel, R.N. & Odrey, N. (1986). Industrial Robots. New York: McGraw-Hill, p.152.)
- 1985年由Rebman申请了相关美国专利 (4,521,685)
1982: 柔性机界面 (Nimish Mehta , University of Toronto).
- 我所知道的第一个为电脑系统设计的多点触摸人机交互系统。
- 由一个毛玻璃面板构成,这种面板具有的光学特性可以让置于其后的摄像头记录下与手指在白色背景上的压力大小相关的黑点。这种特性和简单的图像处理结合就可以实现基于多点触摸的画图功能。那时候我们还讨论了用一个投影仪为摄像头和观众定义背景的想法
- Mehta, Nimish (1982), A Flexible Machine Interface, M.A.Sc. Thesis, Department of Electrical Engineering, University of Toronto supervised by Professor K.C. Smith.
1983:“软机器”(Soft Machines) (Bell Labs, Murray Hill)
- 我所知道的第一篇试图深入探讨基于触摸屏的用户界面特性的论文,他们称之为“软机器”。
- 尽管不是专门针对多点触摸技术,这篇论文勾画的许多特性使这种系统在某些应用背景中非常吸引人。
- Nakatani, L. H. & Rohrlich, John A. (1983). Soft Machines: A Philosophy of User-Computer Interface Design. Proceedings of the ACM Conference on Human Factors in Computing Systems (CHI’83), 12-15
1983: 视频场所/视频书桌(Myron Krueger)
- 一个可视系统,可以跟踪手以及允许多个手指,手和人通过很多丰富的手势来进行交互操作。
- 可以用在很多地方,包括书桌和墙壁。
- 本身并不能感应触摸,因此主要根据姿势停留的时间来触发事件。
但是从用户的角度看来,在水平桌面的设置中,该系统是基于触摸感应的。 - 主要描写了大量的无阻碍的交互手势(不用手套,鼠标,触笔等)。
- 所做的工作非常超前且具有巨大影响力,但是认知度并不太高。
- 他所描述的大部分现在刚开始使用的手势可以从下面这个1988年的视频中看到,包括通过“pinching”的手势来缩放物体http://youtube.com/watch?v=dmmxVA5xhuo
- 还有很多这个系统的演示视频,任何在这个领域的人都应该看看,并且读一读以下这些书:
Krueger, Myron, W. (1983). Artificial Reality. Reading, MA:Addison-Wesley.
Krueger, Myron, W. (1991). Artificial Reality II. Reading, MA: Addison-Wesley.
Krueger, Myron, W., Gionfriddo, Thomas., &Hinrichsen, Katrin (1985). VIDEOPLACE - An Artificial Reality, Proceedings of the ACM Conference on Human Factors in Computing Systems (CHI’85), 35 - 40.
1984: 多点触摸屏(Bob Boie, Bell Labs, Murray Hill NJ)
- 一个多点触摸屏,不是平板。
- 第一个我所知道的多点触摸屏。
- 用一个透明的电容传感器阵列覆盖在CRT上。可以用很快的的相应速度通过手指操控图形物体。
- 由Bob Boie研发,但是由Lloyd Nakatani 向我展示的,他在1985年的SIGCHI上看到我们所做的工作后邀请我参观了贝尔实验室。
- 因为Boie的触摸屏是透明的,而且速度比我们的快,当我参观的时候,我认为他们已经领先于我们,所以我们就停止了在硬件上的研发(寄希望于可以获得他们的技术)并且专注于我们的强项:软件和交互方面。我们猜想Boie的技术会在不远的未来为我们所用(后来并没有)。
- 大概在1990年,我从Xerox带来一个小组来参观这个技术,因为我感觉它会很适合做我们大型文档处理器的用户界面,但是并没有成功。
- 在Boie时期的贝尔工作室中还有很多相关的多点触摸的工作,可以参阅1984年Leonard Kasday的工作( US Patent 4484179),他使用的是光学技术。
1985:多点触摸平板(Input Research Group, University of Toronto): http://www.billbuxton.com/papers.html#anchor1439918
1985:传感器框(Carnegie Mellon University)
- 是由Paul McAvinney所做的工作,并描述于1986年的这篇论文中:
McAvinney, P. (1986). The Sensor Frame - A Gesture-Based Device for the Manipulation of Graphic Objects. Carnegie-Mellon University, - 该设备使用安装在框角的光学传感器感应手指。
- 当时还没有微型摄像头,因此该设备使用DRAM IC和透明玻璃罩来进行成像。
- 可以在一定时间内相当可靠地感应最多三个手指(但是由于光学成像的原因,可能因为阴影造成误读)
- 在之后一款由NASA资助的设备原型the Sensor Cube中,设备可以检测到手指与屏幕所成的角度(见 http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/19940003261_1994003261.pdf)
1986年:双手动输入(University of Toronto)
- 研究始于1985年,发表于次年,研究了使用两只手分别进行连续控制来完成两组不同的双输入任务的好处。
- 第一种是定位/调整任务。即一只手将某个图形移至屏幕上的某处,同时另一只手调整它的尺寸使之达到需要的目标。
- 第二种是选择/导航任务。即一只手在文档中搜索目前未被显示在屏幕上的某处,然后用另一只手选中它。
- 因为当时双手动输入的连续控制还很难实现(ADB还未被推出),我们用另一个电脑PERQ来模拟苹果电脑。
- 结果显示,这种连续的双手动控制对用户来说都很易于实现,而且在性能和学习能力上都有很大的改进。
- 参见 Buxton, W. & Myers, B. (1986). A study in two-handed input. Proceedings of CHI '86, 321-326.[video]
- 尽管这种能力自1986年开始被实现并商用化(使用ADB,见下和后来的USB),但仍没有主流系统采用这种基本的能力。太糟糕了。
- 这个例子说明基于多设备和多手操作的设计可以很简单地被转移到多点触控设备上。
1986:苹果桌面总线(ADB)和轨迹球滚动预置 (Apple Computer / University of Toronto)
- 苹果桌面总线连同苹果II代和苹果SE一同发布,这可以被视为USB的早期版本。
- 它支持即插即用,并且支持多种输入设备(键盘,轨迹球,游戏棒,鼠标等等)同时接入一台电脑。
- 唯一的缺憾是如果你同时接入两个定位设备,缺省状态下,软件并不能区分它们。它们都进行相同的工作,如果一个鼠标和轨迹球同时运行,那么你会看到它们在屏幕上争夺运行轨迹。
- 我在多伦多大学的小组想要利用这个多设备的优势并向苹果高级技术小组发出求助。
- 在Gina Venolia and Michael Chen的努力下,他们做出了一个用于系统文件夹的轨迹球滚动预置。
- 它能使鼠标和轨迹球分别操控滚动条的X和Y方向的滑动,见 Buxton, W. (1990). The Natural Language of Interaction: A Perspective on Non-Verbal Dialogues.In Laurel, B. (Ed.). The Art of Human-Computer Interface Design, Reading, MA: Addison-Wesley. 405-416.
- 它还可以提供另一项预置功能,使我们可以从第二个设备获取信号并利用它控制其他功能。比如 Kabbash, P., Buxton, W.& Sellen, A. (1994). Two-Handed Input in a Compound Task. Proceedings of CHI '94, 417-423.
- 简而言之,使用这个技术,我们可以将 Buxton & Myers(见上)所演示的优点用于标准硬件,无需更改操作系统,并且通常无需改动相应的应用。
这是我们距离支持多点触摸输入最接近的一次,虽然实际上并没有成功地实现。20年后的今天,那些诸如两点缩放的技术获得了这么大的关注。但实际上在那个时候就已经可以在技术上和商业上应用了。 - 令我们失望的是,苹果当时并没有利用这一他们最感兴趣的发明的优势。