神经电影学：用电影同步大脑

ResearchBlogging.org
    电影就是要抓住观众的思想。导演们都希望自己的电影可以让观众能够沉浸其中，吸引观众的注意，诱发观众达到想要的思想状态和情绪体验。制片过程中可以用很多手段来诱导观众的思维，比如用蒙太奇或联戏剪辑的手段。但用电影来操控观众思维的愿望却一直没有办法来直接验证。而目前渐渐兴起的神经电影学 (neurocinematics)，使得用神经活动来评价电影成为可能。

neurocinema1

    Hasson 在2004年在Science上发表的文章验证了用功能磁共振 (fmri)评价电影的可能性。他们的思路很简单却很巧妙，如果电影可以引起观众神经活动的起伏响应，哪么不同观众在看相同电影时的神经响应应该是相似的。因此，他们让被试躺在MRI机器中观看电影片段，而后采用了他们采用了试间相关 (ISC)的方法计算不同观众相同大脑区域神经活动的同步性。在没有在看电影时，不同观众的大脑活动显然都是无关的。但如果这些观众在看同一部电影，由电影诱发的神经活动就会显示出相似的模式。相应大脑区域的ISC值就会很高。如下图所示，大脑的视觉加工皮层，听觉加工皮层以及颞叶和顶叶等区域都会显示出很高的同步性。但负责高级认知加工的额叶皮层却很少同步。

neurocinema2

    上图所示的激活区域是合理的。在看电影时，视觉与听觉加工都会随着电影的进程而紧密响应，因此会同步。而一些负责特异性加工的专门区域，也会产生同步。比如颞叶和枕叶中负责面孔加工的梭状回面孔区 (FFA)会在电影中出现面孔时激活，而负责场景加工的海马旁回 (PPA)会在电影中出现场景时激活，而当电影中的角色使用工具时 (比如用手点烟或者开枪)，顶叶皮层将会同步激活。但是，每个人看电影都会有自己的理解，因此负责高级认知加工的的额叶皮层几乎没有同步活动。

neurocinema3

    不同观众神经活动的同步性可以被称为群体卷入性 (collective engagement)。考察不通电影引起的同步活动的区域的大小，可以在一定程度上反映电影对观众控制程度的大小。比如上图4部电影拍南端的比较结果，现希区柯克的《断魂枪声》片段引起了65%大脑区域的同步激活，莱翁的《黄金三镖客》片段引起了45%大脑区域的同步激活，而拉里・戴维的《抑制热情》片段只引起了18%的大脑区域的同步激活，最后是一段在纽约华盛顿广场公园拍摄的自然场景视频，只引起了5%的大脑区域的同步激活。

    同步性的高低在一定程度上反应艺术控制的成功性，可以用来评价不同剪辑的效果好坏。如果进一步在精细的时间维度上考察每个镜头引起的同步性的好坏，甚至可以对电影剪辑起到很大的指导作用。当然，同步性低的电影也未必不是好片，不同的导演会有不同的表达方式。不过像神经电影学这样客观而“科学”的方法，一定会起到越来越重要的作用。据说好莱坞已经在用神经电影学的方法制造电影了。

    PS: 在北京实验室时，LH 老师 Hasson 的评价很高。他是犹太人，博士毕业于以色列著名的Weizmann Institute of Science，目前在 Princeton 做助理教授。今年8月在北京举行的第7届国际认知科学大会上 (ICCS 2010)将举行神经电影学之夜，感兴趣的可以去围观。

Hasson, U. (2004). Intersubject Synchronization of Cortical Activity During Natural Vision Science, 303 (5664), 1634-1640 DOI: 10.1126/science.1089506

Hasson, U., Landesman, O., Knappmeyer, B., Vallines, I., Rubin, N., & Heeger, D. (2008). Neurocinematics: The Neuroscience of Film Projections, 2 (1), 1-26 DOI: 10.3167/proj.2008.020102

评论

发表评论

此博客中的热门博文

如何画出漂亮的图

图片
    题目其实是个标题党。我一直都在尝试各种方法把paper中图片做的更漂亮，但效果总是不理想。而读paper时经常能看到让人眼前一亮的图。比如最近Journal of neuroscience一篇关于视觉系统 随机共振 的研究。     所谓随机共振，就是当一个非线性系统在加入少量噪声时的工作效果要比完全没有噪声时好。人的神经系统就是个典型的非线性系统。上图是原文中的一个figure。要注意的是最上面的原始图像两个斜杠之间的细节。斜杠中的斜杠是阈下的，通常很难被知觉到，但如果加入适当的噪声，就可以清晰地看到斜杠中间的细节 (中图)。     初看到这幅图，我的感觉这是对随机共振效应的最好的演示。因为之前对随机共振的介绍都是理论或者语言描述，从来没有给过这样直观的演示。但说实话，很难看出如何只加入噪声就可以把第一幅图像变成第二幅图像的样子。我自己用MATLAB对原始图像加随机噪声，完全得不到这种效果。当然我自己的图像处理水平有限，电脑显示器也比较低级。不知道哪位高手可以实现。OR, 这其实只是个示意图？ Schwarzkopf, D., Silvanto, J., & Rees, G. (2011). Stochastic Resonance Effects Reveal the Neural Mechanisms of Transcranial Magnetic Stimulation Journal of Neuroscience, 31 (9), 3143-3147 DOI: 10.1523/JNEUROSCI.4863-10.2011
阅读全文

12平均律vs.自然律 频率vs.音高

图片
字母表示 7 种琴键音。从 A 到下一个 A 占用 8 个白键，俗称“八度音” octave 。国际标准 A 音为 440 Hz。钢琴上有许多 A 音，它们是：27.5，55，110，220，440，880…… Hz。请注意，每增加一个八度，用 Hz 为单位的频率增加为 2 倍。物理学中把 octave 说成是“倍频程”。钢琴调音师会把那种倍数关系拉开一些。1000 Hz 以上会拉得很开。在 500 Hz 以下，调音师人工调音中，倍数关系还是比较好的，非常接近 2 倍。 钢琴键盘上相邻的 7 个白键和 5 个黑键组成“十二半音”。相邻的白键和黑键之间，音高关系是半音。两个白键相邻，中间没有黑键的，也是半音的关系。两个白键相邻，中间有黑键的，白键之间是全音的关系。两个半音是一个全音。半音是全音的一半。 请注意，从 Hz 数值看，半音之间是 2 开 12 次方根的关系，也就是 1.059463 倍的关系。把它自乘 12 次，应该等于 2 。 在音乐家的听觉中，平均律并不好。他们更喜欢自然律： C 　D 　E 　F 　G 　A 　B 　C 264 297 330 352 396 440 495 528 它们之间有一种和谐悦耳的关系，也就是简单的比例关系，例如 C 与 G —— 2 : 3 、 E 与 A —— 3 : 4 、 G 与 B —— 4 : 5 、 E 与 G —— 5 : 6 ， 各自之间分别是最简单的比例关系。 半音 E 与 F 、B 与 C —— 15 : 16 的比例关系。它们是音乐带来悦耳感受的基本依据。 在有些乐器中自然律转调很不方便，所以钢琴要用 12 平均律。平均律与自然律的误差极小。 平均律的半音单位（st）跟 Hz 数值之间很容易换算，对于语音研究来说，它有重要的用途。
阅读全文