腦海里總有彈幕飄過？沒錯，你就是那個天選之人

撰文 | 不周

審校 | clefable

想象一行字“我是神奇的腦內(nèi)彈幕?。　闭h浮在空中。如果你嘗試過，可能會發(fā)現(xiàn)這并不容易做到。多數(shù)人都需要用力地想象這些字的“臉”，而后再費心精雕細琢一番，否則這行字很容易就變成一團模糊的字塊，難以辨認。

但如果你不費吹灰之力就能想象出來，甚至在生活中也經(jīng)常會在腦海里看到一行連貫的字幕滾動過去，那么你很可能和上文提到的會為夢境配字幕的人一樣，擁有少見的字幕聯(lián)覺（synesthesia）。通常情況下，我們在接收一種感官信息時，只會體驗到一種知覺，而所謂聯(lián)覺則是指不同知覺會跨越感官相互連通，比如聽到顏色或是品嘗到形狀等。

早在 19 世紀，科學(xué)家就驚訝地發(fā)現(xiàn)有人認為字母或數(shù)字是有特定顏色的。但當(dāng)時多數(shù)人都將聯(lián)覺看作一種幻想，或者是格外擅長比喻，而非真實的感覺體驗。直到 20 世紀，科學(xué)家才通過系統(tǒng)性的實驗證實了聯(lián)覺的真實性。

在眾多感官交叉 —— 比如字素與顏色、詞匯與味覺、樂曲與畫面等 —— 帶來的各種各樣奇幻的聯(lián)覺體驗中，字幕聯(lián)覺雖然是聽覺與視覺的“平凡”交融，卻好像并不那么常見。1883 年，查爾斯?達爾文（Charles Darwin）的表兄弗朗西斯?高爾頓（Francis Galton）觀察到，一些人會在腦內(nèi)將對話者講話的內(nèi)容形象化，“有些人在腦海中會看到對話者說出的每一個字在一條長長的紙條上滾動浮現(xiàn)，就像是自動收報機上展開的紙條一樣?！?strong>也因此，字幕聯(lián)覺常被叫做自動收報機聯(lián)覺（ticker tape synesthesia，TTS）。

原來我是特別的

一直以來，有關(guān) TTS 的實證研究并不多。它很容易被歸類到聯(lián)覺這個廣泛的標簽下，并且不如其他多數(shù)聯(lián)覺那樣奇特，引人注意?！?strong>但 TTS 這種現(xiàn)象遠遠超出了軼事的范疇，它能幫助我們更好地理解大腦處理書面語言的神經(jīng)機制，”法國巴黎大腦研究所（Paris Brain Institute）的博士生法比安?奧夫（Fabien Hauw）表示。

奧夫與神經(jīng)心理學(xué)家洛朗?科昂（Laurent Cohen）的研究團隊一同調(diào)查了 26 位具有 TTS 的志愿者，首次系統(tǒng)性地收集了 TTS 的視覺和字幕出現(xiàn)的時間特征、觸發(fā)機制、是否能主動控制和如何處理干擾性語音信息等數(shù)據(jù)。這項研究于 2022 年 12 月發(fā)表在 Cortex 期刊上。

由于 TTS，或者說多數(shù)聯(lián)覺是主觀性的體驗，從眾多志愿者中找出聯(lián)覺者是極具挑戰(zhàn)性的，因為有時候他們根本意識不到自己是特殊的。更有趣的是，“最終被招募參與研究的志愿者中，有幾位是通過招募的海報信息才意識到，并非每個人自帶內(nèi)置字幕，”科昂笑著說。有關(guān) TTS 在人群中出現(xiàn)的概率，由于抽樣偏差，不同研究得出的結(jié)論各有不同，至今未能有定論，只是大概估計為百分之幾的概率。（研究人員表示此前研究得出的結(jié)論 —— 人群中出現(xiàn) TTS 的概率為 7%—— 肯定是高估的。）

世界是怎樣的電影呢？

為了深入了解 TTS，科昂的團隊為志愿者設(shè)置了一份詳盡的調(diào)查問卷，從多個維度收集了他們的主觀感受。首先他們需要確定 TTS 會在何時出現(xiàn)，志愿者是何時以及如何意識到它不常見的。在較為粗略的概念里，TTS 是由外部語音觸發(fā)的，那么它可以由自己的語言觸發(fā)嗎？情感以及性別等聽覺參數(shù)是否會影響 TTS 的感知？聯(lián)覺者對這種現(xiàn)象自我控制的程度如何？

TTS 的本質(zhì)是一種生動的心理視覺圖像。因此研究人員也想探究志愿者是在自己腦海中感知到字幕，還是會像虛擬現(xiàn)實的畫面一樣 —— 將字幕投射到外界？字幕出現(xiàn)的位置是固定的嗎？它們多用大寫字母還是小寫字母（這項研究的對象是母語為法語的志愿者），是否有顏色等等問題。

同時，聽覺上語音感知與字幕出現(xiàn)之間是否有延遲，以及語音停止后字幕持續(xù)的時間，TTS 是否會被外語、新詞以及不同類別的非言語聲音（如打噴嚏，喵喵叫或鈴聲）觸發(fā)，以及 TTS 對日常生活的影響，這些也都是研究人員試圖理清的問題。

針對 TTS 的觸發(fā)機制，研究人員額外使用了聽覺刺激用來輔助評估。他們從一個開放的語音庫中選擇了多種類型的聲音，比如同音詞（類似雜志與雜質(zhì)）、錯音詞（類似雜志與咱志）、假詞（與真詞相對，符合語音但不符合語義的詞匯，如冰箱與冰仙）, 以及動物叫聲、汽車引擎聲等非言語性的語音，將它們依次播放給志愿者聽，并讓他們寫下可能誘發(fā)的任何字幕。

隨時隨地，無法自控

研究人員通過整理收集到的內(nèi)容發(fā)現(xiàn)，19 名志愿者（73%）報告從記事起（約 8 歲）或自識字起（約 11 歲）就一直具有 TTS，這說明具有初步的讀寫能力是 TTS 出現(xiàn)的先決條件。對于聯(lián)覺者而言，TTS 具有明顯的優(yōu)勢 —— 能幫他們更快地學(xué)會正確拼寫單詞。此前一項研究也表明，10~11 歲的 TTS 聯(lián)覺者相比其他同齡的兒童，能更好地表達和學(xué)習(xí)新詞匯，這顯示了 TTS 帶來的語言學(xué)習(xí)優(yōu)勢。但與之相對的，他們在擁擠嘈雜的環(huán)境下，很難將注意力集中在單個對話者身上。約一半的志愿者都認為 TTS 既帶來了優(yōu)勢，也造成了障礙。

有 18 位志愿者表示 TTS 是一種自動發(fā)生的現(xiàn)象，他們幾乎無法控制。所有志愿者在聽到和觀看別人說話時，都會觸發(fā) TTS。而在多數(shù)情況下，即使說話者遠離他們的視線范圍，或是志愿者自己公開說話，甚至是隱蔽的內(nèi)心獨白，TTS 也仍會發(fā)生。內(nèi)部的語音并不存在真實的聲學(xué)過程，但它與外部語音過程一樣都能激活 TTS，這可能揭示了 TTS 中存在的腦區(qū)共同激活模式，但仍有待進一步探索。

然而，也有志愿者報告自己講話時或者視野之外的人講話的聲音沒有觸發(fā) TTS。對此，研究人員認為這兩種情況是源于志愿者的注意力并未集中在輸入的語音上：視野外的說話者通常是無關(guān)緊要的，本應(yīng)被過濾掉；而與人對話時，自己關(guān)注的更多是交流的意圖，而非自己的語音內(nèi)容。這很可能會導(dǎo)致觸發(fā) TTS 的概率降低。

而另一種解釋則認為這種現(xiàn)象與唇讀受阻存在緊密聯(lián)系。上述這兩種情況都無法從視覺上輔助志愿者閱讀單詞。由此，也有研究人員認為 TTS 的生成或許不僅與聽覺上的語音學(xué)相關(guān)，可能也與視覺上對面部的感知有關(guān)。

為貓貓叫配上“喵”

在研究 TTS 的觸發(fā)機制時，最常見的心理詞典 —— 存儲在記憶中的詞匯庫就像是保存在人腦中的一部詞典 —— 中的真詞（具有語音和語義），很自然地會觸發(fā) TTS。但研究人員同時也發(fā)現(xiàn)，假詞（只有語音沒有語義）甚至非言語的聲音也可能觸發(fā) TTS。

一位志愿者講述道，有一只小鳥常常清晨在他的花園里唱歌。幾天后，他將這首歌翻譯成了象聲詞。從那時起，每當(dāng)小鳥唱歌，就會在他腦海里觸發(fā)一串?dāng)M聲詞字幕。這種情況也類似于外語對 TTS 的刺激，雖然這些語音可能會失去了原來的語義，但仍可通過語音編碼而被收入他們腦海的“詞庫”中。

這一過程其實也揭示了語言學(xué)習(xí)的過程。從語言學(xué)上講，語音（phonology，詞匯以抽象的語音形式編碼在心理詞典中）與正字法（orthography，規(guī)范字詞的形體和使用規(guī)則，因此有真詞和假詞，正字和錯字的概念，包括漢語在內(nèi)的多數(shù)語言都會在正字法包含語音結(jié)構(gòu)的某些信息）都能結(jié)合對語義的理解，增進讀寫能力。

在受不同非言語性語音刺激的志愿者反饋的字幕中，研究人員能清晰地辨認出語音轉(zhuǎn)為正字法的編碼路徑，比如在所有志愿者中，熟悉的貓貓叫聲幾乎都會觸發(fā)擬聲詞“喵~”（法語中則是“MIAOU”），但對于不太熟悉的公雞叫聲，只有少部分人觸發(fā)了“HUHUHU”；而一些聲音觸發(fā)的則不是擬聲詞，而是產(chǎn)生噪音的物體的名稱，比如槍聲引起志愿者想到的更多是“槍”（“GUN”）或“槍擊”(“GUNSHOT”)。

在 2022 年的一項 TTS 磁共振成像（MRI）研究中，他們發(fā)現(xiàn)相比于對照組，當(dāng)聯(lián)覺者聽一段獨白時，左半球負責(zé)語音分析的區(qū)域和涉及拼寫的特定區(qū)域 —— 視覺詞形加工區(qū)（Visual Word Form Area，VFWA）會被更強烈地激活，這與閱讀時激活的腦區(qū)相同。與普通人將書面文字翻譯成語音相對的是，TTS 聯(lián)覺者是自動地將語音轉(zhuǎn)換為書面文字，也就是說，TTS 更像是一種顛倒的閱讀形式。

重在參與的字幕

有趣的是，志愿者在閱讀或者觀看電影期間，TTS 也會一定程度地參與其中。在安靜的地方閱讀時，約一半的志愿者表示他們只會看到印刷的文本，而另一半則會在文本之上看到相同版本的聯(lián)覺版本。比較痛苦的情況是，如果有人在一邊說話，88% 的志愿者都表示這會導(dǎo)致說話者的語音字幕入侵書面文本，“污染”了它。

相似的，看帶字幕的電影時，一半的志愿者既能看到電影字幕，也能看到演員說話時的聯(lián)覺版二級字幕。少數(shù)志愿者還報告說，他們會在夢中也能看到字幕。某種程度上，這也算是為他們的夢添加了電影的維度。

在這些志愿者的描述中，聯(lián)覺字幕出現(xiàn)的形式也極為豐富。18 位志愿者會在腦海中看到字幕，有兩位則是將字幕投射到外部世界中，剩下的人表示可以自由切換。而他們的字幕出現(xiàn)的位置也會有所差異，有人的字幕會根據(jù)聲源方向向左或向右移動，有些人的字幕會像漫畫的氣泡一樣靠近說話者的嘴，有人則是與電影字幕位置相似，像提詞器一樣滾動。

不同志愿者看到字幕的顏色、字體以及字號都有所不同。有志愿者表示，“當(dāng)我感動時，字母會有些模糊或搖晃”、“情緒激烈時，單詞會變大”、“聲音越大、單詞越大”，在聽到音樂中的歌詞時，“單詞似乎會隨著旋律起伏”等。事實上，他們有些人并不止有 TTS 聯(lián)覺，有些人還會有諸如時空聯(lián)覺、聲音顏色、絕對音準等不止一種的聯(lián)覺體驗。

TTS 聯(lián)覺是如此特殊，觸發(fā)它的語音和出現(xiàn)的文字圖像都是語言表征，它也因此為我們理解人類的閱讀機制提供了一個非常特殊的視角。

不過聯(lián)覺本身并沒有那么稀奇，很多人在聽到一首歌或是聞到某種氣味時，會感到好像回到了某段記憶里，這本質(zhì)上也是一種聯(lián)覺。而人類強大的想象力應(yīng)用在文學(xué)創(chuàng)作中，便有了所謂通感的修辭手法。

在《禮記?樂記》中，“故歌者，上如抗，下如隊，曲如折，止如槀木，倨中矩，句中鉤，累累乎端如貫珠”就講述了音樂不僅悅耳，更能通過聽覺與人的觸覺、視覺和情緒溝通。

如果你也想更有代入感的體驗聯(lián)覺通感，不如聽聽用音樂描繪圖畫的《圖畫展覽會》鋼琴組曲。

參考鏈接：

• https://doi.org/10.1016/j.cortex.2022.11.005

• https://www.tandfonline.com/doi/full/10.1080/17588928.2015.1048209

• https://www.eurekalert.org/news-releases/978603

本文來自微信公眾號：環(huán)球科學(xué) （ID：huanqiukexue）

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。