只存在於腦中的幻象，這個AI模型“畫”出來了

原文來源：追問nextquestion

圖片來源：由無界 AI生成

當看見兩組線條光柵緊挨在一起，彼此稍有錯位時，我們腦海中似乎會出現一條實際上並不存在的線。 這條線彷彿在兩組實際線條間彎曲延伸（圖1C）。

▷**圖1：交錯光柵幻覺變體。 A：Vasarely （1970）;B：Vasarely’ Zebres （1939）;C：經典的交錯光柵幻覺。 圖源：Vasarely*

如此簡單的排列就能創造出令人驚訝的視覺效果，這被我們稱為交錯光柵幻覺（The abutting grating illusion）。 更有趣的是，當這些線條的數量增多時，我們對幻覺的感知也會變得更加強烈。

還有兩種霓虹色擴散幻覺也頗有意思：

埃倫斯坦幻覺和瓦林幻覺。 在埃倫斯坦幻覺中，一組輻射狀的線條向外延伸。 線條朝外的方向是深色的，而朝中心聚集的部分是淺色的。 如果將目光聚焦在線條中心，內部的淺色部分看起來像是向周圍的暗色區域擴散，形成了一個半透明的圓形。

▷圖2：埃倫斯坦幻覺，停在特定點的直線格子圖案在中心顯得比背景更亮，形成圓形錯覺。 圖源：Wikipedia

瓦林幻覺則由分別處於四個角落的圓形構成，其中每個圓形的一部分顏色較淺，其他均為黑色。 當我們凝視這些圓形時，淺色部分似乎會向中心擴散，最終形成一個半透明的方形。

▷圖3：瓦林幻覺，中心部分亮度更亮或者更暗，都會向中心擴散，最終形成一個半透明的方形。 圖源：Perception

虛擬輪廓感知的演演算法機制

科學家們提出了多種理論，試圖對以上這些幻覺中所觸發的對虛擬輪廓感知的演算法機制作出解釋。

一些派別認為，是色彩的側向抑制*使對比度增強，令人們感知到了虛擬線條。 例如，當一個神經元被亮度激發時，它會抑制周圍較暗區域的神經元，這使得亮的地方看上去更亮，而暗的地方看上去更暗。 腦可能會將對比度的增強誤解為一個明顯的輪廓和線條[1] [2]。 另一種理論認為，這有可能是大腦的高級功能，如藉由知識和記憶所完成的腦補。 當我們的大腦將看到的圖像與過往表徵進行比較時，可能會覺得缺少了某些元素，於是自動“補全”這些缺失部分，形成了對虛擬輪廓的感知 [3]。 還有許多理論，諸如神經震蕩可以結合零碎的特徵以形成對不存在特徵的感知 [4];皮層放大因數會對中央視野進行細緻處理，因此誇大了某些刺激物的特徵之類 …

***側向抑制（Lateral inhibition）:**一種保守的並列信號傳導機制，在大多數生物的發育過程中，側向抑制會在最初近乎同質的組織中推動斑點和條紋邊界等多種精細圖案的形成（參考文獻9）

而對虛擬輪廓感知的神經生理機制而言，儘管科學家們已經進行了大量的研究，但仍然存在許多爭議。 其中的一個競爭模型認為，這種神經生理機制發生在低級視覺皮層（V1/V2），然後自下而上地影響更高級的皮層;另一種觀點則認為，這一過程首先定位於更高級的皮層，主要是側枕皮層（LOC），然後自上而下地影響V1/V2[5] 。

對於霓虹色擴散幻覺來說，一些研究認為V3和V4對於形狀相關的顏色填充現象有相當大的影響[6] [7]; 同時，有一些研究認為由邊緣誘導的填充或均勻表面色度產生的顏色外觀相關的皮層活動與背側（V3A和V3B/KO）和腹側視覺流（V3v、hV4和LO）的互補活動模式相關 （圖4）。

▷圖4：視覺皮層中各個功能區域和路徑。 圖源：參考文獻7。

儘管這些理論提供了對幻覺演算法及生理機制的部分解釋，但我們仍然不清楚這些視覺幻覺到底是怎麼在內心中被表徵出來的，這似乎也無法驗證。

當看到幻覺的時候，我們是真的「看到」了它們嗎？

我們真的能確定自己是在用「幻覺」的方式表徵那些帶來幻覺的刺激物嗎？

重建幻覺圖像

近期，在Science Advances上發表的一篇論文用以上提到的兩種視覺幻覺類型進行了測試，成功重建了與幻覺體驗一致的線條和顏色圖像，證明瞭該模型在物質化主觀體驗方面的有效性[8] 。

▷圖1：論文封面。 圖源：參考文獻8

實驗中，研究者讓7位被試觀看三種及以上視覺幻覺圖像及其對應的控制圖像和正控制圖像。 **對於每種幻覺，控制圖片都有所改動。 **例如交錯光柵幻覺的控制圖像，大幅減少了柵欄密度;埃倫斯坦幻覺的控制圖像，原本引起幻覺的向外延伸的線條尾端顏色變淺，而正控制圖片則是將線條的輻射中心改為淺色圓形;瓦林幻覺的控制圖像，去除了幻覺刺激物的黑色部分（原本的視覺誘導），而正控制圖像則將中心部分改為較淺顏色的方形（具體見圖5）。

這些圖像以0.625赫茲的頻率閃現，每次持續8秒，共重複20次。 在整個實驗過程中，研究者使用功能性磁共振成像（fMRI）技術記錄了被試在觀看這些圖像時的大腦活動。

▷圖5：圖A左列為引發幻覺的刺激物，圖A右列為與引發幻覺的刺激物相對應的控制刺激物。 圖A第一行為交錯光柵幻覺，圖A第二行為埃倫斯坦幻覺，圖A第三行為瓦林幻覺。 圖B為使用自然圖片訓練DNN的過程。 圖C為DNN解碼fMRI數據中顯示的大腦活動為刺激物特徵以及生成器根據DNN解碼結果生成圖片的過程。 圖源：Science

接著，研究者將fMRI收集的大腦數據輸入進一個經過訓練的深度神經網路（DNN）進行解碼。 這個DNN是由Open AI董事Alex Krizhevsky設計的AlexNet的變體，即BAIR/BVLC CaffeNet模型。 這是一個採用前向傳播演算法的卷積神經網路，已預先訓練用於分類ImageNet圖片資料庫中的1000種物體。

**結果表明，從幻覺刺激物的心理表徵中重構出來的圖像，都表現出了幻覺性質。 **與之相反，直接從刺激物性質本身重構出來的圖像，卻沒有表現出幻覺性質。 這也就說明瞭從心理表徵重構出來的幻覺性質，並非由DNN的性質和處理方式建構出來的，而是心理表徵本身的性質（見圖6）。

▷圖6：最左列為刺激物圖片。 圖左二列為DNN根據最左列刺激物圖片數據本身重構的圖片。 圖3-6列為從被試1對圖最左刺激物圖片產生的大腦活動中重構出的心理表徵。 圖7-10列為從被2對圖最左刺激物圖片產生的大腦活動中重構出的心理表徵。 圖1-3行都是關於交錯光柵錯覺的圖片。 第一行關於兩列光柵欄沿著90度排列的交錯光柵幻覺，第二行關於兩列光柵欄沿著45度排列的交錯光柵幻覺，第三行關於交錯光柵幻覺的控制。 圖4-7行都是關於埃倫斯坦幻覺的圖片。 第四和六行關於埃倫斯坦幻覺，四有8根弦，六有4根線。 第五和七行關於埃倫斯坦幻覺的控制，五有8根線，七有4根線。 圖8-9行都是關於瓦林幻覺的圖片。 第八行為瓦林幻覺，第九行為控制。 圖源：Science

**這項研究的獨特之處在於：這一批圖像是根據fMRI記錄下來的所有視覺皮層的數據解碼后生成的結果;此外，這批重構的心理表徵普遍顯示出了幻覺性質比刺激物本身性質更強的特徵。 **

就交錯光柵幻覺而言，幻覺刺激物中那條虛幻的線，看上去比任何刺激物本身涵蓋的線條要明顯得多，而從控制刺激物中重構出來的心理表徵，則沒有表示出這一點;就霓虹色擴散幻覺而言，在愛倫斯坦幻覺中，顏色擴散的部分相較於控制要大得多;在瓦林幻覺中，雖然控制刺激物仍然顯示出了擴散形狀的輪廓，不過顏色擴散的部分還是相較於控制要大得多。 而且控制刺激物本身設計的目的也只是為了抑制顏色擴散而不是抑制形狀輪廓，所以在瓦林幻覺這裡，心理表徵中幻覺性質強於刺激物性質，這一特性依然成立。

量化重構的幻覺

幻覺的強度不僅在重構的圖像中得到了體現，還可以通過一系列方法進行量化。 這篇論文就對交錯光柵幻覺和霓虹色擴散幻覺刺激物產生的心理表徵中的幻覺強度進行了詳細的量化分析。

研究者此次使用拉東變換（Radon Transform）分析了交錯光柵幻覺的幻覺性質，也就是光柵之間虛擬線條的強度。 **拉東變換作為一種被廣泛應用於解析射線掃描數據的方法，可以通過從各個方向對物體進行投射所得到的積分值（如密度，品質等），在只能知道側面描述的情況下，從數學層面重構出原本物體的形狀。 **

研究將拉東變換應用到圖像解析中，通過對從各個方向對圖像進行投射所得到的“圖元值”加總，得出重構圖中線條分佈的主要方向。 實驗表明，就fMRI所有關於視覺皮層的數據而言，重構圖像中的主要方向顯示出了雙峰分佈，在這種分佈中，約61.1%的主要方向更接近於幻覺的主要方向，而非視覺誘導的方向。

從圖中可以明顯看出，重構圖像中主要方向的雙峰分佈內豎向的絕對值要比橫向絕對值的更高且分佈更聚集。 隨著幻覺刺激物中光柵（線條）數量的減少，心理表徵對刺激物的重構圖像中主要方向的雙峰分佈內，豎向絕對值相對於橫向絕對值開始下降，並且在控制刺激物中，明顯橫向絕對值高於豎向絕對值。 **這個結果支持了認為光柵（線條）數量的減少會減輕幻覺程度的理論。 **

同時，截取幻覺重構圖像中不同的區域進行分析，會發現幻覺集中區域的主要方向與重構圖像的主要方向接近;而非幻覺區域（視覺誘導主要集中的區域）的主要方向則與重構圖像的主要方向不相近。 這證明重構圖像中幻覺所處在的區域如同感知到的一般在兩組光柵之間（見圖7B、C、D、E）。

▷圖7：圖A展示了拉東變換的過程。 圖B顯示重構圖片61.1%的主要方向相對於誘導的主要方向更接近幻覺的主要方向。 圖C顯示刺激物得分主要方向明顯更加接近於誘導的主要方向。 圖D顯示線條數量越少，圖片的主要方向越接近於誘導的主要方向。 圖E顯示幻覺集中區域的主要方向同樣接近重構圖像的主要方向 圖F顯示視覺皮層不同區域提取出的數據重構出的心理表徵，V1-V3更加擁有幻覺性質。 圖源：Science

研究者也通過線性回歸分析了埃倫斯坦幻覺和瓦林幻覺中的幻覺性質，也就是顏色從刺激物給出的線條出發向外彌散（形成半透明平面）的程度。 他們分別為幻覺心理表徵、控制心理表徵和正控制心理表徵的重構圖像，以及刺激物圖像和預期的主觀幻覺圖像建構了基於每個圖像中圖元的RGB值所計算出的“紅度圖”。

接著，研究者試圖用刺激物和預期的主觀幻覺的紅度圖擬合心理表徵的紅度圖。 預期的主觀幻覺和刺激物各擁有一個係數（β1和β2）用以擬合，而這些係數代表了它們在重構心理表徵中各自所佔有的比重。 也就是說，重構心理表徵紅的部分越多，係數β1就越大。 因為只有在感知時更紅的主觀幻覺佔更多的比重，才能令心理表徵看上去更紅（見圖8C，D，G，F）。

線性回歸的結果表明，基於fMRI所有關於視覺皮層的數據，兩種引發霓虹色彌散幻覺的刺激物的主觀幻覺係數都大於控制刺激物，並且小於正控制刺激物。 然而，瓦林幻覺的主觀幻覺係數雖然大於控制，卻顯著小於愛倫斯坦幻覺的主觀幻覺係數（見圖8E，F，I，J）。

▷圖8：圖A展示了埃倫斯坦幻覺，其控制和正控制在不同視覺皮層區域的表徵。 圖B展示了瓦林幻覺，其控制和正控制在不同視覺皮層區域的表徵。 圖C顯示對比埃倫斯坦幻覺和其控制的紅度圖線性回歸的計算方式。 圖D顯示對比瓦林幻覺和其控制的紅度圖線性回歸的計算方式。 圖E顯示埃倫斯坦幻覺幻覺性質相對於控制幻覺性質在各個視覺皮層區域的比重。 圖F顯示瓦林幻覺幻覺性質相對於控制幻覺性質在各個視覺皮層區域的比重。 圖G顯示對比埃倫斯坦幻覺和其正控制的紅度圖線性回歸的計算方式。 圖H顯示對比瓦林幻覺和其正控制的紅度圖線性回歸的計算方式。 圖I顯示埃倫斯坦幻覺幻覺性質相對於正控制幻覺性質在各個視覺皮層區域的比重。 圖J顯示瓦林幻覺幻覺性質相對於正控制幻覺性質在各個視覺皮層區域的比重。 圖源：Science

幻覺對應的視覺區域

研究者不僅重構了整個視覺皮層對於幻覺的心理表徵，還重構出了皮層中各個具體的視覺區域對幻覺的心理表徵。

文中涉及的這些視覺區域，按視覺通路中下游到上游（初級到高級功能）的順序排列，包括初級視覺皮層（V1），次級視覺皮層（V2），三級視覺皮層（V3），四級視覺皮層（V4），側枕葉複合體（LOC），梭狀回臉部區域（FFA），和海馬旁區域（PPA）。

▷圖4：視覺皮層中各個功能區域和路徑圖。 圖源：參考文獻7。

研究者在提取了視覺皮層中不同區域的fMRI數據解碼並分別重構心理表徵之後，發現對於交錯光柵幻覺而言，單從圖片上來看，幻覺性質主要在V1到V3中有所體現，V4及以上區域展現的幻覺性質和刺激物性質都不甚清晰。 在量化各個區域重構圖片的主要方向之後，研究者發現幻覺性質於圖片全域在V2到V4間達到頂峰，於幻覺集中域在V1到V3間達到頂峰。 這些結果表明，線條的表徵主要集中在早期視覺區域（圖7F）。

在處理霓虹色擴散幻覺時，視覺皮層採用了不同的策略。 研究表明，埃倫斯坦幻覺的幻覺性質，在各個視覺皮層的區域中都有顯著體現，與正控制刺激物的霓虹色性質出現在每個視覺皮層區域的表徵相符;而瓦林幻覺的幻覺性質只在V4及以上的視覺皮層的區域中有顯著體現，然而正控制刺激物的表徵中霓虹色性質在V2和V3中也有顯著體現。 結合之前瓦林幻覺主觀幻覺係數小於埃倫斯坦幻覺主觀幻覺的結果，這說明**即使是同一種幻覺性質，不一樣的誘導設置也會引起視覺皮層不一樣的信息處理方式。 **

當我們產生視覺幻覺的時候，到底是自上而下地從高級區域開始向下影響初級視覺皮層建構起了幻覺，還是初級視覺皮層自下而上地影響高級區域造成的呢？這篇論文雖只是從另一個角度呈現了之前那些理論中所預測的表徵，而不是試圖建構大腦活動和幻覺性質之間的因果關係，但是其生動形象地呈現方式還是為我們提供了些許主觀經驗的表徵在腦中具體如何活躍的線索。

顯而易見的是，我們不能簡單地用一個腦區來重構整個幻覺體驗;而且誘導的線索等都會對同一種幻覺體驗的發生機制產生影響。 看來要理解幻覺複雜的發生機制，還需要一個更加完整的理論框架。

下次再看到那些讓你眼花繚亂的幻覺圖像時，也許你會想起這些模型構建的幻覺，想到大腦里可能正在上演的這場精彩的“高級區域 vs.初級區域”的較量，隨後會心一笑，感歎認知的奇妙。

參考文獻：

[1] . Elliott, S. L., & Shevell, S. K. (2013). “Perceived segmentation of center from surround by only illusory contours causes chromatic lateral inhibition.” This study suggests that illusory contours can invoke center–surround spatial antagonism to alter color appearance, indicating a cortical neural locus for lateral inhibition

[2] . Pak A, Ryu E, Li C, Chubykin AA. Top-Down Feedback Controls the Cortical Representation of Illusory Contours in Mouse Primary Visual Cortex. J Neurosci. 2020 Jan 15; 40(3):648-660. doi: 10.1523/JNEUROSCI.1998-19.2019. Epub 2019 Dec 2. PMID: 31792152; PMCID: PMC6961994.

[3] . Murray MM, Herrmann CS. Illusory contours: a window onto the neurophysiology of constructing perception. Trends Cogn Sci. 2013 Sep; 17(9):471-81. doi: 10.1016/j.tics.2013.07.004. Epub 2013 Aug 6. PMID: 23928336.

[4] . Gove, A., Grossberg, S., & Mingolla, E. (1995). Brightness perception, illusory contours, and corticogeniculate feedback Visual Neuroscience, 12(6), 1027-1052. doi:10.1017/S0952523800006702

[5] . J. F. Knebel, M. M. Murray, Towards a resolution of conflicting models of illusory contour processing in humans. Neuroimage 59, 2808–2817 (2012).

[6] . S. W. Hong, F. Tong, Neural representation of form-contingent color filling-in in the early visual cortex. J. Vis. 17, 10 (2017).

[7] . P. Gerardin, C. Abbatecola, F. Devinck, H. Kennedy, M. Dojat, K. Knoblauch, Neural circuits for long-range color filling-in. Neuroimage 181, 30–43 (2018).

[8] . Fan L. Cheng et al.,Reconstructing visual illusory experiences from human brain activity.Sci. Adv.9,eadj3906(2023). DOI:10.1126/sciadv.adj3906

[9] Cohen, M. et al. (2010) ‘Dynamic filopodia transmit intermittent delta-notch signaling to drive pattern refinement during lateral inhibition’, Developmental Cell, 19(1), pp. 78–89. doi:10.1016/j.devcel.2010.06.006