脳の中にしか存在しない錯覚、それを「描く」AIモデル

元のソース: Follow-up NextQuestion

画像ソース: Unbounded AIによって生成

2組のライングレーチングが隣り合っていて、わずかにずれているのが見えると、実際には存在しないラインが頭の中に浮かび上がってくるようです。 この線は、実際の2組の線の間で曲がったり伸びたりしているように見えます(図1C)。

図1:スタッガードラスター幻覚バリアント。 A:ヴァザレリ(1970年)、B:ヴァザレリ・ゼブレス(1939年)、C:古典的な千鳥格子錯視。 ソース: Vasarely*

このような単純な配置は、私たちが「隣接格子錯視」と呼ぶ驚くべき視覚効果を生み出すことができます。 さらに興味深いのは、これらのセリフの数が増えると、幻覚の知覚も強くなるということです。

また、2つのネオン拡散錯視も興味深いものです。

エーレンシュタイン錯視とウォリン錯視。 エーレンシュタイン幻覚では、放射状の線が外側に伸びています。 線の外向きは暗く、中央に向かって集まる部分は明るいです。 線の中心に視線を集中させると、内部の明るい部分が周囲の暗い部分に広がり、半透明の円を描いているように見えます。

図2:エーレンシュタイン幻覚では、特定の点で止まる直線的な格子パターンが背景よりも中央の方が明るく見え、円の錯覚を引き起こします。 出典: フリー百科事典『ウィキペディア(Wikipedia)』

ウォリン錯視は四隅の円で構成されており、各円の一部は色が薄く、他の部分は黒でした。 この円を見つめると、淡い色の部分が中心に向かって拡散し、やがて半透明の正方形を形成しているように見えます。

図3:中心の明るい部分または暗い部分が中心に向かって広がり、最終的に半透明の正方形を形成するバリン幻覚。 出典:Perception

仮想輪郭知覚のアルゴリズムメカニズム

科学者たちは、これらの幻覚によって引き起こされる仮想輪郭知覚のアルゴリズムメカニズムを説明するために、さまざまな理論を提案してきました。

一部の流派は、コントラストを強調し、人々に仮想線を知覚させるのは、色の横方向の抑制であると信じています。 たとえば、ニューロンが明るさによって励起されると、周囲の暗い領域のニューロンが抑制され、明るい領域が明るく見え、暗い領域が暗く見えます。 脳は、コントラストの強調を明確な輪郭と線として誤解する可能性があります[1] [2]。 別の説では、これは知識や記憶による脳の補給など、高次脳機能によるものかもしれないと示唆されています。 私たちの脳は、私たちが見ているイメージを過去の表現と比較すると、特定の要素が欠けていると感じることがあるので、これらの欠けている部分を自動的に「完成」させ、仮想的な輪郭の知覚を形成します [3]。 また、神経震盪は断片化された特徴を組み合わせて、そこにない特徴の知覚を形成することができるなど、多くの理論があります [4]皮質拡大係数は、中心視野を注意深く処理するため、たとえば特定の刺激の特性を誇張します …

側方阻害:*、ほとんどの生物の発生過程において、最初はほぼ均質だった組織において、斑点や縞模様の境界線などのさまざまな微細なパターンの形成を促進する保存された並置シグナル伝達機構である(文献9)

仮想輪郭知覚の神経生理学的メカニズムについては、科学者が多くの研究を行ってきましたが、まだ多くの論争があります。 競合するモデルの1つは、この神経生理学的メカニズムが下部視覚野(V1 / V2)で発生し、次に下部から上に向かって上部皮質に影響を与えることを示唆し、もう1つは、このプロセスが最初に上部皮質、主に外側後頭皮質(LOC)に局在し、次にV1 / V2に上から下に影響を与えることを示唆しています[5] 。

ネオン色の拡散錯視については、V3とV4が形状関連の色の塗りつぶし現象にかなりの影響を与えることを示唆する研究がいくつかあります[6] [7]; 同時に、エッジ誘導充填または均一な表面色度に起因する色の外観に関連する皮質活動が、背側(V3AおよびV3B / KO)および腹側の視覚流(V3v、hV4、およびLO)における相補的な活動パターンと関連していることを示唆するいくつかの研究があります。 (図4)。

図4:視覚野のさまざまな機能領域と経路。 出典:文献7.

これらの理論は、幻覚のアルゴリズム的および生理学的メカニズムについてある程度の説明を提供しますが、これらの視覚幻覚が心の中でどのように表象されるかはまだ不明であり、それらを検証することは不可能であるように思われます。

私たちが幻覚を見るとき、私たちは本当にそれを「見ている」のでしょうか?

幻覚を引き起こす刺激を特徴づけるために「幻覚」を使用していると本当に確信できるのでしょうか?

幻覚映像の再構成

Science Advances誌に掲載された最近の論文では、上記の2種類の視覚幻覚をテストし、幻覚体験と一致する線と色の画像を再構築することに成功し、主観的体験の具現化におけるモデルの有効性を実証しました[8] 。

▷図1:論文の表紙。 出典:参考文献8

実験では、研究者らは7人の被験者に、3つ以上の幻覚画像とそれに対応する対照画像と肯定的な対照画像を見るように依頼しました。 **錯覚ごとに、制御画像が変更されています。 例えば、インターリーブされたラスター錯視のコントロール画像はフェンスの密度を大幅に低下させ、エーレンシュタイン幻覚のコントロール画像では、最初に幻覚を引き起こした線の末端が明るくなり、ポジティブコントロール画像では線の放射中心が明るい円に変化し、ワリン幻覚のコントロール画像では幻覚刺激の黒い部分(元の視覚誘導)が除去され、ポジティブコントロール画像では中央部分が明るい色の正方形に変化します(詳細は図5を参照)。

画像は0.625Hzの周波数でそれぞれ8秒間点滅し、それぞれ20回繰り返されました。 実験全体を通して、機能的磁気共鳴画像法(fMRI)を使用して、参加者が画像を見ている間の脳活動を記録しました。

図5:図Aの左列は幻覚を誘発する刺激であり、図Aの右列は幻覚を誘発する刺激に対応する対照刺激である。 図Aの1行目は千鳥ラスター幻覚、図Aの2行目はエーレンシュタイン幻覚、図Aの3行目はウォリン幻覚である。 図 B は、自然画像を使用して DNN をトレーニングするプロセスを示しています。 図Cは、刺激特徴量としてfMRIデータを解読したDNNに示された脳活動と、DNN復号結果に基づいて発生器が画像を生成するプロセスを示しています。 出典:サイエンス

次に、研究者が収集した脳データをfMRIでテストし、デコードのためにトレーニングされたディープニューラルネットワーク(DNN)に入力しました。 このDNNは、Open AIのディレクターであるAlex Krizhevsky氏によって設計されたBAIR/BVLC CaffeNetモデルであるAlexNetのバリアントです。 これは、ImageNet 画像データベース内の 1,000 個のオブジェクトを分類するために事前にトレーニングされた前方伝播アルゴリズムを使用した畳み込みニューラル ネットワークです。

** その結果、幻覚刺激の心的表現から再構成された画像は、幻覚的性質を示すことが示された。 対照的に、刺激自体の性質から直接再構成された画像は、幻覚的な特性を示しません。 このことはまた、心的表象から再構築された幻覚の性質は、DNNの性質や処理によってではなく、心的表象自体の性質によって構築されることを示している(図6参照)。

図6:左端の列は刺激画像です。 左の2列目は、左端の列にある刺激画像自体のデータから再構成したDNNの画像です。 図3〜図6は、被験体1の左端の刺激画像によって生成された脳活動から再構築された心的表現である。 図7-10は、2組の左端の刺激画像によって生成された脳活動から再構築された心的表現である。 図1-3の1-3行目は、互い違い格子錯視の画像です。 1行目は90度に並んだ2列の回折格子錯視、2行目は45度に並んだ2列の回折格子の千鳥格子錯視、3行目は千鳥格子錯視の制御です。 4行目から7行目は、すべてエーレンシュタインの幻覚の絵です。 4行目と6行目はエーレンシュタイン幻覚についてで、4行は8弦、6行は4行です。 5行目と7行目はエーレンシュタイン幻覚の制御を扱っており、5行目は8行、7行目は4行です。 図8-9の8-9行目は、ウォリンの幻覚の写真です。 第8幕はウォリンの幻覚で、第9幕は支配的です。 出典:サイエンス

**この研究は、fMRIに記録されたすべての視覚野からのデータから画像が解読され、再構築された心的表現は、一般的に刺激自体よりも本質的に幻覚的な特徴を示しているという点でユニークです。 **

インターレースされたラスター幻覚の場合、幻覚刺激の錯覚線は、刺激自体によってカバーされる線よりもはるかに顕著に見えるが、対照刺激から再構築された心的表現はこれを示さない;ネオン色拡散幻覚の場合、エーレンシュタイン幻覚では、色拡散の部分は対照部分よりもはるかに大きい。 ワリン幻覚では、対照刺激は依然として拡散形状の輪郭を示しているが、色拡散の部分は依然として対照部分よりもはるかに大きい。 また、刺激自体の制御は、形の輪郭ではなく、色の拡散を抑制するように設計されているだけなので、ワリン幻覚の場合、心的表象では幻覚的性質が刺激よりも強く、この性質は依然として有効である。

復興の錯覚を定量化する

幻覚の強さは、再構成された画像に反映されるだけでなく、さまざまな方法で定量化することもできます。 本論文では、互い違い格子幻覚とネオン拡散幻覚刺激によって生じる心的表象における幻覚の強度を詳細に定量的に分析した。

研究者らは、ラドン変換を使用して、互い違い格子錯視の幻覚特性、つまり回折格子間の仮想線の強度を分析しました。 **ラドン変換は、放射線データの解析に広く用いられている手法として、物体を全方向から投影して得られる積分値(密度、質量など)から元の物体の形状を数学的に再構築することができますが、側面の説明しか知ることができません。 **

本研究では、ラドン変換を画像解析に適用し、全方向から画像を投影した「画素値」を合計することで、再構成されたグラフにおける線分布の主方向を求める。 実験によると、fMRI上の視覚野に関するすべてのデータについて、再構成された画像の主な方向は二峰性分布を示しており、主要な方向の約61.1%が視覚的に誘発された方向よりも幻覚の支配的な方向に近いことが示されています。

グラフから、再構成された画像の主方向の二峰性分布の垂直絶対値は、横方向の絶対値よりも高く、よりクラスター化されていることがわかります。 幻覚刺激における格子(線)の数が減少するにつれて、心的表象による刺激の再構成画像における主方向の二峰性分布内の横絶対値に対して垂直絶対値が減少し始め、対照刺激における縦絶対値よりも横絶対値が有意に高くなる。 **この結果は、回折格子(線)の数を減らすと幻覚の程度が下がるという理論を支持しています。 **

同時に、幻覚集中領域の主方向は再構成画像の主方向に近いが、非幻覚領域(視覚誘導が主に集中する領域)の主方向は再構成画像の主方向と近接していない。 これは、再構成された画像において幻覚が位置する領域が、知覚される2組の格子の間にあることを証明している(図7B、C、D、E参照)。

図7:図Aは、ラドンの変容の過程を示しています。 図Bは、再構成された画像の主な方向の61.1%が、誘発された主な方向に対して幻覚の主な方向に近いことを示しています。 図Cは、刺激スコアの主方向が誘導の主方向に有意に近づいていることを示しています。 図Dは、線数が少ないほど、画像の主方向が誘引の主方向に近づくことを示しています。 図Eは、幻覚集中領域の主方向が再構成画像の主方向にも近いことを示し、図Fは、視覚野の異なる領域から抽出されたデータから再構成された心的表現を示し、V1〜V3はより幻覚的である。 出典:サイエンス

研究者らはまた、線形回帰を使用して、エーレンシュタインとウォリンの幻覚の幻覚性、つまり、刺激によって与えられた線から色が外側に拡散する(半透明の平面を形成する)程度を分析しました。 彼らは、幻覚的心的表象、対照心的表象、肯定的対照心的表象の再構成画像、および刺激画像と予想される主観的幻覚画像について、それぞれ各画像の画素のRGB値に基づいて「赤みマップ」を構築しました。

次に、研究者らは、心的表象の赤みマップを、刺激と予想される主観的幻覚の赤みマップに当てはめようとしました。 予期される主観的幻覚と刺激には、それぞれ適合する係数(β1とβ2)があり、これらの係数は、再構築された心的表現におけるそれぞれの重みを表す。 すなわち、心的表象の赤い部分を再構成する部分が多いほど、係数β1は大きくなる。 これは、知覚時に赤くなっている主観的幻覚だけが、心的表象をより赤く見せる主観的幻覚の割合が高いためです(図8C、D、G、F参照)。

線形回帰の結果、fMRIによる視覚野に関するすべてのデータに基づいて、ネオン色のびまん性幻覚を誘発する両方の刺激の主観的幻覚係数は、対照刺激の主観的幻覚係数よりも大きく、正の対照刺激のそれよりも小さいことが示されました。 しかし、Wallingの幻覚の主観的幻覚係数は、対照のそれよりも大きいものの、エーレンシュタインの幻覚のそれよりも有意に小さかった(図8E、F、I、J参照)。

図8:図Aは、エーレンシュタイン幻覚を、異なる視覚野領域における制御と正制御とともに示している。 パネルBは、ウォリン幻覚、その制御の表現、および異なる視覚野領域におけるポジティブコントロールを示しています。 パネルCは、エーレンシュタイン幻覚とそれらの制御下にある赤みプロットを比較して、線形回帰がどのように計算されるかを示しています。 パネルDは、対照的なWallin幻覚の線形回帰とそれらが制御する赤みマップの計算方法を示しています。 パネルEは、各視覚野領域における対照幻覚の特性に対するエーレンシュタイン幻覚の幻覚特性の割合を示しています。 図Fは、様々な視覚野領域における対照幻覚特性に対するウォリン幻覚特性の幻覚特性の割合を示す。 パネルGは、エーレンシュタイン幻覚と正に制御された発赤度プロットを比較するために線形回帰がどのように計算されるかを示しています。 パネルHは、対照的なWallin幻覚とそれらの正に制御された発赤度プロットの線形回帰がどのように計算されるかを示しています。 図Iは、各視覚野領域におけるエーレンシュタイン幻覚の幻覚特性の、ポジティブコントロールの幻覚特性に対する割合を示しています。 図Jは、ポジティブコントロールの幻覚特性に対する各視覚野領域におけるWallinの幻覚特性の割合を示しています。 出典:サイエンス

幻覚に対応する視覚領域

研究者らは、視覚野全体の幻覚の心的表象を再構築しただけでなく、大脳皮質の特定の視覚領域ごとの幻覚の心理的表象も再構築しました。

これらの視覚領域は、一次視覚野(V1)、二次視覚野(V2)、第三次視覚野(V3)、第四次視覚野(V4)、外側後頭葉複合体(LOC)、紡錘状回(FFA)、海馬傍領域(PPA)を含む、視覚経路の中流および下流から上流(一次機能から高次機能)の順に配置されています。

図4:視覚野のさまざまな機能領域と経路の図。 出典:文献7.

視覚野の異なる領域からfMRIデータを抽出し、それぞれ心的表象を解読・再構築した結果、千鳥ラスター幻覚では、幻覚特性は主にV1からV3に映像のみから反映され、V4以上の領域では幻覚特性や刺激が明確でないことがわかった。 各領域における画像再構成の主な方向を定量化した結果、幻覚性は画像領域全体でV2とV4の間でピークに達し、幻覚濃度領域ではV1とV3の間でピークに達することを発見しました。 これらの結果は、線の特性評価が主に初期の視覚領域に焦点を当てていることを示唆しています(図7F)。

ネオンカラー拡散幻覚を扱うとき、視覚野はさまざまな戦略を採用します。 その結果、エーレンシュタイン幻覚の幻覚性は視覚野の各領域に有意に反映され、これは各視覚野領域における正制御刺激のネオンカラーの表現と一致しているのに対し、ウォリングの幻覚の幻覚性はV4以上の視覚野の領域にのみ有意に反映され、正制御刺激のネオン色性はV2とV3にも有意に反映されていることが示された。 ウォリン幻覚の主観的幻覚係数はエーレンシュタイン幻覚の主観的幻覚係数よりも小さいという結果と合わせると、幻覚の性質が同じでも、誘導の設定が異なれば視覚野の情報処理方法も異なることが示唆される。 **

幻覚を見るとき、幻覚を構成するのは、一次視覚野が高次領域から下へ下へとトップダウンで影響しているのでしょうか、それとも、下から下へと一次視覚野が高次領域に影響を与えることが原因なのでしょうか? 本論文は、脳の活動と幻覚の本質との因果関係を構築しようとするのではなく、別の視点から先行する理論で予測された表象を提示しているに過ぎないが、その生々しい提示は、主観的経験が脳内でどのように活動しているかについて、いくつかの手がかりを与えてくれる。

もちろん、1つの脳領域を使って幻覚体験全体を再構築することはできず、誘発された手がかりはすべて同じ幻覚体験のメカニズムに影響を与えます。 幻覚の複雑なメカニズムを理解するには、より完全な理論的枠組みが必要であるようです。

今度、あのまばゆいばかりの幻覚映像を見たら、これらのモデルが作り上げた幻覚や、脳内で繰り広げられている素晴らしい「上級者対初心者」の競争を思い浮かべ、そして、認知の素晴らしさに微笑んで驚嘆するかもしれません。

参照：

[1] . エリオット、SL、およびシェベル、SK(2013)。 「錯覚的な輪郭のみによる周囲から中心の知覚されたセグメンテーションは、色彩的な横方向の抑制を引き起こします。」 この研究は、錯視輪郭が中心-周囲の空間的拮抗作用を誘発して色の見え方を変化させることを示唆しており、側方抑制のための皮質神経遺伝子座を示している

[2] . 朴A、リュウE、李C、チュビキンAA。 トップダウンフィードバックは、マウスの一次視覚野における錯覚の輪郭の皮質表現を制御します。 J Neurosci。 2020年1月15日; 40(3):648-660. doi: 10.1523/JNEUROSCI.1998-19.2019. Epub 2019年12月2日。 PMID:31792152; PMCID:PMC6961994。

[3] . Murray MM、Herrmann CS.錯覚の輪郭:知覚の構築の神経生理学への窓。 Trends Cogn Sci. 2013年9月号 17(9):471-81. DOI: 10.1016/j.tics.2013.07.004. Epub 2013年8月6日。 PMID: 23928336 です。

[4] . Gove, A., Grossberg, S., & Mingolla, E. (1995). 明るさ知覚、錯視輪郭、および皮質形成フィードバック 視覚神経科学, 12(6)、1027-1052。 DOI:10.1017/S0952523800006702

[5] . J. F. Knebel、M. M. Murray、 人間の錯覚輪郭処理の矛盾するモデルの解決に向けて。 ニューロイメージ 59, 2808–2817 (2012).

[6] . S. W. Hong, F. Tong, 初期視覚野における形態偶発的な色彩塗りの神経表現. J. Vis. 17, 10 (2017).

[7] . P. Gerardin, C. Abbatecola, F. Devinck, H. Kennedy, M. Dojat, K. Knoblauch, 長距離色塗りつぶしのための神経回路. ニューロイメージ 181, 30–43 (2018).

[8] . Fan L. Cheng et al.,Reconstructing visual illusory experiences from human brain activity.Sci. Adv.9,eadj3906(2023). DOI:10.1126/sciadv.adj3906

[9] Cohen, M. et al. (2010) ‘Dynamic filopodia transmit intermittent delta-notch signaling to drive pattern refinement during lateral inhibition’, Developmental Cell, 19(1), pp. 78–89. DOI:10.1016/j.devcel.2010.06.006