教師なしスパイキング畳み込みニューラル ネットワークによるニューラル エンコーディング

Dec 10, 2023

Communications Biology volume 6、記事番号: 880 (2023) この記事を引用

2 オルトメトリック

メトリクスの詳細

さまざまな刺激に対する脳の反応を正確に予測することは、神経科学において大きな課題となっています。 fMRI 研究において畳み込みニューラル ネットワーク (CNN) を使用したニューラル エンコーディングにおける最近の画期的な進歩にも関わらず、従来の人工ニューロンと実際の生物学的ニューロンの計算規則の間には依然として重大なギャップが存在します。 この問題に対処するために、この研究では、より生物学的に妥当な方法でニューラル エンコーディングを実現するスパイキング CNN (SCNN) ベースのフレームワークを紹介します。 このフレームワークは、教師なし SCNN を利用して画像刺激の視覚特徴を抽出し、受容野ベースの回帰アルゴリズムを採用して SCNN 特徴から fMRI 応答を予測します。 手書き文字、手書き数字、自然画像に関する実験結果は、提案されたアプローチが非常に優れた符号化パフォーマンスを達成でき、画像の再構成や識別などの「脳読み取り」タスクに利用できることを示しています。 この研究は、SNN がニューラル エンコーディングの有望なツールとして機能できることを示唆しています。

ニューラル エンコーディングの目的は、外部刺激に対する脳の反応を予測することであり、感覚情報を処理する脳のメカニズムを探索するための効果的な手段を提供し、ブレイン コンピューター インターフェイス (BCI) システムの基盤として機能します。 視覚は、私たちが外部情報を受け取る主な方法の 1 つであり、神経符号化研究の主な焦点となっています。 機能的磁気共鳴画像法 (fMRI) などの非侵襲的脳画像化技術の進歩により、科学者たちは過去 20 年にわたって視覚ベースの神経エンコーディング 1,2,3,4 において目覚ましい進歩を遂げ、この技術を世界の注目のトピックにしています。神経科学。

ビジョンベースのエンコーディングのプロセスには、通常、特徴抽出と応答予測という 2 つの主要なステップが含まれます5。 特徴抽出は、視覚野を刺激することによって刺激の視覚的特徴を生成することを目的としています。 エンコードを成功させるには、実際の視覚メカニズムを近似する正確な特徴抽出機能が不可欠です。 応答予測は、抽出された視覚的特徴に基づいてボクセルごとの fMRI 応答を予測することを目的としています。 特徴と応答の間の関係は可能な限り単純である必要があるため、このステップでは線形回帰 6 が一般的に使用されます。 以前の研究では、初期視覚野がガボール ウェーブレットと同様の方法で情報を処理することが示されています 7、8、9。 この発見に基づいて、ガボール フィルター ベースの符号化モデルが提案され、画像識別や映画再構成などのタスクに適用されて成功しました 1,3。 近年、畳み込みニューラル ネットワーク (CNN) は、コンピューター ビジョンの分野における目覚ましい成果により、大きな注目を集めています。 いくつかの研究 10,11 では、表現類似性分析 12 を利用して CNN 表現と fMRI 表現の非類似性パターンを比較しており、人間の視覚野が CNN と同様の階層表現を共有していることが明らかになりました。 その結果、CNN ベースのエンコード モデルが広く使用されるようになり、優れたパフォーマンスを実証しています 2,4,13,14。 ただし、エンコード用途における CNN の成功にもかかわらず、視覚情報の処理における CNN と脳の違いは無視できないことに注意することが重要です15。

計算メカニズムの観点から見ると、CNN の人工ニューロンと生物学的ニューロンの間には基本的な違いが存在し、前者は連続デジタル値を伝播するのに対し、後者は活動電位 (スパイク) を伝播します。 第 3 世代のニューラル ネットワークと考えられるスパイキング ニューラル ネットワーク (SNN) の導入 16 により、この差は大幅に減少しました。 従来の人工ニューラル ネットワーク (ANN) とは異なり、SNN はスパイク タイミングを通じて情報を送信します。 SNN では、各ニューロンは前の層からのスパイクを統合し、内部電圧がしきい値を超えたときに次の層にスパイクを放出します。 スパイクタイミング依存可塑性 (STDP) アルゴリズム 17,18 は、重量更新のための教師なし手法であり、哺乳類の視覚野で発見されています 19,20,21 であり、SNN で最も一般的に使用される学習アルゴリズムです。 最近の研究では、STDP ベースの SNN を物体認識に適用し、かなりのパフォーマンスを達成しました 22、23、24。 SNN の生物学的妥当性は、神経エンコーディングにおいて SNN に利点をもたらします。