BLOG
脳と視神経に学ぶComputer Vision
コンピュータビジョン(Computer Vision)は、画像や映像から物体や空間の情報を捉える研究分野です。脳と視神経の仕組みを手がかりに、見える部分から場面を推定し、新しい映像でその推定を修正する私たちの研究を紹介します。

視覚の全体像。目で光を受け取り、脳で場面を捉える
見るとき、目の奥にある網膜が光を受け取り、明暗の差などを神経の信号に変えます。その信号は視神経を通って脳へ入り、中継地点を経て、後頭部にある視覚野へ届きます。そこから脳の複数の領域へ伝わり、形や色、位置や動きの手がかりが並行して処理されます。
たとえば床を転がる球を見るとき、丸い形や色は「何が見えるか」の手がかりになります。床との位置関係や、少し前からどちらへ動いたかは「どこでどう動くか」の手がかりです。脳の中では、こうした情報を扱う経路が互いに信号をやり取りしています。
柱の向こうで見えなくなった球を、なぜ見失わないのか
床を転がる球が柱の後ろに入ると、その瞬間の映像から球は消えます。それでも私たちは、それまでの動きから、柱の反対側に出てくるかもしれないと考えます。予想と違う位置や時刻に現れれば、転がる向きや速さについての見立ても変わります。
この場面で視覚は、いま見えている部分、少し前に見えていた位置、そこから推定した動きを結び付けています。人を対象とした実験でも、短い遮蔽の前後で同じ物体かを判断するとき、位置の変化と表面の特徴がどちらも手がかりになり得ることが示されています。私たちのコンピュータビジョン研究では、映像から物体が見えなくなったときに何を保持し、再び見えたときに何を修正できるかを調べています。
短い遮蔽の前後で物体の同一性を調べた実験網膜で光が信号になり、視神経を通って脳に届く
光を受け取るのは目の奥にある網膜です。光を感じる細胞が光を電気的な変化に変え、網膜の回路がそれを処理します。網膜神経節細胞という出力側の細胞から伸びる線維が束になったものが視神経です。
網膜の出力には、中心が周囲より明るいと強く反応する細胞と、中心が暗いときに強く反応する細胞があります。こうした応答は、視野全体の明るさが変わったときと、近くに明暗の境目があるときで異なります。照明が部屋全体を明るくした場合と、球の輪郭が背景の前を横切った場合で、後に続く処理が使える手がかりが変わります。
視神経の線維の一部は、左右の視神経が出会う視交叉で反対側へ渡ります。これによって、左右の目が見た同じ側の視野の情報が、脳の同じ半球へ向かいます。たとえば、左側の視野の情報は主に右半球へ届きます。視交叉を過ぎた線維の束は視索と呼ばれます。
網膜神経節細胞の応答と脳へ向かう経路目から届いた信号を脳の中で受け渡す
目から来た信号は、後頭部の視覚野に届く前に、脳の奥にある視床で中継されます。この中継を担うのが外側膝状体(LGN)です。ここから信号は、視放線と呼ばれる神経線維を通って、後頭葉の一次視覚野へ届きます。
LGNでは、視野のどの位置から来た信号かという並びを保ちながら、応答の性質が異なる複数の経路で信号を伝えます。大細胞系(M系)は比較的速い明暗の変化に、小細胞系(P系)は細かな模様や赤と緑の違いに敏感です。顆粒細胞系(K系)には、青と黄の違いに関わる信号を伝える細胞もあります。扱う信号には経路間で重なりがあります。
LGNは視覚野から戻る信号も受け取ります。サルの研究では、皮質からLGNに戻る信号にも経路ごとの違いが観察されています。網膜から送る信号の流れと、脳側からその伝わり方に影響を与える流れが、ここで交わります。
LGNの経路に応じた視覚野からのフィードバックを調べた実験明暗の境目を拾い、どちら側に物体があるかを捉える
一次視覚野(V1)では、隣り合う視野の位置が皮質上でもおおむね隣り合います。ある狭い範囲で縦の境目に反応しやすい細胞や、斜めの境目に反応しやすい細胞があります。場所と向きの情報がそろうことで、球や柱の輪郭を見分ける材料になります。
柱の縁と球が重なると、境目の向きに加えて、それがどちらの物体の輪郭かも手がかりになります。第二次視覚野(V2)の細胞の中には、同じ向きの境目が同じ場所にあっても、その左右どちらに図形が広がっているかで応答が変わるものがあります。
境目が図形のどちら側に属するかを調べたサルの視覚野の実験左右の目に映る位置のずれから奥行きを捉える
目の前に指を立てて、左右の目を交互に閉じると、背景に対する指の位置がずれて見えます。この両眼視差は奥行きの手がかりの一つです。手前の物が奥の物を隠すことや、視点を動かしたときの見え方の変化からも、前後関係を推定できます。
V3とV3Aは、後頭葉の別々の視覚領域です。サルのV3とV3Aには、左右の目に映る位置のずれに応じて反応を変える細胞があります。この性質はほかの視覚領域にも見られ、奥行きは複数の領域が扱う情報です。ヒトのV3Aでは、動きに対する応答も報告されています。
V3とV3Aで両眼視差への応答を測った実験輪郭の曲がり方や色から物体を見分ける
後頭葉から側頭葉へ向かう腹側の経路は、物体の見分けに深く関わります。その途中にあるV4では、色や、輪郭の角・曲がり方に応答する細胞が観察されています。輪郭の向きに加え、どのあたりが出っ張り、どこがへこんでいるかが、形を見分ける手がかりになります。
側頭葉の下側頭皮質(IT、inferotemporal cortex)では、特徴の組み合わせによって物体を区別しながら、同じ物体の位置や大きさが変わっても反応のパターンをある程度保つことができます。サルの実験では、この性質がV4よりITで強く見られました。画面の端に移ったり、小さく映ったりした球を、引き続き球として見分けるには、こうした性質が役立ちます。
物体の見分けと見え方の変化への応答をV4とITで比較した実験物体の動きと、視野全体の流れを捉える
頭頂葉へ向かう背側の経路は、動きや空間の把握、見たものに合わせた行動に関わります。動きの向きや速さに敏感な領域の一つが、中側頭視覚野(MT、V5とも呼ばれます)です。細長い棒の一部分だけを小窓から見ると、棒全体がどちらへ進んでいるかは曖昧です。サルのMTでは、初めは局所的な輪郭の動きに応じ、時間がたつと刺激全体の進行方向をよりよく反映する応答が観察されています。
前に歩くと、視線の先から風景が外側へ広がるように見えます。こうした視野全体の動きは、自分がどの方向へ進んでいるかを推定する手がかりです。MTから信号を受け取る内側上側頭視覚野(MST)には、視野の広い範囲が一斉に広がったり、回転したりする動きに応答する細胞があります。
腹側と背側は、互いにやり取りする経路です。球が柱に隠れる場面では、形や色から球を見分けること、柱との前後関係を捉えること、球の動きや視点の変化を区別することが重なります。ここで紹介した領域名と役割には、主にマカクザルの解剖や生理実験に基づくものが含まれます。ヒトとの対応には領域ごとに違いがあります。
MSTで視野全体の動きへの応答を測った実験私たちは、平面の手がかりから奥行きと時間へ研究を進める
私たちは、脳が輪郭や色、奥行き、動きから異なる情報を得ていることを参考に、映像の中で特徴を捉える処理を試作しています。同じ球を見分ける問いと、球がどこにあってどう動くかを知る問いには、それぞれ別の検証が要ります。観測の条件を変えると何が分かるようになるかを、平面、奥行き、時間の順に調べる方針です。
- 平面では、輪郭や見えている部位の位置を捉え、見え方が変わったときに対応する場所を探します。
- 奥行きでは、異なる位置から見た映像を比べ、同じ部分がどこに写ったかを手がかりに、前後関係や立体的な配置を調べます。
- 時間を加えた段階では、途中で観測が途切れたときにどこまで状態を推定できるか、再び見えたときに推定を修正できるかを検証する計画です。
明暗の境目を拾うように役割をあらかじめ定められる処理と、見え方が変わってもどの特徴が対応するかを映像から学ぶ課題を分けて考えます。各段階を個別に評価するのは、ある課題で結果が良くても、別の能力まで身についたとは判断できないためです。たとえば、球の中心が分かることと、その輪郭全体が分かることには、それぞれの確かめ方が必要です。奥行きや時間変化へ進む際にも、先に確かめた能力を引き続き測ります。
見えた位置と、見えない間に推定した位置を分ける
球が見えている間は、映像から位置を確かめられます。柱の後ろに入った間は、最後に見えた位置や動きから先を推定するしかありません。その間に別の物へぶつかった可能性もあるので、見えていない位置は複数の候補があり得ます。
私たちが確かめたいのは、見えない間の予想を立てられることと、予想が外れたときに訂正できることです。再び球が見えたとき、先ほどの推定をどこまで修正できたかを測ります。遮蔽の直前に見えた別の球を誤って追い続ける場合や、見えている部分まで推定で上書きしてしまう場合も、評価で区別する必要があります。
何が見えたかを確かめるため、映像の条件を変えて比べる
球が毎回同じ速さで同じ場所から現れる映像なら、直前の映像を細かく見なくても、よくある軌道を答えにできます。そこで、柱の手前での速度や出現位置が異なる映像を用意し、その場面の映像を与えた場合と、手がかりを一部隠した場合で、推定がどう変わるかを比べます。照明や背景を変えた映像でも、同じように判断できるかを確かめる必要があります。
評価では、球が見えているときの位置の誤差、隠れている間の推定、再び見えた後に誤差がどれだけ縮んだかを別々に見ます。応答にかかる時間と計算の負担も測る方針です。カメラの映像を行動に使う場面では、判断が当たることに加え、必要な時点までにその判断が届くことも条件になるからです。