一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣佈他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。
2017年4月,Facebook在F8大會上宣佈了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞裡的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣佈他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。
2017年4月,Facebook在F8大會上宣佈了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞裡的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
2018年9月,美國軍事研究機構——國防部高級研究計劃局(DARPA)公佈了一個2015年啟動的項目,這個項目研發的新技術能夠賦予飛行員藉助思維同時操控多架飛機和無人機的能力。據DARPA生物技術辦公室的負責人Justin Sanchez稱:“目前大腦信號已經能夠用於下達命令,並且同時操控三種類型的飛機。”
2018年11月,BrainGate聯盟發表了一項最新研究成果,在名為“BrainGate2”的臨床試驗中,三名癱患者可以在新型腦機接口芯片的幫助下,利用“意念”自主操作平板電腦,並操作多種應用程序。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣佈他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。
2017年4月,Facebook在F8大會上宣佈了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞裡的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
2018年9月,美國軍事研究機構——國防部高級研究計劃局(DARPA)公佈了一個2015年啟動的項目,這個項目研發的新技術能夠賦予飛行員藉助思維同時操控多架飛機和無人機的能力。據DARPA生物技術辦公室的負責人Justin Sanchez稱:“目前大腦信號已經能夠用於下達命令,並且同時操控三種類型的飛機。”
2018年11月,BrainGate聯盟發表了一項最新研究成果,在名為“BrainGate2”的臨床試驗中,三名癱患者可以在新型腦機接口芯片的幫助下,利用“意念”自主操作平板電腦,並操作多種應用程序。
2019年4月,加州大學舊金山分校(UCSF)的神經外科學家Edward Chang教授與其同事開發出一種解碼器,可以將人腦神經信號轉化為語音,為幫助無法說話的患者實現發聲交流完成了有力的概念驗證。
2019年7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人在腦部28平方毫米的面積上,植入96根直徑只有4-6微米的“線”,總共包含3072個電極,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣佈他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。
2017年4月,Facebook在F8大會上宣佈了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞裡的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
2018年9月,美國軍事研究機構——國防部高級研究計劃局(DARPA)公佈了一個2015年啟動的項目,這個項目研發的新技術能夠賦予飛行員藉助思維同時操控多架飛機和無人機的能力。據DARPA生物技術辦公室的負責人Justin Sanchez稱:“目前大腦信號已經能夠用於下達命令,並且同時操控三種類型的飛機。”
2018年11月,BrainGate聯盟發表了一項最新研究成果,在名為“BrainGate2”的臨床試驗中,三名癱患者可以在新型腦機接口芯片的幫助下,利用“意念”自主操作平板電腦,並操作多種應用程序。
2019年4月,加州大學舊金山分校(UCSF)的神經外科學家Edward Chang教授與其同事開發出一種解碼器,可以將人腦神經信號轉化為語音,為幫助無法說話的患者實現發聲交流完成了有力的概念驗證。
2019年7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人在腦部28平方毫米的面積上,植入96根直徑只有4-6微米的“線”,總共包含3072個電極,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
2019年7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
七、腦機接口技術的應用與市場前景
腦機接口(BCI)技術的應用前景非常的廣闊,比如可以幫助人們直接通過思維來控制基於BCI接口的機器人,從事各種工作。腦機接口機器人不僅在殘疾人康復、老年人護理等醫療領域具有顯著的優勢,而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應用前景。
1、醫療健康
醫療方向主要分為兩個方向,分別是“強化”和“恢復”,這兩個方向都有著極其遠大的“錢景”,尤其是強化方向。現階段以恢復類為主,因為更易實現。
“強化”方向主要是指將芯片植入大腦,以增強記憶、推動人腦和計算設備的直接連接。這就是所謂的“人類增強”(Human Intelligence,HI)。淺層次的研究是腦機單向,更深一層次的將是機腦雙向。目前,在做“強化”方向的就包括馬斯克創辦的Neuralink以及獲得1億美元投資的Kernel。
“恢復”方向主要是指可以針對多動症、中風、癲癇等疾病以及殘障人士做對應的恢復訓練,採取的主要方式是神經反饋訓練。這一方向在全球的一些醫院、診所、康復中心中已經得到廣泛應用,也有不少創業公司在做這方面的可穿戴設備。
具體來說,BCI技術可以幫助患者和用戶實現:
(1)與周圍環境進行交流:BCI機器人可以幫助殘疾人使用電腦、撥打電話等;
(2)控制周圍環境:BCI機器人可以幫助殘疾人或老年人控制輪椅、家庭電器開關等;
(3)運動康復:BCI康復機器人可以幫助殘疾人或失去運動能力的老年人進行主動康復訓練,BCI護理機器人可以從事基本護理工作,提高殘疾人或老年人的生活質量。
(4)重獲肢體能力:基於BCI機器人的義肢可成功幫助肢體殘疾的殘障人士重新獲得肢體控制的能力。
通過BrainCo開發的BCI假肢彈鋼琴的殘疾女孩
BrainCo團隊表示,其開發的智能假肢處於世界領先水平,可以完成多種複雜的日常操作,其中包括彈鋼琴。該產品上市後定價預計在兩萬人民幣以內,是目前主流智能假肢價格的二十分之一。
(5) 重獲缺失的感知能力:除了通過思維控制一些設備之外,未來甚至有望幫助部分喪失的感知能力的人群再次獲得感知能力,比如視覺、聽覺和觸覺等;此外,還可以將非人類感知能力轉變為人類感知能力,這其實是非常逆天的,比如對於超聲波的感知能力(就像從蝙蝠身上獲取這個能力一樣),再比如感知磁場等,就像擁有了超能力!
“強化”方向少的原因:第一是因為實現難度高;第二是因為市場還未被充分教育,思維範式在短期內難以改變,付費意願因技術能力不足而未達到臨界值,但軍用領域實際上已經有了不少的應用了,軍方也投入了大量資金。
最後,還值得補充的是“保健方向”,也就是冥想減壓,有創業公司推出腦波檢測頭環,幫助用戶通過實時音頻反饋來提升冥想效果。其實,在北美,冥想的市場是非常大的,這是一個絕對可以挖掘的細分市場。
2、娛樂
在娛樂方面,BCI技術的前景也是非常的廣闊,比如可以與虛擬現實技術結合,無需額外的外設操控設備,可以直接通過思維來控制遊戲種的角色,獲得更加沉浸式的遊戲體驗。目前,在這塊做得比較超前的公司是MindMaze,其融資總額已超1億美元。
3、教育
這個方向其實和醫療方向中的“恢復”方向會有些接近。教育科技是個千億級的市場,目前,腦機接口創業公司BrainCo就在做這一方向,主要是對學生注意力值的實時探測和訓練,既可以而幫助老師及時瞭解課堂情況改變教學情況,也能夠幫助學生提高注意力。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣佈他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。
2017年4月,Facebook在F8大會上宣佈了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞裡的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
2018年9月,美國軍事研究機構——國防部高級研究計劃局(DARPA)公佈了一個2015年啟動的項目,這個項目研發的新技術能夠賦予飛行員藉助思維同時操控多架飛機和無人機的能力。據DARPA生物技術辦公室的負責人Justin Sanchez稱:“目前大腦信號已經能夠用於下達命令,並且同時操控三種類型的飛機。”
2018年11月,BrainGate聯盟發表了一項最新研究成果,在名為“BrainGate2”的臨床試驗中,三名癱患者可以在新型腦機接口芯片的幫助下,利用“意念”自主操作平板電腦,並操作多種應用程序。
2019年4月,加州大學舊金山分校(UCSF)的神經外科學家Edward Chang教授與其同事開發出一種解碼器,可以將人腦神經信號轉化為語音,為幫助無法說話的患者實現發聲交流完成了有力的概念驗證。
2019年7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人在腦部28平方毫米的面積上,植入96根直徑只有4-6微米的“線”,總共包含3072個電極,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
2019年7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
七、腦機接口技術的應用與市場前景
腦機接口(BCI)技術的應用前景非常的廣闊,比如可以幫助人們直接通過思維來控制基於BCI接口的機器人,從事各種工作。腦機接口機器人不僅在殘疾人康復、老年人護理等醫療領域具有顯著的優勢,而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應用前景。
1、醫療健康
醫療方向主要分為兩個方向,分別是“強化”和“恢復”,這兩個方向都有著極其遠大的“錢景”,尤其是強化方向。現階段以恢復類為主,因為更易實現。
“強化”方向主要是指將芯片植入大腦,以增強記憶、推動人腦和計算設備的直接連接。這就是所謂的“人類增強”(Human Intelligence,HI)。淺層次的研究是腦機單向,更深一層次的將是機腦雙向。目前,在做“強化”方向的就包括馬斯克創辦的Neuralink以及獲得1億美元投資的Kernel。
“恢復”方向主要是指可以針對多動症、中風、癲癇等疾病以及殘障人士做對應的恢復訓練,採取的主要方式是神經反饋訓練。這一方向在全球的一些醫院、診所、康復中心中已經得到廣泛應用,也有不少創業公司在做這方面的可穿戴設備。
具體來說,BCI技術可以幫助患者和用戶實現:
(1)與周圍環境進行交流:BCI機器人可以幫助殘疾人使用電腦、撥打電話等;
(2)控制周圍環境:BCI機器人可以幫助殘疾人或老年人控制輪椅、家庭電器開關等;
(3)運動康復:BCI康復機器人可以幫助殘疾人或失去運動能力的老年人進行主動康復訓練,BCI護理機器人可以從事基本護理工作,提高殘疾人或老年人的生活質量。
(4)重獲肢體能力:基於BCI機器人的義肢可成功幫助肢體殘疾的殘障人士重新獲得肢體控制的能力。
通過BrainCo開發的BCI假肢彈鋼琴的殘疾女孩
BrainCo團隊表示,其開發的智能假肢處於世界領先水平,可以完成多種複雜的日常操作,其中包括彈鋼琴。該產品上市後定價預計在兩萬人民幣以內,是目前主流智能假肢價格的二十分之一。
(5) 重獲缺失的感知能力:除了通過思維控制一些設備之外,未來甚至有望幫助部分喪失的感知能力的人群再次獲得感知能力,比如視覺、聽覺和觸覺等;此外,還可以將非人類感知能力轉變為人類感知能力,這其實是非常逆天的,比如對於超聲波的感知能力(就像從蝙蝠身上獲取這個能力一樣),再比如感知磁場等,就像擁有了超能力!
“強化”方向少的原因:第一是因為實現難度高;第二是因為市場還未被充分教育,思維範式在短期內難以改變,付費意願因技術能力不足而未達到臨界值,但軍用領域實際上已經有了不少的應用了,軍方也投入了大量資金。
最後,還值得補充的是“保健方向”,也就是冥想減壓,有創業公司推出腦波檢測頭環,幫助用戶通過實時音頻反饋來提升冥想效果。其實,在北美,冥想的市場是非常大的,這是一個絕對可以挖掘的細分市場。
2、娛樂
在娛樂方面,BCI技術的前景也是非常的廣闊,比如可以與虛擬現實技術結合,無需額外的外設操控設備,可以直接通過思維來控制遊戲種的角色,獲得更加沉浸式的遊戲體驗。目前,在這塊做得比較超前的公司是MindMaze,其融資總額已超1億美元。
3、教育
這個方向其實和醫療方向中的“恢復”方向會有些接近。教育科技是個千億級的市場,目前,腦機接口創業公司BrainCo就在做這一方向,主要是對學生注意力值的實時探測和訓練,既可以而幫助老師及時瞭解課堂情況改變教學情況,也能夠幫助學生提高注意力。
BrainCo針對教育市場的腦機產品
4、智能家居
智能家居是腦機接口與IoT(物聯網)跨領域結合的一大想象空間。在這一領域,腦機接口扮演的角色類似於“遙控器”,幫助人們用意念控制開關燈、開關門、開關窗簾等,進一步可以控制家庭服務機器人。
5、軍事
在軍事方面,BCI技術可以幫助軍人更好的操控無人機、無人車、機器人等設備,代替軍人或者特殊職業的人士從事各種危險的任務,以及在不適宜人工操作的環境中工作。也可以幫助軍人獲得能力上的增強,比如通過BCI控制外骨骼機器人提升單兵作戰能力。
根據第三方研究機構的測算,單純從腦機接口設備(EEG/EMG)的維度來看,市場規模在5年內將達到25億美元。如果從腦機接口將深度影響的數個科技領域來看,市場規模在5年內將達到數千億美元,其中包括:ADHD腦機接口反饋治療 460億美元,大腦檢測系統 120億美元,教育科技 2500億美元,遊戲產業 1200億美元。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣佈他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。
2017年4月,Facebook在F8大會上宣佈了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞裡的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
2018年9月,美國軍事研究機構——國防部高級研究計劃局(DARPA)公佈了一個2015年啟動的項目,這個項目研發的新技術能夠賦予飛行員藉助思維同時操控多架飛機和無人機的能力。據DARPA生物技術辦公室的負責人Justin Sanchez稱:“目前大腦信號已經能夠用於下達命令,並且同時操控三種類型的飛機。”
2018年11月,BrainGate聯盟發表了一項最新研究成果,在名為“BrainGate2”的臨床試驗中,三名癱患者可以在新型腦機接口芯片的幫助下,利用“意念”自主操作平板電腦,並操作多種應用程序。
2019年4月,加州大學舊金山分校(UCSF)的神經外科學家Edward Chang教授與其同事開發出一種解碼器,可以將人腦神經信號轉化為語音,為幫助無法說話的患者實現發聲交流完成了有力的概念驗證。
2019年7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人在腦部28平方毫米的面積上,植入96根直徑只有4-6微米的“線”,總共包含3072個電極,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
2019年7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
七、腦機接口技術的應用與市場前景
腦機接口(BCI)技術的應用前景非常的廣闊,比如可以幫助人們直接通過思維來控制基於BCI接口的機器人,從事各種工作。腦機接口機器人不僅在殘疾人康復、老年人護理等醫療領域具有顯著的優勢,而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應用前景。
1、醫療健康
醫療方向主要分為兩個方向,分別是“強化”和“恢復”,這兩個方向都有著極其遠大的“錢景”,尤其是強化方向。現階段以恢復類為主,因為更易實現。
“強化”方向主要是指將芯片植入大腦,以增強記憶、推動人腦和計算設備的直接連接。這就是所謂的“人類增強”(Human Intelligence,HI)。淺層次的研究是腦機單向,更深一層次的將是機腦雙向。目前,在做“強化”方向的就包括馬斯克創辦的Neuralink以及獲得1億美元投資的Kernel。
“恢復”方向主要是指可以針對多動症、中風、癲癇等疾病以及殘障人士做對應的恢復訓練,採取的主要方式是神經反饋訓練。這一方向在全球的一些醫院、診所、康復中心中已經得到廣泛應用,也有不少創業公司在做這方面的可穿戴設備。
具體來說,BCI技術可以幫助患者和用戶實現:
(1)與周圍環境進行交流:BCI機器人可以幫助殘疾人使用電腦、撥打電話等;
(2)控制周圍環境:BCI機器人可以幫助殘疾人或老年人控制輪椅、家庭電器開關等;
(3)運動康復:BCI康復機器人可以幫助殘疾人或失去運動能力的老年人進行主動康復訓練,BCI護理機器人可以從事基本護理工作,提高殘疾人或老年人的生活質量。
(4)重獲肢體能力:基於BCI機器人的義肢可成功幫助肢體殘疾的殘障人士重新獲得肢體控制的能力。
通過BrainCo開發的BCI假肢彈鋼琴的殘疾女孩
BrainCo團隊表示,其開發的智能假肢處於世界領先水平,可以完成多種複雜的日常操作,其中包括彈鋼琴。該產品上市後定價預計在兩萬人民幣以內,是目前主流智能假肢價格的二十分之一。
(5) 重獲缺失的感知能力:除了通過思維控制一些設備之外,未來甚至有望幫助部分喪失的感知能力的人群再次獲得感知能力,比如視覺、聽覺和觸覺等;此外,還可以將非人類感知能力轉變為人類感知能力,這其實是非常逆天的,比如對於超聲波的感知能力(就像從蝙蝠身上獲取這個能力一樣),再比如感知磁場等,就像擁有了超能力!
“強化”方向少的原因:第一是因為實現難度高;第二是因為市場還未被充分教育,思維範式在短期內難以改變,付費意願因技術能力不足而未達到臨界值,但軍用領域實際上已經有了不少的應用了,軍方也投入了大量資金。
最後,還值得補充的是“保健方向”,也就是冥想減壓,有創業公司推出腦波檢測頭環,幫助用戶通過實時音頻反饋來提升冥想效果。其實,在北美,冥想的市場是非常大的,這是一個絕對可以挖掘的細分市場。
2、娛樂
在娛樂方面,BCI技術的前景也是非常的廣闊,比如可以與虛擬現實技術結合,無需額外的外設操控設備,可以直接通過思維來控制遊戲種的角色,獲得更加沉浸式的遊戲體驗。目前,在這塊做得比較超前的公司是MindMaze,其融資總額已超1億美元。
3、教育
這個方向其實和醫療方向中的“恢復”方向會有些接近。教育科技是個千億級的市場,目前,腦機接口創業公司BrainCo就在做這一方向,主要是對學生注意力值的實時探測和訓練,既可以而幫助老師及時瞭解課堂情況改變教學情況,也能夠幫助學生提高注意力。
BrainCo針對教育市場的腦機產品
4、智能家居
智能家居是腦機接口與IoT(物聯網)跨領域結合的一大想象空間。在這一領域,腦機接口扮演的角色類似於“遙控器”,幫助人們用意念控制開關燈、開關門、開關窗簾等,進一步可以控制家庭服務機器人。
5、軍事
在軍事方面,BCI技術可以幫助軍人更好的操控無人機、無人車、機器人等設備,代替軍人或者特殊職業的人士從事各種危險的任務,以及在不適宜人工操作的環境中工作。也可以幫助軍人獲得能力上的增強,比如通過BCI控制外骨骼機器人提升單兵作戰能力。
根據第三方研究機構的測算,單純從腦機接口設備(EEG/EMG)的維度來看,市場規模在5年內將達到25億美元。如果從腦機接口將深度影響的數個科技領域來看,市場規模在5年內將達到數千億美元,其中包括:ADHD腦機接口反饋治療 460億美元,大腦檢測系統 120億美元,教育科技 2500億美元,遊戲產業 1200億美元。
總結來說,腦機接口作為一種全新的控制和交流方式,還可以應用到更廣闊的腦機融合領域,就是所謂的硅基生物和碳基生物的融合,打造超強人類,讓人腦進一步自然延伸。
腦機接口的發展對腦電的機理、腦認知、腦康復、信號處理、模式識別、芯片技術、計算技術等各個領域都提出了新的要求,人們也會大大加深對大腦的結構和功能的認識。
隨著技術的不斷完善和多學科融合的努力,腦機接口必將逐步應用於現實,造福人類。
八、腦機接口技術已成全球科技競爭戰略高地
鑑於未來腦機接口技術對社會發展所能夠帶來的強大的推力,目前,腦機接口技術已經成為了全球各國科技競爭的戰略高地。
美國早在1989年率先提出全國性的腦科學計劃,並把本世紀最後10年命名為“腦的10年”。白宮於2013年4月提出被認為可與人類基因組計劃相媲美的“腦計劃” ,旨在探索人類大腦工作機制、繪製腦活動全圖、推動神經科學研究、針對目前無法治癒的大腦疾病開發新療法。美國政府公佈“腦計劃(US BRAIN Initiative)”啟動資金逾1億美元,後經調整,計劃未來12年間共投入45億美元。
歐盟:1991年歐洲出臺“歐洲腦10年”計劃。2013年1月,歐盟委員會宣佈人腦工程入選“未來新興旗艦技術項目”,並設立專項研發計劃“人類大腦計劃(HBP)”,可在未來10年內(2013年至2023年)獲得10億歐元經費。該項目集合了來自不同領域的400多名研究人員。
日本:1996年,日本製定為期20年的“腦科學時代”計劃,計劃每年投資1000億日元,總投資達到2萬億日元。2014年9月,日本科學省也宣佈了自己“腦計劃”的首席科學家和組織模式。日本“腦計劃”側重於醫學領域,主要是以狨猴大腦為模型加快對人類大腦疾病如老年性痴呆和精神分裂症的研究。日本政府2015年關於“腦計劃”的預算約64億日元(約合6375萬美元)。
中國:“腦科學和類腦研究”已被列入“十三五”規劃綱要中的國家重大科技創新和工程項目。中科院於今年初成立包含20個院所80個精英實驗室的腦科學和智能技術卓越創新中心。對“中國腦計劃”,各領域科學家提出了“一體兩翼”的佈局建議:即以研究腦認知的神經原理為“主體”,研發腦重大疾病診治新手段和腦機智能新技術為“兩翼”。目標是在未來15年內,在腦科學、腦疾病早期診斷與干預、類腦智能器件三個前沿領域取得國際領先的成果。經粗略估算,我國對該領域的主要經費投入,從2010年的每年約3.48億,增長到2013年的每年近5億元人民幣。
可以看到,美國政府層面對於腦科學研究的推動較早,並且投入相對較大。而中國則起步較晚,投入也相對較少。
值得注意的是,去年11月,美國商務部工業安全署根據2018年國會通過的《出口管制改革法案(Export Control Reform Act)》要求,出臺了一份針對最新的14大類的關鍵技術和相關產品的出口管制框架。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣佈他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。
2017年4月,Facebook在F8大會上宣佈了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞裡的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
2018年9月,美國軍事研究機構——國防部高級研究計劃局(DARPA)公佈了一個2015年啟動的項目,這個項目研發的新技術能夠賦予飛行員藉助思維同時操控多架飛機和無人機的能力。據DARPA生物技術辦公室的負責人Justin Sanchez稱:“目前大腦信號已經能夠用於下達命令,並且同時操控三種類型的飛機。”
2018年11月,BrainGate聯盟發表了一項最新研究成果,在名為“BrainGate2”的臨床試驗中,三名癱患者可以在新型腦機接口芯片的幫助下,利用“意念”自主操作平板電腦,並操作多種應用程序。
2019年4月,加州大學舊金山分校(UCSF)的神經外科學家Edward Chang教授與其同事開發出一種解碼器,可以將人腦神經信號轉化為語音,為幫助無法說話的患者實現發聲交流完成了有力的概念驗證。
2019年7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人在腦部28平方毫米的面積上,植入96根直徑只有4-6微米的“線”,總共包含3072個電極,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
2019年7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
七、腦機接口技術的應用與市場前景
腦機接口(BCI)技術的應用前景非常的廣闊,比如可以幫助人們直接通過思維來控制基於BCI接口的機器人,從事各種工作。腦機接口機器人不僅在殘疾人康復、老年人護理等醫療領域具有顯著的優勢,而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應用前景。
1、醫療健康
醫療方向主要分為兩個方向,分別是“強化”和“恢復”,這兩個方向都有著極其遠大的“錢景”,尤其是強化方向。現階段以恢復類為主,因為更易實現。
“強化”方向主要是指將芯片植入大腦,以增強記憶、推動人腦和計算設備的直接連接。這就是所謂的“人類增強”(Human Intelligence,HI)。淺層次的研究是腦機單向,更深一層次的將是機腦雙向。目前,在做“強化”方向的就包括馬斯克創辦的Neuralink以及獲得1億美元投資的Kernel。
“恢復”方向主要是指可以針對多動症、中風、癲癇等疾病以及殘障人士做對應的恢復訓練,採取的主要方式是神經反饋訓練。這一方向在全球的一些醫院、診所、康復中心中已經得到廣泛應用,也有不少創業公司在做這方面的可穿戴設備。
具體來說,BCI技術可以幫助患者和用戶實現:
(1)與周圍環境進行交流:BCI機器人可以幫助殘疾人使用電腦、撥打電話等;
(2)控制周圍環境:BCI機器人可以幫助殘疾人或老年人控制輪椅、家庭電器開關等;
(3)運動康復:BCI康復機器人可以幫助殘疾人或失去運動能力的老年人進行主動康復訓練,BCI護理機器人可以從事基本護理工作,提高殘疾人或老年人的生活質量。
(4)重獲肢體能力:基於BCI機器人的義肢可成功幫助肢體殘疾的殘障人士重新獲得肢體控制的能力。
通過BrainCo開發的BCI假肢彈鋼琴的殘疾女孩
BrainCo團隊表示,其開發的智能假肢處於世界領先水平,可以完成多種複雜的日常操作,其中包括彈鋼琴。該產品上市後定價預計在兩萬人民幣以內,是目前主流智能假肢價格的二十分之一。
(5) 重獲缺失的感知能力:除了通過思維控制一些設備之外,未來甚至有望幫助部分喪失的感知能力的人群再次獲得感知能力,比如視覺、聽覺和觸覺等;此外,還可以將非人類感知能力轉變為人類感知能力,這其實是非常逆天的,比如對於超聲波的感知能力(就像從蝙蝠身上獲取這個能力一樣),再比如感知磁場等,就像擁有了超能力!
“強化”方向少的原因:第一是因為實現難度高;第二是因為市場還未被充分教育,思維範式在短期內難以改變,付費意願因技術能力不足而未達到臨界值,但軍用領域實際上已經有了不少的應用了,軍方也投入了大量資金。
最後,還值得補充的是“保健方向”,也就是冥想減壓,有創業公司推出腦波檢測頭環,幫助用戶通過實時音頻反饋來提升冥想效果。其實,在北美,冥想的市場是非常大的,這是一個絕對可以挖掘的細分市場。
2、娛樂
在娛樂方面,BCI技術的前景也是非常的廣闊,比如可以與虛擬現實技術結合,無需額外的外設操控設備,可以直接通過思維來控制遊戲種的角色,獲得更加沉浸式的遊戲體驗。目前,在這塊做得比較超前的公司是MindMaze,其融資總額已超1億美元。
3、教育
這個方向其實和醫療方向中的“恢復”方向會有些接近。教育科技是個千億級的市場,目前,腦機接口創業公司BrainCo就在做這一方向,主要是對學生注意力值的實時探測和訓練,既可以而幫助老師及時瞭解課堂情況改變教學情況,也能夠幫助學生提高注意力。
BrainCo針對教育市場的腦機產品
4、智能家居
智能家居是腦機接口與IoT(物聯網)跨領域結合的一大想象空間。在這一領域,腦機接口扮演的角色類似於“遙控器”,幫助人們用意念控制開關燈、開關門、開關窗簾等,進一步可以控制家庭服務機器人。
5、軍事
在軍事方面,BCI技術可以幫助軍人更好的操控無人機、無人車、機器人等設備,代替軍人或者特殊職業的人士從事各種危險的任務,以及在不適宜人工操作的環境中工作。也可以幫助軍人獲得能力上的增強,比如通過BCI控制外骨骼機器人提升單兵作戰能力。
根據第三方研究機構的測算,單純從腦機接口設備(EEG/EMG)的維度來看,市場規模在5年內將達到25億美元。如果從腦機接口將深度影響的數個科技領域來看,市場規模在5年內將達到數千億美元,其中包括:ADHD腦機接口反饋治療 460億美元,大腦檢測系統 120億美元,教育科技 2500億美元,遊戲產業 1200億美元。
總結來說,腦機接口作為一種全新的控制和交流方式,還可以應用到更廣闊的腦機融合領域,就是所謂的硅基生物和碳基生物的融合,打造超強人類,讓人腦進一步自然延伸。
腦機接口的發展對腦電的機理、腦認知、腦康復、信號處理、模式識別、芯片技術、計算技術等各個領域都提出了新的要求,人們也會大大加深對大腦的結構和功能的認識。
隨著技術的不斷完善和多學科融合的努力,腦機接口必將逐步應用於現實,造福人類。
八、腦機接口技術已成全球科技競爭戰略高地
鑑於未來腦機接口技術對社會發展所能夠帶來的強大的推力,目前,腦機接口技術已經成為了全球各國科技競爭的戰略高地。
美國早在1989年率先提出全國性的腦科學計劃,並把本世紀最後10年命名為“腦的10年”。白宮於2013年4月提出被認為可與人類基因組計劃相媲美的“腦計劃” ,旨在探索人類大腦工作機制、繪製腦活動全圖、推動神經科學研究、針對目前無法治癒的大腦疾病開發新療法。美國政府公佈“腦計劃(US BRAIN Initiative)”啟動資金逾1億美元,後經調整,計劃未來12年間共投入45億美元。
歐盟:1991年歐洲出臺“歐洲腦10年”計劃。2013年1月,歐盟委員會宣佈人腦工程入選“未來新興旗艦技術項目”,並設立專項研發計劃“人類大腦計劃(HBP)”,可在未來10年內(2013年至2023年)獲得10億歐元經費。該項目集合了來自不同領域的400多名研究人員。
日本:1996年,日本製定為期20年的“腦科學時代”計劃,計劃每年投資1000億日元,總投資達到2萬億日元。2014年9月,日本科學省也宣佈了自己“腦計劃”的首席科學家和組織模式。日本“腦計劃”側重於醫學領域,主要是以狨猴大腦為模型加快對人類大腦疾病如老年性痴呆和精神分裂症的研究。日本政府2015年關於“腦計劃”的預算約64億日元(約合6375萬美元)。
中國:“腦科學和類腦研究”已被列入“十三五”規劃綱要中的國家重大科技創新和工程項目。中科院於今年初成立包含20個院所80個精英實驗室的腦科學和智能技術卓越創新中心。對“中國腦計劃”,各領域科學家提出了“一體兩翼”的佈局建議:即以研究腦認知的神經原理為“主體”,研發腦重大疾病診治新手段和腦機智能新技術為“兩翼”。目標是在未來15年內,在腦科學、腦疾病早期診斷與干預、類腦智能器件三個前沿領域取得國際領先的成果。經粗略估算,我國對該領域的主要經費投入,從2010年的每年約3.48億,增長到2013年的每年近5億元人民幣。
可以看到,美國政府層面對於腦科學研究的推動較早,並且投入相對較大。而中國則起步較晚,投入也相對較少。
值得注意的是,去年11月,美國商務部工業安全署根據2018年國會通過的《出口管制改革法案(Export Control Reform Act)》要求,出臺了一份針對最新的14大類的關鍵技術和相關產品的出口管制框架。
而這14項被美國出口管制的技術當中就包括了“腦機接口技術”:(i) 神經控制界面;(ii) 意識-機器界面;(iii) 直接神經界面;(iv) 腦機接口。足見美國對於“腦機接口技術”的重視。
九、全球10大最受關注的腦機接口公司
根據第三方研究機構對於目前的腦機接口公司,通過對於公司的技術、團隊/合作伙伴、發展計劃、產品、融資情況這五個維度,評出了世界十大最受關注腦機接口公司。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣佈他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。
2017年4月,Facebook在F8大會上宣佈了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞裡的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
2018年9月,美國軍事研究機構——國防部高級研究計劃局(DARPA)公佈了一個2015年啟動的項目,這個項目研發的新技術能夠賦予飛行員藉助思維同時操控多架飛機和無人機的能力。據DARPA生物技術辦公室的負責人Justin Sanchez稱:“目前大腦信號已經能夠用於下達命令,並且同時操控三種類型的飛機。”
2018年11月,BrainGate聯盟發表了一項最新研究成果,在名為“BrainGate2”的臨床試驗中,三名癱患者可以在新型腦機接口芯片的幫助下,利用“意念”自主操作平板電腦,並操作多種應用程序。
2019年4月,加州大學舊金山分校(UCSF)的神經外科學家Edward Chang教授與其同事開發出一種解碼器,可以將人腦神經信號轉化為語音,為幫助無法說話的患者實現發聲交流完成了有力的概念驗證。
2019年7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人在腦部28平方毫米的面積上,植入96根直徑只有4-6微米的“線”,總共包含3072個電極,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
2019年7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
七、腦機接口技術的應用與市場前景
腦機接口(BCI)技術的應用前景非常的廣闊,比如可以幫助人們直接通過思維來控制基於BCI接口的機器人,從事各種工作。腦機接口機器人不僅在殘疾人康復、老年人護理等醫療領域具有顯著的優勢,而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應用前景。
1、醫療健康
醫療方向主要分為兩個方向,分別是“強化”和“恢復”,這兩個方向都有著極其遠大的“錢景”,尤其是強化方向。現階段以恢復類為主,因為更易實現。
“強化”方向主要是指將芯片植入大腦,以增強記憶、推動人腦和計算設備的直接連接。這就是所謂的“人類增強”(Human Intelligence,HI)。淺層次的研究是腦機單向,更深一層次的將是機腦雙向。目前,在做“強化”方向的就包括馬斯克創辦的Neuralink以及獲得1億美元投資的Kernel。
“恢復”方向主要是指可以針對多動症、中風、癲癇等疾病以及殘障人士做對應的恢復訓練,採取的主要方式是神經反饋訓練。這一方向在全球的一些醫院、診所、康復中心中已經得到廣泛應用,也有不少創業公司在做這方面的可穿戴設備。
具體來說,BCI技術可以幫助患者和用戶實現:
(1)與周圍環境進行交流:BCI機器人可以幫助殘疾人使用電腦、撥打電話等;
(2)控制周圍環境:BCI機器人可以幫助殘疾人或老年人控制輪椅、家庭電器開關等;
(3)運動康復:BCI康復機器人可以幫助殘疾人或失去運動能力的老年人進行主動康復訓練,BCI護理機器人可以從事基本護理工作,提高殘疾人或老年人的生活質量。
(4)重獲肢體能力:基於BCI機器人的義肢可成功幫助肢體殘疾的殘障人士重新獲得肢體控制的能力。
通過BrainCo開發的BCI假肢彈鋼琴的殘疾女孩
BrainCo團隊表示,其開發的智能假肢處於世界領先水平,可以完成多種複雜的日常操作,其中包括彈鋼琴。該產品上市後定價預計在兩萬人民幣以內,是目前主流智能假肢價格的二十分之一。
(5) 重獲缺失的感知能力:除了通過思維控制一些設備之外,未來甚至有望幫助部分喪失的感知能力的人群再次獲得感知能力,比如視覺、聽覺和觸覺等;此外,還可以將非人類感知能力轉變為人類感知能力,這其實是非常逆天的,比如對於超聲波的感知能力(就像從蝙蝠身上獲取這個能力一樣),再比如感知磁場等,就像擁有了超能力!
“強化”方向少的原因:第一是因為實現難度高;第二是因為市場還未被充分教育,思維範式在短期內難以改變,付費意願因技術能力不足而未達到臨界值,但軍用領域實際上已經有了不少的應用了,軍方也投入了大量資金。
最後,還值得補充的是“保健方向”,也就是冥想減壓,有創業公司推出腦波檢測頭環,幫助用戶通過實時音頻反饋來提升冥想效果。其實,在北美,冥想的市場是非常大的,這是一個絕對可以挖掘的細分市場。
2、娛樂
在娛樂方面,BCI技術的前景也是非常的廣闊,比如可以與虛擬現實技術結合,無需額外的外設操控設備,可以直接通過思維來控制遊戲種的角色,獲得更加沉浸式的遊戲體驗。目前,在這塊做得比較超前的公司是MindMaze,其融資總額已超1億美元。
3、教育
這個方向其實和醫療方向中的“恢復”方向會有些接近。教育科技是個千億級的市場,目前,腦機接口創業公司BrainCo就在做這一方向,主要是對學生注意力值的實時探測和訓練,既可以而幫助老師及時瞭解課堂情況改變教學情況,也能夠幫助學生提高注意力。
BrainCo針對教育市場的腦機產品
4、智能家居
智能家居是腦機接口與IoT(物聯網)跨領域結合的一大想象空間。在這一領域,腦機接口扮演的角色類似於“遙控器”,幫助人們用意念控制開關燈、開關門、開關窗簾等,進一步可以控制家庭服務機器人。
5、軍事
在軍事方面,BCI技術可以幫助軍人更好的操控無人機、無人車、機器人等設備,代替軍人或者特殊職業的人士從事各種危險的任務,以及在不適宜人工操作的環境中工作。也可以幫助軍人獲得能力上的增強,比如通過BCI控制外骨骼機器人提升單兵作戰能力。
根據第三方研究機構的測算,單純從腦機接口設備(EEG/EMG)的維度來看,市場規模在5年內將達到25億美元。如果從腦機接口將深度影響的數個科技領域來看,市場規模在5年內將達到數千億美元,其中包括:ADHD腦機接口反饋治療 460億美元,大腦檢測系統 120億美元,教育科技 2500億美元,遊戲產業 1200億美元。
總結來說,腦機接口作為一種全新的控制和交流方式,還可以應用到更廣闊的腦機融合領域,就是所謂的硅基生物和碳基生物的融合,打造超強人類,讓人腦進一步自然延伸。
腦機接口的發展對腦電的機理、腦認知、腦康復、信號處理、模式識別、芯片技術、計算技術等各個領域都提出了新的要求,人們也會大大加深對大腦的結構和功能的認識。
隨著技術的不斷完善和多學科融合的努力,腦機接口必將逐步應用於現實,造福人類。
八、腦機接口技術已成全球科技競爭戰略高地
鑑於未來腦機接口技術對社會發展所能夠帶來的強大的推力,目前,腦機接口技術已經成為了全球各國科技競爭的戰略高地。
美國早在1989年率先提出全國性的腦科學計劃,並把本世紀最後10年命名為“腦的10年”。白宮於2013年4月提出被認為可與人類基因組計劃相媲美的“腦計劃” ,旨在探索人類大腦工作機制、繪製腦活動全圖、推動神經科學研究、針對目前無法治癒的大腦疾病開發新療法。美國政府公佈“腦計劃(US BRAIN Initiative)”啟動資金逾1億美元,後經調整,計劃未來12年間共投入45億美元。
歐盟:1991年歐洲出臺“歐洲腦10年”計劃。2013年1月,歐盟委員會宣佈人腦工程入選“未來新興旗艦技術項目”,並設立專項研發計劃“人類大腦計劃(HBP)”,可在未來10年內(2013年至2023年)獲得10億歐元經費。該項目集合了來自不同領域的400多名研究人員。
日本:1996年,日本製定為期20年的“腦科學時代”計劃,計劃每年投資1000億日元,總投資達到2萬億日元。2014年9月,日本科學省也宣佈了自己“腦計劃”的首席科學家和組織模式。日本“腦計劃”側重於醫學領域,主要是以狨猴大腦為模型加快對人類大腦疾病如老年性痴呆和精神分裂症的研究。日本政府2015年關於“腦計劃”的預算約64億日元(約合6375萬美元)。
中國:“腦科學和類腦研究”已被列入“十三五”規劃綱要中的國家重大科技創新和工程項目。中科院於今年初成立包含20個院所80個精英實驗室的腦科學和智能技術卓越創新中心。對“中國腦計劃”,各領域科學家提出了“一體兩翼”的佈局建議:即以研究腦認知的神經原理為“主體”,研發腦重大疾病診治新手段和腦機智能新技術為“兩翼”。目標是在未來15年內,在腦科學、腦疾病早期診斷與干預、類腦智能器件三個前沿領域取得國際領先的成果。經粗略估算,我國對該領域的主要經費投入,從2010年的每年約3.48億,增長到2013年的每年近5億元人民幣。
可以看到,美國政府層面對於腦科學研究的推動較早,並且投入相對較大。而中國則起步較晚,投入也相對較少。
值得注意的是,去年11月,美國商務部工業安全署根據2018年國會通過的《出口管制改革法案(Export Control Reform Act)》要求,出臺了一份針對最新的14大類的關鍵技術和相關產品的出口管制框架。
而這14項被美國出口管制的技術當中就包括了“腦機接口技術”:(i) 神經控制界面;(ii) 意識-機器界面;(iii) 直接神經界面;(iv) 腦機接口。足見美國對於“腦機接口技術”的重視。
九、全球10大最受關注的腦機接口公司
根據第三方研究機構對於目前的腦機接口公司,通過對於公司的技術、團隊/合作伙伴、發展計劃、產品、融資情況這五個維度,評出了世界十大最受關注腦機接口公司。
其中,Neuralink和Kernel專注於腦科學應用,瞄準了人類智能(HI)這一方向。這兩家再加上專注醫療健康的BrainGate,在腦電信號採集上都採用的是侵入式技術,其餘7家均採用非侵入式技術。
在非侵入式的7家中,g·tec、BrainMaster這兩家專注於研發高精度的腦電測量設備,產品是針對臨床和科研級別的。
而非侵入式中剩餘5家更偏向於消費級腦機接口產品。其中,NeuroSky、InteraXon(Muse)和Emotiv主要在做針對於冥想、遊戲等需求的移動可穿戴EEG設備,這些公司往往也有配套的APP和SDK提供給用戶和開發者。而在瑞士的MindMaze則致力於將VR/AR和腦機接口結合,切入醫療健康和遊戲這兩大領域。而位於BrainCo則最先從教育領域切入,同時也涉足醫療及遊戲領域。
Top10最受關注腦機接口公司中,有7家來自美國,另外3家分別來自瑞士、加拿大、奧地利,融資情況和簡介見下圖:
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣佈他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。
2017年4月,Facebook在F8大會上宣佈了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞裡的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
2018年9月,美國軍事研究機構——國防部高級研究計劃局(DARPA)公佈了一個2015年啟動的項目,這個項目研發的新技術能夠賦予飛行員藉助思維同時操控多架飛機和無人機的能力。據DARPA生物技術辦公室的負責人Justin Sanchez稱:“目前大腦信號已經能夠用於下達命令,並且同時操控三種類型的飛機。”
2018年11月,BrainGate聯盟發表了一項最新研究成果,在名為“BrainGate2”的臨床試驗中,三名癱患者可以在新型腦機接口芯片的幫助下,利用“意念”自主操作平板電腦,並操作多種應用程序。
2019年4月,加州大學舊金山分校(UCSF)的神經外科學家Edward Chang教授與其同事開發出一種解碼器,可以將人腦神經信號轉化為語音,為幫助無法說話的患者實現發聲交流完成了有力的概念驗證。
2019年7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人在腦部28平方毫米的面積上,植入96根直徑只有4-6微米的“線”,總共包含3072個電極,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
2019年7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
七、腦機接口技術的應用與市場前景
腦機接口(BCI)技術的應用前景非常的廣闊,比如可以幫助人們直接通過思維來控制基於BCI接口的機器人,從事各種工作。腦機接口機器人不僅在殘疾人康復、老年人護理等醫療領域具有顯著的優勢,而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應用前景。
1、醫療健康
醫療方向主要分為兩個方向,分別是“強化”和“恢復”,這兩個方向都有著極其遠大的“錢景”,尤其是強化方向。現階段以恢復類為主,因為更易實現。
“強化”方向主要是指將芯片植入大腦,以增強記憶、推動人腦和計算設備的直接連接。這就是所謂的“人類增強”(Human Intelligence,HI)。淺層次的研究是腦機單向,更深一層次的將是機腦雙向。目前,在做“強化”方向的就包括馬斯克創辦的Neuralink以及獲得1億美元投資的Kernel。
“恢復”方向主要是指可以針對多動症、中風、癲癇等疾病以及殘障人士做對應的恢復訓練,採取的主要方式是神經反饋訓練。這一方向在全球的一些醫院、診所、康復中心中已經得到廣泛應用,也有不少創業公司在做這方面的可穿戴設備。
具體來說,BCI技術可以幫助患者和用戶實現:
(1)與周圍環境進行交流:BCI機器人可以幫助殘疾人使用電腦、撥打電話等;
(2)控制周圍環境:BCI機器人可以幫助殘疾人或老年人控制輪椅、家庭電器開關等;
(3)運動康復:BCI康復機器人可以幫助殘疾人或失去運動能力的老年人進行主動康復訓練,BCI護理機器人可以從事基本護理工作,提高殘疾人或老年人的生活質量。
(4)重獲肢體能力:基於BCI機器人的義肢可成功幫助肢體殘疾的殘障人士重新獲得肢體控制的能力。
通過BrainCo開發的BCI假肢彈鋼琴的殘疾女孩
BrainCo團隊表示,其開發的智能假肢處於世界領先水平,可以完成多種複雜的日常操作,其中包括彈鋼琴。該產品上市後定價預計在兩萬人民幣以內,是目前主流智能假肢價格的二十分之一。
(5) 重獲缺失的感知能力:除了通過思維控制一些設備之外,未來甚至有望幫助部分喪失的感知能力的人群再次獲得感知能力,比如視覺、聽覺和觸覺等;此外,還可以將非人類感知能力轉變為人類感知能力,這其實是非常逆天的,比如對於超聲波的感知能力(就像從蝙蝠身上獲取這個能力一樣),再比如感知磁場等,就像擁有了超能力!
“強化”方向少的原因:第一是因為實現難度高;第二是因為市場還未被充分教育,思維範式在短期內難以改變,付費意願因技術能力不足而未達到臨界值,但軍用領域實際上已經有了不少的應用了,軍方也投入了大量資金。
最後,還值得補充的是“保健方向”,也就是冥想減壓,有創業公司推出腦波檢測頭環,幫助用戶通過實時音頻反饋來提升冥想效果。其實,在北美,冥想的市場是非常大的,這是一個絕對可以挖掘的細分市場。
2、娛樂
在娛樂方面,BCI技術的前景也是非常的廣闊,比如可以與虛擬現實技術結合,無需額外的外設操控設備,可以直接通過思維來控制遊戲種的角色,獲得更加沉浸式的遊戲體驗。目前,在這塊做得比較超前的公司是MindMaze,其融資總額已超1億美元。
3、教育
這個方向其實和醫療方向中的“恢復”方向會有些接近。教育科技是個千億級的市場,目前,腦機接口創業公司BrainCo就在做這一方向,主要是對學生注意力值的實時探測和訓練,既可以而幫助老師及時瞭解課堂情況改變教學情況,也能夠幫助學生提高注意力。
BrainCo針對教育市場的腦機產品
4、智能家居
智能家居是腦機接口與IoT(物聯網)跨領域結合的一大想象空間。在這一領域,腦機接口扮演的角色類似於“遙控器”,幫助人們用意念控制開關燈、開關門、開關窗簾等,進一步可以控制家庭服務機器人。
5、軍事
在軍事方面,BCI技術可以幫助軍人更好的操控無人機、無人車、機器人等設備,代替軍人或者特殊職業的人士從事各種危險的任務,以及在不適宜人工操作的環境中工作。也可以幫助軍人獲得能力上的增強,比如通過BCI控制外骨骼機器人提升單兵作戰能力。
根據第三方研究機構的測算,單純從腦機接口設備(EEG/EMG)的維度來看,市場規模在5年內將達到25億美元。如果從腦機接口將深度影響的數個科技領域來看,市場規模在5年內將達到數千億美元,其中包括:ADHD腦機接口反饋治療 460億美元,大腦檢測系統 120億美元,教育科技 2500億美元,遊戲產業 1200億美元。
總結來說,腦機接口作為一種全新的控制和交流方式,還可以應用到更廣闊的腦機融合領域,就是所謂的硅基生物和碳基生物的融合,打造超強人類,讓人腦進一步自然延伸。
腦機接口的發展對腦電的機理、腦認知、腦康復、信號處理、模式識別、芯片技術、計算技術等各個領域都提出了新的要求,人們也會大大加深對大腦的結構和功能的認識。
隨著技術的不斷完善和多學科融合的努力,腦機接口必將逐步應用於現實,造福人類。
八、腦機接口技術已成全球科技競爭戰略高地
鑑於未來腦機接口技術對社會發展所能夠帶來的強大的推力,目前,腦機接口技術已經成為了全球各國科技競爭的戰略高地。
美國早在1989年率先提出全國性的腦科學計劃,並把本世紀最後10年命名為“腦的10年”。白宮於2013年4月提出被認為可與人類基因組計劃相媲美的“腦計劃” ,旨在探索人類大腦工作機制、繪製腦活動全圖、推動神經科學研究、針對目前無法治癒的大腦疾病開發新療法。美國政府公佈“腦計劃(US BRAIN Initiative)”啟動資金逾1億美元,後經調整,計劃未來12年間共投入45億美元。
歐盟:1991年歐洲出臺“歐洲腦10年”計劃。2013年1月,歐盟委員會宣佈人腦工程入選“未來新興旗艦技術項目”,並設立專項研發計劃“人類大腦計劃(HBP)”,可在未來10年內(2013年至2023年)獲得10億歐元經費。該項目集合了來自不同領域的400多名研究人員。
日本:1996年,日本製定為期20年的“腦科學時代”計劃,計劃每年投資1000億日元,總投資達到2萬億日元。2014年9月,日本科學省也宣佈了自己“腦計劃”的首席科學家和組織模式。日本“腦計劃”側重於醫學領域,主要是以狨猴大腦為模型加快對人類大腦疾病如老年性痴呆和精神分裂症的研究。日本政府2015年關於“腦計劃”的預算約64億日元(約合6375萬美元)。
中國:“腦科學和類腦研究”已被列入“十三五”規劃綱要中的國家重大科技創新和工程項目。中科院於今年初成立包含20個院所80個精英實驗室的腦科學和智能技術卓越創新中心。對“中國腦計劃”,各領域科學家提出了“一體兩翼”的佈局建議:即以研究腦認知的神經原理為“主體”,研發腦重大疾病診治新手段和腦機智能新技術為“兩翼”。目標是在未來15年內,在腦科學、腦疾病早期診斷與干預、類腦智能器件三個前沿領域取得國際領先的成果。經粗略估算,我國對該領域的主要經費投入,從2010年的每年約3.48億,增長到2013年的每年近5億元人民幣。
可以看到,美國政府層面對於腦科學研究的推動較早,並且投入相對較大。而中國則起步較晚,投入也相對較少。
值得注意的是,去年11月,美國商務部工業安全署根據2018年國會通過的《出口管制改革法案(Export Control Reform Act)》要求,出臺了一份針對最新的14大類的關鍵技術和相關產品的出口管制框架。
而這14項被美國出口管制的技術當中就包括了“腦機接口技術”:(i) 神經控制界面;(ii) 意識-機器界面;(iii) 直接神經界面;(iv) 腦機接口。足見美國對於“腦機接口技術”的重視。
九、全球10大最受關注的腦機接口公司
根據第三方研究機構對於目前的腦機接口公司,通過對於公司的技術、團隊/合作伙伴、發展計劃、產品、融資情況這五個維度,評出了世界十大最受關注腦機接口公司。
其中,Neuralink和Kernel專注於腦科學應用,瞄準了人類智能(HI)這一方向。這兩家再加上專注醫療健康的BrainGate,在腦電信號採集上都採用的是侵入式技術,其餘7家均採用非侵入式技術。
在非侵入式的7家中,g·tec、BrainMaster這兩家專注於研發高精度的腦電測量設備,產品是針對臨床和科研級別的。
而非侵入式中剩餘5家更偏向於消費級腦機接口產品。其中,NeuroSky、InteraXon(Muse)和Emotiv主要在做針對於冥想、遊戲等需求的移動可穿戴EEG設備,這些公司往往也有配套的APP和SDK提供給用戶和開發者。而在瑞士的MindMaze則致力於將VR/AR和腦機接口結合,切入醫療健康和遊戲這兩大領域。而位於BrainCo則最先從教育領域切入,同時也涉足醫療及遊戲領域。
Top10最受關注腦機接口公司中,有7家來自美國,另外3家分別來自瑞士、加拿大、奧地利,融資情況和簡介見下圖:
這裡需要指出的是,排名第六的BrainCo公司創始人韓璧丞於2017年回國成立了北京強腦科技有限公司,並在北京和深圳組建了腦機接口的研發和銷售團隊。
十、腦機接口科研力量分佈
根據全球各大科研院所在腦機接口領域研究成果產出量及影響力,我們選出了這20家科研院所,供你參考學習:
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣佈他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。
2017年4月,Facebook在F8大會上宣佈了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞裡的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
2018年9月,美國軍事研究機構——國防部高級研究計劃局(DARPA)公佈了一個2015年啟動的項目,這個項目研發的新技術能夠賦予飛行員藉助思維同時操控多架飛機和無人機的能力。據DARPA生物技術辦公室的負責人Justin Sanchez稱:“目前大腦信號已經能夠用於下達命令,並且同時操控三種類型的飛機。”
2018年11月,BrainGate聯盟發表了一項最新研究成果,在名為“BrainGate2”的臨床試驗中,三名癱患者可以在新型腦機接口芯片的幫助下,利用“意念”自主操作平板電腦,並操作多種應用程序。
2019年4月,加州大學舊金山分校(UCSF)的神經外科學家Edward Chang教授與其同事開發出一種解碼器,可以將人腦神經信號轉化為語音,為幫助無法說話的患者實現發聲交流完成了有力的概念驗證。
2019年7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人在腦部28平方毫米的面積上,植入96根直徑只有4-6微米的“線”,總共包含3072個電極,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
2019年7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
七、腦機接口技術的應用與市場前景
腦機接口(BCI)技術的應用前景非常的廣闊,比如可以幫助人們直接通過思維來控制基於BCI接口的機器人,從事各種工作。腦機接口機器人不僅在殘疾人康復、老年人護理等醫療領域具有顯著的優勢,而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應用前景。
1、醫療健康
醫療方向主要分為兩個方向,分別是“強化”和“恢復”,這兩個方向都有著極其遠大的“錢景”,尤其是強化方向。現階段以恢復類為主,因為更易實現。
“強化”方向主要是指將芯片植入大腦,以增強記憶、推動人腦和計算設備的直接連接。這就是所謂的“人類增強”(Human Intelligence,HI)。淺層次的研究是腦機單向,更深一層次的將是機腦雙向。目前,在做“強化”方向的就包括馬斯克創辦的Neuralink以及獲得1億美元投資的Kernel。
“恢復”方向主要是指可以針對多動症、中風、癲癇等疾病以及殘障人士做對應的恢復訓練,採取的主要方式是神經反饋訓練。這一方向在全球的一些醫院、診所、康復中心中已經得到廣泛應用,也有不少創業公司在做這方面的可穿戴設備。
具體來說,BCI技術可以幫助患者和用戶實現:
(1)與周圍環境進行交流:BCI機器人可以幫助殘疾人使用電腦、撥打電話等;
(2)控制周圍環境:BCI機器人可以幫助殘疾人或老年人控制輪椅、家庭電器開關等;
(3)運動康復:BCI康復機器人可以幫助殘疾人或失去運動能力的老年人進行主動康復訓練,BCI護理機器人可以從事基本護理工作,提高殘疾人或老年人的生活質量。
(4)重獲肢體能力:基於BCI機器人的義肢可成功幫助肢體殘疾的殘障人士重新獲得肢體控制的能力。
通過BrainCo開發的BCI假肢彈鋼琴的殘疾女孩
BrainCo團隊表示,其開發的智能假肢處於世界領先水平,可以完成多種複雜的日常操作,其中包括彈鋼琴。該產品上市後定價預計在兩萬人民幣以內,是目前主流智能假肢價格的二十分之一。
(5) 重獲缺失的感知能力:除了通過思維控制一些設備之外,未來甚至有望幫助部分喪失的感知能力的人群再次獲得感知能力,比如視覺、聽覺和觸覺等;此外,還可以將非人類感知能力轉變為人類感知能力,這其實是非常逆天的,比如對於超聲波的感知能力(就像從蝙蝠身上獲取這個能力一樣),再比如感知磁場等,就像擁有了超能力!
“強化”方向少的原因:第一是因為實現難度高;第二是因為市場還未被充分教育,思維範式在短期內難以改變,付費意願因技術能力不足而未達到臨界值,但軍用領域實際上已經有了不少的應用了,軍方也投入了大量資金。
最後,還值得補充的是“保健方向”,也就是冥想減壓,有創業公司推出腦波檢測頭環,幫助用戶通過實時音頻反饋來提升冥想效果。其實,在北美,冥想的市場是非常大的,這是一個絕對可以挖掘的細分市場。
2、娛樂
在娛樂方面,BCI技術的前景也是非常的廣闊,比如可以與虛擬現實技術結合,無需額外的外設操控設備,可以直接通過思維來控制遊戲種的角色,獲得更加沉浸式的遊戲體驗。目前,在這塊做得比較超前的公司是MindMaze,其融資總額已超1億美元。
3、教育
這個方向其實和醫療方向中的“恢復”方向會有些接近。教育科技是個千億級的市場,目前,腦機接口創業公司BrainCo就在做這一方向,主要是對學生注意力值的實時探測和訓練,既可以而幫助老師及時瞭解課堂情況改變教學情況,也能夠幫助學生提高注意力。
BrainCo針對教育市場的腦機產品
4、智能家居
智能家居是腦機接口與IoT(物聯網)跨領域結合的一大想象空間。在這一領域,腦機接口扮演的角色類似於“遙控器”,幫助人們用意念控制開關燈、開關門、開關窗簾等,進一步可以控制家庭服務機器人。
5、軍事
在軍事方面,BCI技術可以幫助軍人更好的操控無人機、無人車、機器人等設備,代替軍人或者特殊職業的人士從事各種危險的任務,以及在不適宜人工操作的環境中工作。也可以幫助軍人獲得能力上的增強,比如通過BCI控制外骨骼機器人提升單兵作戰能力。
根據第三方研究機構的測算,單純從腦機接口設備(EEG/EMG)的維度來看,市場規模在5年內將達到25億美元。如果從腦機接口將深度影響的數個科技領域來看,市場規模在5年內將達到數千億美元,其中包括:ADHD腦機接口反饋治療 460億美元,大腦檢測系統 120億美元,教育科技 2500億美元,遊戲產業 1200億美元。
總結來說,腦機接口作為一種全新的控制和交流方式,還可以應用到更廣闊的腦機融合領域,就是所謂的硅基生物和碳基生物的融合,打造超強人類,讓人腦進一步自然延伸。
腦機接口的發展對腦電的機理、腦認知、腦康復、信號處理、模式識別、芯片技術、計算技術等各個領域都提出了新的要求,人們也會大大加深對大腦的結構和功能的認識。
隨著技術的不斷完善和多學科融合的努力,腦機接口必將逐步應用於現實,造福人類。
八、腦機接口技術已成全球科技競爭戰略高地
鑑於未來腦機接口技術對社會發展所能夠帶來的強大的推力,目前,腦機接口技術已經成為了全球各國科技競爭的戰略高地。
美國早在1989年率先提出全國性的腦科學計劃,並把本世紀最後10年命名為“腦的10年”。白宮於2013年4月提出被認為可與人類基因組計劃相媲美的“腦計劃” ,旨在探索人類大腦工作機制、繪製腦活動全圖、推動神經科學研究、針對目前無法治癒的大腦疾病開發新療法。美國政府公佈“腦計劃(US BRAIN Initiative)”啟動資金逾1億美元,後經調整,計劃未來12年間共投入45億美元。
歐盟:1991年歐洲出臺“歐洲腦10年”計劃。2013年1月,歐盟委員會宣佈人腦工程入選“未來新興旗艦技術項目”,並設立專項研發計劃“人類大腦計劃(HBP)”,可在未來10年內(2013年至2023年)獲得10億歐元經費。該項目集合了來自不同領域的400多名研究人員。
日本:1996年,日本製定為期20年的“腦科學時代”計劃,計劃每年投資1000億日元,總投資達到2萬億日元。2014年9月,日本科學省也宣佈了自己“腦計劃”的首席科學家和組織模式。日本“腦計劃”側重於醫學領域,主要是以狨猴大腦為模型加快對人類大腦疾病如老年性痴呆和精神分裂症的研究。日本政府2015年關於“腦計劃”的預算約64億日元(約合6375萬美元)。
中國:“腦科學和類腦研究”已被列入“十三五”規劃綱要中的國家重大科技創新和工程項目。中科院於今年初成立包含20個院所80個精英實驗室的腦科學和智能技術卓越創新中心。對“中國腦計劃”,各領域科學家提出了“一體兩翼”的佈局建議:即以研究腦認知的神經原理為“主體”,研發腦重大疾病診治新手段和腦機智能新技術為“兩翼”。目標是在未來15年內,在腦科學、腦疾病早期診斷與干預、類腦智能器件三個前沿領域取得國際領先的成果。經粗略估算,我國對該領域的主要經費投入,從2010年的每年約3.48億,增長到2013年的每年近5億元人民幣。
可以看到,美國政府層面對於腦科學研究的推動較早,並且投入相對較大。而中國則起步較晚,投入也相對較少。
值得注意的是,去年11月,美國商務部工業安全署根據2018年國會通過的《出口管制改革法案(Export Control Reform Act)》要求,出臺了一份針對最新的14大類的關鍵技術和相關產品的出口管制框架。
而這14項被美國出口管制的技術當中就包括了“腦機接口技術”:(i) 神經控制界面;(ii) 意識-機器界面;(iii) 直接神經界面;(iv) 腦機接口。足見美國對於“腦機接口技術”的重視。
九、全球10大最受關注的腦機接口公司
根據第三方研究機構對於目前的腦機接口公司,通過對於公司的技術、團隊/合作伙伴、發展計劃、產品、融資情況這五個維度,評出了世界十大最受關注腦機接口公司。
其中,Neuralink和Kernel專注於腦科學應用,瞄準了人類智能(HI)這一方向。這兩家再加上專注醫療健康的BrainGate,在腦電信號採集上都採用的是侵入式技術,其餘7家均採用非侵入式技術。
在非侵入式的7家中,g·tec、BrainMaster這兩家專注於研發高精度的腦電測量設備,產品是針對臨床和科研級別的。
而非侵入式中剩餘5家更偏向於消費級腦機接口產品。其中,NeuroSky、InteraXon(Muse)和Emotiv主要在做針對於冥想、遊戲等需求的移動可穿戴EEG設備,這些公司往往也有配套的APP和SDK提供給用戶和開發者。而在瑞士的MindMaze則致力於將VR/AR和腦機接口結合,切入醫療健康和遊戲這兩大領域。而位於BrainCo則最先從教育領域切入,同時也涉足醫療及遊戲領域。
Top10最受關注腦機接口公司中,有7家來自美國,另外3家分別來自瑞士、加拿大、奧地利,融資情況和簡介見下圖:
這裡需要指出的是,排名第六的BrainCo公司創始人韓璧丞於2017年回國成立了北京強腦科技有限公司,並在北京和深圳組建了腦機接口的研發和銷售團隊。
十、腦機接口科研力量分佈
根據全球各大科研院所在腦機接口領域研究成果產出量及影響力,我們選出了這20家科研院所,供你參考學習:
當然,除了這20大科研院所外,還有美國國防高級研究計劃局DARPA及Facebook的Building 8等課題組在從事腦機接口方面的研究。
十一、腦機接口技術面臨的挑戰
腦機接口技術是一門新興的研究領域,涉及計算機科學、神經科學、心理認知科學、生物醫學工程、數學、信號處理、臨床醫學、自動控制等多個領域,仍有大量的問題尚待解決,目前主要存在以下問題:
1、數量龐大且複雜的神經元
腦機接口可以有很多不同的種類,用於提供各種多種功能。但是每個研究腦機接口的人都在努力解決下面的兩個問題:如何從大腦中輸出正確的信息?如何將正確的信息輸入到大腦?
第一個問題是關於如何捕捉大腦的輸出——也就是記錄神經元說的東西。
第二個問題則是關於如何將信息輸入到大腦的自然信息流,或以其他方式改變這個自然信息流——也就是如何刺激神經元。
這兩件事情一直在你的大腦自然地發生。你在看這句話時,你的眼睛正在做出一系列特定的水平動作。這是大腦神經元將信息輸出到一臺機器(你的雙眼),機器接收命令並作出響應。
當你的雙眼以正確的方式移動時,屏幕發射的光子會進入你的視網膜,刺激皮質枕葉中的神經元,讓這些文字的圖像進入你的思維。然後這幅圖像會刺激大腦另一部分的神經元,讓你能夠處理圖像中包含的信息,並吸收句子的意思。
輸入及輸出信息是大腦神經元的工作。腦機接口產業想做的就是介入到這個過程當中。
乍看之下,這項任務似乎也沒有那麼困難?反正大腦只是一個果凍球,對吧?至於皮質——我們主要進行記錄和刺激的大腦部位——它也只是一塊餐巾,而且它還位於大腦外層,研究起來非常方便。
皮質裡面有大約 200 億個活躍的神經元——相當於200 億個黏糊糊的晶體管,如果我們能學會它們的工作原理,我們就可以在前所未有的高度上掌控我們的思維世界。但是,事實上這是非常困難的。
整個大腦皮質的體積大約為50萬立方毫米,在這個空間裡大約有 200 億個神經元細胞體。這意味著每立方毫米的皮質平均含有約 4 萬個神經元。但是神經元細胞體只是神經元的一小部分結構,每個細胞體會伸出許多扭曲分岔的樹突,而從神經元細胞體另一端伸出來的長長的軸突。而神經元因其功能種類在人體位置不同,整個神經元軸突的長度,可以從幾微米到1米多不等。這裡的每根神經元的軸突的厚度只有1毫米左右,所以它們在皮質裡面就像是一團密密麻麻的帶電的“意大利麵”。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣佈他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。
2017年4月,Facebook在F8大會上宣佈了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞裡的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
2018年9月,美國軍事研究機構——國防部高級研究計劃局(DARPA)公佈了一個2015年啟動的項目,這個項目研發的新技術能夠賦予飛行員藉助思維同時操控多架飛機和無人機的能力。據DARPA生物技術辦公室的負責人Justin Sanchez稱:“目前大腦信號已經能夠用於下達命令,並且同時操控三種類型的飛機。”
2018年11月,BrainGate聯盟發表了一項最新研究成果,在名為“BrainGate2”的臨床試驗中,三名癱患者可以在新型腦機接口芯片的幫助下,利用“意念”自主操作平板電腦,並操作多種應用程序。
2019年4月,加州大學舊金山分校(UCSF)的神經外科學家Edward Chang教授與其同事開發出一種解碼器,可以將人腦神經信號轉化為語音,為幫助無法說話的患者實現發聲交流完成了有力的概念驗證。
2019年7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人在腦部28平方毫米的面積上,植入96根直徑只有4-6微米的“線”,總共包含3072個電極,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
2019年7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
七、腦機接口技術的應用與市場前景
腦機接口(BCI)技術的應用前景非常的廣闊,比如可以幫助人們直接通過思維來控制基於BCI接口的機器人,從事各種工作。腦機接口機器人不僅在殘疾人康復、老年人護理等醫療領域具有顯著的優勢,而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應用前景。
1、醫療健康
醫療方向主要分為兩個方向,分別是“強化”和“恢復”,這兩個方向都有著極其遠大的“錢景”,尤其是強化方向。現階段以恢復類為主,因為更易實現。
“強化”方向主要是指將芯片植入大腦,以增強記憶、推動人腦和計算設備的直接連接。這就是所謂的“人類增強”(Human Intelligence,HI)。淺層次的研究是腦機單向,更深一層次的將是機腦雙向。目前,在做“強化”方向的就包括馬斯克創辦的Neuralink以及獲得1億美元投資的Kernel。
“恢復”方向主要是指可以針對多動症、中風、癲癇等疾病以及殘障人士做對應的恢復訓練,採取的主要方式是神經反饋訓練。這一方向在全球的一些醫院、診所、康復中心中已經得到廣泛應用,也有不少創業公司在做這方面的可穿戴設備。
具體來說,BCI技術可以幫助患者和用戶實現:
(1)與周圍環境進行交流:BCI機器人可以幫助殘疾人使用電腦、撥打電話等;
(2)控制周圍環境:BCI機器人可以幫助殘疾人或老年人控制輪椅、家庭電器開關等;
(3)運動康復:BCI康復機器人可以幫助殘疾人或失去運動能力的老年人進行主動康復訓練,BCI護理機器人可以從事基本護理工作,提高殘疾人或老年人的生活質量。
(4)重獲肢體能力:基於BCI機器人的義肢可成功幫助肢體殘疾的殘障人士重新獲得肢體控制的能力。
通過BrainCo開發的BCI假肢彈鋼琴的殘疾女孩
BrainCo團隊表示,其開發的智能假肢處於世界領先水平,可以完成多種複雜的日常操作,其中包括彈鋼琴。該產品上市後定價預計在兩萬人民幣以內,是目前主流智能假肢價格的二十分之一。
(5) 重獲缺失的感知能力:除了通過思維控制一些設備之外,未來甚至有望幫助部分喪失的感知能力的人群再次獲得感知能力,比如視覺、聽覺和觸覺等;此外,還可以將非人類感知能力轉變為人類感知能力,這其實是非常逆天的,比如對於超聲波的感知能力(就像從蝙蝠身上獲取這個能力一樣),再比如感知磁場等,就像擁有了超能力!
“強化”方向少的原因:第一是因為實現難度高;第二是因為市場還未被充分教育,思維範式在短期內難以改變,付費意願因技術能力不足而未達到臨界值,但軍用領域實際上已經有了不少的應用了,軍方也投入了大量資金。
最後,還值得補充的是“保健方向”,也就是冥想減壓,有創業公司推出腦波檢測頭環,幫助用戶通過實時音頻反饋來提升冥想效果。其實,在北美,冥想的市場是非常大的,這是一個絕對可以挖掘的細分市場。
2、娛樂
在娛樂方面,BCI技術的前景也是非常的廣闊,比如可以與虛擬現實技術結合,無需額外的外設操控設備,可以直接通過思維來控制遊戲種的角色,獲得更加沉浸式的遊戲體驗。目前,在這塊做得比較超前的公司是MindMaze,其融資總額已超1億美元。
3、教育
這個方向其實和醫療方向中的“恢復”方向會有些接近。教育科技是個千億級的市場,目前,腦機接口創業公司BrainCo就在做這一方向,主要是對學生注意力值的實時探測和訓練,既可以而幫助老師及時瞭解課堂情況改變教學情況,也能夠幫助學生提高注意力。
BrainCo針對教育市場的腦機產品
4、智能家居
智能家居是腦機接口與IoT(物聯網)跨領域結合的一大想象空間。在這一領域,腦機接口扮演的角色類似於“遙控器”,幫助人們用意念控制開關燈、開關門、開關窗簾等,進一步可以控制家庭服務機器人。
5、軍事
在軍事方面,BCI技術可以幫助軍人更好的操控無人機、無人車、機器人等設備,代替軍人或者特殊職業的人士從事各種危險的任務,以及在不適宜人工操作的環境中工作。也可以幫助軍人獲得能力上的增強,比如通過BCI控制外骨骼機器人提升單兵作戰能力。
根據第三方研究機構的測算,單純從腦機接口設備(EEG/EMG)的維度來看,市場規模在5年內將達到25億美元。如果從腦機接口將深度影響的數個科技領域來看,市場規模在5年內將達到數千億美元,其中包括:ADHD腦機接口反饋治療 460億美元,大腦檢測系統 120億美元,教育科技 2500億美元,遊戲產業 1200億美元。
總結來說,腦機接口作為一種全新的控制和交流方式,還可以應用到更廣闊的腦機融合領域,就是所謂的硅基生物和碳基生物的融合,打造超強人類,讓人腦進一步自然延伸。
腦機接口的發展對腦電的機理、腦認知、腦康復、信號處理、模式識別、芯片技術、計算技術等各個領域都提出了新的要求,人們也會大大加深對大腦的結構和功能的認識。
隨著技術的不斷完善和多學科融合的努力,腦機接口必將逐步應用於現實,造福人類。
八、腦機接口技術已成全球科技競爭戰略高地
鑑於未來腦機接口技術對社會發展所能夠帶來的強大的推力,目前,腦機接口技術已經成為了全球各國科技競爭的戰略高地。
美國早在1989年率先提出全國性的腦科學計劃,並把本世紀最後10年命名為“腦的10年”。白宮於2013年4月提出被認為可與人類基因組計劃相媲美的“腦計劃” ,旨在探索人類大腦工作機制、繪製腦活動全圖、推動神經科學研究、針對目前無法治癒的大腦疾病開發新療法。美國政府公佈“腦計劃(US BRAIN Initiative)”啟動資金逾1億美元,後經調整,計劃未來12年間共投入45億美元。
歐盟:1991年歐洲出臺“歐洲腦10年”計劃。2013年1月,歐盟委員會宣佈人腦工程入選“未來新興旗艦技術項目”,並設立專項研發計劃“人類大腦計劃(HBP)”,可在未來10年內(2013年至2023年)獲得10億歐元經費。該項目集合了來自不同領域的400多名研究人員。
日本:1996年,日本製定為期20年的“腦科學時代”計劃,計劃每年投資1000億日元,總投資達到2萬億日元。2014年9月,日本科學省也宣佈了自己“腦計劃”的首席科學家和組織模式。日本“腦計劃”側重於醫學領域,主要是以狨猴大腦為模型加快對人類大腦疾病如老年性痴呆和精神分裂症的研究。日本政府2015年關於“腦計劃”的預算約64億日元(約合6375萬美元)。
中國:“腦科學和類腦研究”已被列入“十三五”規劃綱要中的國家重大科技創新和工程項目。中科院於今年初成立包含20個院所80個精英實驗室的腦科學和智能技術卓越創新中心。對“中國腦計劃”,各領域科學家提出了“一體兩翼”的佈局建議:即以研究腦認知的神經原理為“主體”,研發腦重大疾病診治新手段和腦機智能新技術為“兩翼”。目標是在未來15年內,在腦科學、腦疾病早期診斷與干預、類腦智能器件三個前沿領域取得國際領先的成果。經粗略估算,我國對該領域的主要經費投入,從2010年的每年約3.48億,增長到2013年的每年近5億元人民幣。
可以看到,美國政府層面對於腦科學研究的推動較早,並且投入相對較大。而中國則起步較晚,投入也相對較少。
值得注意的是,去年11月,美國商務部工業安全署根據2018年國會通過的《出口管制改革法案(Export Control Reform Act)》要求,出臺了一份針對最新的14大類的關鍵技術和相關產品的出口管制框架。
而這14項被美國出口管制的技術當中就包括了“腦機接口技術”:(i) 神經控制界面;(ii) 意識-機器界面;(iii) 直接神經界面;(iv) 腦機接口。足見美國對於“腦機接口技術”的重視。
九、全球10大最受關注的腦機接口公司
根據第三方研究機構對於目前的腦機接口公司,通過對於公司的技術、團隊/合作伙伴、發展計劃、產品、融資情況這五個維度,評出了世界十大最受關注腦機接口公司。
其中,Neuralink和Kernel專注於腦科學應用,瞄準了人類智能(HI)這一方向。這兩家再加上專注醫療健康的BrainGate,在腦電信號採集上都採用的是侵入式技術,其餘7家均採用非侵入式技術。
在非侵入式的7家中,g·tec、BrainMaster這兩家專注於研發高精度的腦電測量設備,產品是針對臨床和科研級別的。
而非侵入式中剩餘5家更偏向於消費級腦機接口產品。其中,NeuroSky、InteraXon(Muse)和Emotiv主要在做針對於冥想、遊戲等需求的移動可穿戴EEG設備,這些公司往往也有配套的APP和SDK提供給用戶和開發者。而在瑞士的MindMaze則致力於將VR/AR和腦機接口結合,切入醫療健康和遊戲這兩大領域。而位於BrainCo則最先從教育領域切入,同時也涉足醫療及遊戲領域。
Top10最受關注腦機接口公司中,有7家來自美國,另外3家分別來自瑞士、加拿大、奧地利,融資情況和簡介見下圖:
這裡需要指出的是,排名第六的BrainCo公司創始人韓璧丞於2017年回國成立了北京強腦科技有限公司,並在北京和深圳組建了腦機接口的研發和銷售團隊。
十、腦機接口科研力量分佈
根據全球各大科研院所在腦機接口領域研究成果產出量及影響力,我們選出了這20家科研院所,供你參考學習:
當然,除了這20大科研院所外,還有美國國防高級研究計劃局DARPA及Facebook的Building 8等課題組在從事腦機接口方面的研究。
十一、腦機接口技術面臨的挑戰
腦機接口技術是一門新興的研究領域,涉及計算機科學、神經科學、心理認知科學、生物醫學工程、數學、信號處理、臨床醫學、自動控制等多個領域,仍有大量的問題尚待解決,目前主要存在以下問題:
1、數量龐大且複雜的神經元
腦機接口可以有很多不同的種類,用於提供各種多種功能。但是每個研究腦機接口的人都在努力解決下面的兩個問題:如何從大腦中輸出正確的信息?如何將正確的信息輸入到大腦?
第一個問題是關於如何捕捉大腦的輸出——也就是記錄神經元說的東西。
第二個問題則是關於如何將信息輸入到大腦的自然信息流,或以其他方式改變這個自然信息流——也就是如何刺激神經元。
這兩件事情一直在你的大腦自然地發生。你在看這句話時,你的眼睛正在做出一系列特定的水平動作。這是大腦神經元將信息輸出到一臺機器(你的雙眼),機器接收命令並作出響應。
當你的雙眼以正確的方式移動時,屏幕發射的光子會進入你的視網膜,刺激皮質枕葉中的神經元,讓這些文字的圖像進入你的思維。然後這幅圖像會刺激大腦另一部分的神經元,讓你能夠處理圖像中包含的信息,並吸收句子的意思。
輸入及輸出信息是大腦神經元的工作。腦機接口產業想做的就是介入到這個過程當中。
乍看之下,這項任務似乎也沒有那麼困難?反正大腦只是一個果凍球,對吧?至於皮質——我們主要進行記錄和刺激的大腦部位——它也只是一塊餐巾,而且它還位於大腦外層,研究起來非常方便。
皮質裡面有大約 200 億個活躍的神經元——相當於200 億個黏糊糊的晶體管,如果我們能學會它們的工作原理,我們就可以在前所未有的高度上掌控我們的思維世界。但是,事實上這是非常困難的。
整個大腦皮質的體積大約為50萬立方毫米,在這個空間裡大約有 200 億個神經元細胞體。這意味著每立方毫米的皮質平均含有約 4 萬個神經元。但是神經元細胞體只是神經元的一小部分結構,每個細胞體會伸出許多扭曲分岔的樹突,而從神經元細胞體另一端伸出來的長長的軸突。而神經元因其功能種類在人體位置不同,整個神經元軸突的長度,可以從幾微米到1米多不等。這裡的每根神經元的軸突的厚度只有1毫米左右,所以它們在皮質裡面就像是一團密密麻麻的帶電的“意大利麵”。
▲人類連接組計劃(Human Connectome Project)成果:大腦中功能接近的軸突所以形成的「綵帶」圖案,它們通常位於白質之中。
然而更復雜的是,每個立方毫米的皮質層裡的4萬個神經元伸出來的無數根“意大利麵”,還有很多來自皮質其他部位的意大利麵會穿過這個1立法毫米的區域。
這就意味著,如果我們要在這個1立方毫米的空間中記錄信號或者刺激神經元,我們肯定會遇到很多麻煩,因為在這團亂七八糟的“意大利麵”之中,我們很難找出哪些“意大利麵”是屬於我們刺激的神經元細胞體的(而且還沒有算上混雜在其中的大量浦肯野細胞)。
當然,我們還要考慮神經可塑性的問題。每個神經元的電壓都是不斷變化的,這個變化頻率可以達到每秒數百次。而且這個立方體裡面的數千萬個突觸連接會經常改變大小,消失,然後重新出現。
但是這還不算完。
事實上大腦裡面還有一種叫做膠質細胞(glial cell)的東西,這種細胞有許多不同的變種,分別負責不同的功能,比如清掃釋放到突觸內的化學物質,用髓鞘包裹軸突,以及作為大腦的免疫系統。下面是一些常見的神經膠質細胞種類:
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣佈他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。
2017年4月,Facebook在F8大會上宣佈了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞裡的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
2018年9月,美國軍事研究機構——國防部高級研究計劃局(DARPA)公佈了一個2015年啟動的項目,這個項目研發的新技術能夠賦予飛行員藉助思維同時操控多架飛機和無人機的能力。據DARPA生物技術辦公室的負責人Justin Sanchez稱:“目前大腦信號已經能夠用於下達命令,並且同時操控三種類型的飛機。”
2018年11月,BrainGate聯盟發表了一項最新研究成果,在名為“BrainGate2”的臨床試驗中,三名癱患者可以在新型腦機接口芯片的幫助下,利用“意念”自主操作平板電腦,並操作多種應用程序。
2019年4月,加州大學舊金山分校(UCSF)的神經外科學家Edward Chang教授與其同事開發出一種解碼器,可以將人腦神經信號轉化為語音,為幫助無法說話的患者實現發聲交流完成了有力的概念驗證。
2019年7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人在腦部28平方毫米的面積上,植入96根直徑只有4-6微米的“線”,總共包含3072個電極,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
2019年7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
七、腦機接口技術的應用與市場前景
腦機接口(BCI)技術的應用前景非常的廣闊,比如可以幫助人們直接通過思維來控制基於BCI接口的機器人,從事各種工作。腦機接口機器人不僅在殘疾人康復、老年人護理等醫療領域具有顯著的優勢,而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應用前景。
1、醫療健康
醫療方向主要分為兩個方向,分別是“強化”和“恢復”,這兩個方向都有著極其遠大的“錢景”,尤其是強化方向。現階段以恢復類為主,因為更易實現。
“強化”方向主要是指將芯片植入大腦,以增強記憶、推動人腦和計算設備的直接連接。這就是所謂的“人類增強”(Human Intelligence,HI)。淺層次的研究是腦機單向,更深一層次的將是機腦雙向。目前,在做“強化”方向的就包括馬斯克創辦的Neuralink以及獲得1億美元投資的Kernel。
“恢復”方向主要是指可以針對多動症、中風、癲癇等疾病以及殘障人士做對應的恢復訓練,採取的主要方式是神經反饋訓練。這一方向在全球的一些醫院、診所、康復中心中已經得到廣泛應用,也有不少創業公司在做這方面的可穿戴設備。
具體來說,BCI技術可以幫助患者和用戶實現:
(1)與周圍環境進行交流:BCI機器人可以幫助殘疾人使用電腦、撥打電話等;
(2)控制周圍環境:BCI機器人可以幫助殘疾人或老年人控制輪椅、家庭電器開關等;
(3)運動康復:BCI康復機器人可以幫助殘疾人或失去運動能力的老年人進行主動康復訓練,BCI護理機器人可以從事基本護理工作,提高殘疾人或老年人的生活質量。
(4)重獲肢體能力:基於BCI機器人的義肢可成功幫助肢體殘疾的殘障人士重新獲得肢體控制的能力。
通過BrainCo開發的BCI假肢彈鋼琴的殘疾女孩
BrainCo團隊表示,其開發的智能假肢處於世界領先水平,可以完成多種複雜的日常操作,其中包括彈鋼琴。該產品上市後定價預計在兩萬人民幣以內,是目前主流智能假肢價格的二十分之一。
(5) 重獲缺失的感知能力:除了通過思維控制一些設備之外,未來甚至有望幫助部分喪失的感知能力的人群再次獲得感知能力,比如視覺、聽覺和觸覺等;此外,還可以將非人類感知能力轉變為人類感知能力,這其實是非常逆天的,比如對於超聲波的感知能力(就像從蝙蝠身上獲取這個能力一樣),再比如感知磁場等,就像擁有了超能力!
“強化”方向少的原因:第一是因為實現難度高;第二是因為市場還未被充分教育,思維範式在短期內難以改變,付費意願因技術能力不足而未達到臨界值,但軍用領域實際上已經有了不少的應用了,軍方也投入了大量資金。
最後,還值得補充的是“保健方向”,也就是冥想減壓,有創業公司推出腦波檢測頭環,幫助用戶通過實時音頻反饋來提升冥想效果。其實,在北美,冥想的市場是非常大的,這是一個絕對可以挖掘的細分市場。
2、娛樂
在娛樂方面,BCI技術的前景也是非常的廣闊,比如可以與虛擬現實技術結合,無需額外的外設操控設備,可以直接通過思維來控制遊戲種的角色,獲得更加沉浸式的遊戲體驗。目前,在這塊做得比較超前的公司是MindMaze,其融資總額已超1億美元。
3、教育
這個方向其實和醫療方向中的“恢復”方向會有些接近。教育科技是個千億級的市場,目前,腦機接口創業公司BrainCo就在做這一方向,主要是對學生注意力值的實時探測和訓練,既可以而幫助老師及時瞭解課堂情況改變教學情況,也能夠幫助學生提高注意力。
BrainCo針對教育市場的腦機產品
4、智能家居
智能家居是腦機接口與IoT(物聯網)跨領域結合的一大想象空間。在這一領域,腦機接口扮演的角色類似於“遙控器”,幫助人們用意念控制開關燈、開關門、開關窗簾等,進一步可以控制家庭服務機器人。
5、軍事
在軍事方面,BCI技術可以幫助軍人更好的操控無人機、無人車、機器人等設備,代替軍人或者特殊職業的人士從事各種危險的任務,以及在不適宜人工操作的環境中工作。也可以幫助軍人獲得能力上的增強,比如通過BCI控制外骨骼機器人提升單兵作戰能力。
根據第三方研究機構的測算,單純從腦機接口設備(EEG/EMG)的維度來看,市場規模在5年內將達到25億美元。如果從腦機接口將深度影響的數個科技領域來看,市場規模在5年內將達到數千億美元,其中包括:ADHD腦機接口反饋治療 460億美元,大腦檢測系統 120億美元,教育科技 2500億美元,遊戲產業 1200億美元。
總結來說,腦機接口作為一種全新的控制和交流方式,還可以應用到更廣闊的腦機融合領域,就是所謂的硅基生物和碳基生物的融合,打造超強人類,讓人腦進一步自然延伸。
腦機接口的發展對腦電的機理、腦認知、腦康復、信號處理、模式識別、芯片技術、計算技術等各個領域都提出了新的要求,人們也會大大加深對大腦的結構和功能的認識。
隨著技術的不斷完善和多學科融合的努力,腦機接口必將逐步應用於現實,造福人類。
八、腦機接口技術已成全球科技競爭戰略高地
鑑於未來腦機接口技術對社會發展所能夠帶來的強大的推力,目前,腦機接口技術已經成為了全球各國科技競爭的戰略高地。
美國早在1989年率先提出全國性的腦科學計劃,並把本世紀最後10年命名為“腦的10年”。白宮於2013年4月提出被認為可與人類基因組計劃相媲美的“腦計劃” ,旨在探索人類大腦工作機制、繪製腦活動全圖、推動神經科學研究、針對目前無法治癒的大腦疾病開發新療法。美國政府公佈“腦計劃(US BRAIN Initiative)”啟動資金逾1億美元,後經調整,計劃未來12年間共投入45億美元。
歐盟:1991年歐洲出臺“歐洲腦10年”計劃。2013年1月,歐盟委員會宣佈人腦工程入選“未來新興旗艦技術項目”,並設立專項研發計劃“人類大腦計劃(HBP)”,可在未來10年內(2013年至2023年)獲得10億歐元經費。該項目集合了來自不同領域的400多名研究人員。
日本:1996年,日本製定為期20年的“腦科學時代”計劃,計劃每年投資1000億日元,總投資達到2萬億日元。2014年9月,日本科學省也宣佈了自己“腦計劃”的首席科學家和組織模式。日本“腦計劃”側重於醫學領域,主要是以狨猴大腦為模型加快對人類大腦疾病如老年性痴呆和精神分裂症的研究。日本政府2015年關於“腦計劃”的預算約64億日元(約合6375萬美元)。
中國:“腦科學和類腦研究”已被列入“十三五”規劃綱要中的國家重大科技創新和工程項目。中科院於今年初成立包含20個院所80個精英實驗室的腦科學和智能技術卓越創新中心。對“中國腦計劃”,各領域科學家提出了“一體兩翼”的佈局建議:即以研究腦認知的神經原理為“主體”,研發腦重大疾病診治新手段和腦機智能新技術為“兩翼”。目標是在未來15年內,在腦科學、腦疾病早期診斷與干預、類腦智能器件三個前沿領域取得國際領先的成果。經粗略估算,我國對該領域的主要經費投入,從2010年的每年約3.48億,增長到2013年的每年近5億元人民幣。
可以看到,美國政府層面對於腦科學研究的推動較早,並且投入相對較大。而中國則起步較晚,投入也相對較少。
值得注意的是,去年11月,美國商務部工業安全署根據2018年國會通過的《出口管制改革法案(Export Control Reform Act)》要求,出臺了一份針對最新的14大類的關鍵技術和相關產品的出口管制框架。
而這14項被美國出口管制的技術當中就包括了“腦機接口技術”:(i) 神經控制界面;(ii) 意識-機器界面;(iii) 直接神經界面;(iv) 腦機接口。足見美國對於“腦機接口技術”的重視。
九、全球10大最受關注的腦機接口公司
根據第三方研究機構對於目前的腦機接口公司,通過對於公司的技術、團隊/合作伙伴、發展計劃、產品、融資情況這五個維度,評出了世界十大最受關注腦機接口公司。
其中,Neuralink和Kernel專注於腦科學應用,瞄準了人類智能(HI)這一方向。這兩家再加上專注醫療健康的BrainGate,在腦電信號採集上都採用的是侵入式技術,其餘7家均採用非侵入式技術。
在非侵入式的7家中,g·tec、BrainMaster這兩家專注於研發高精度的腦電測量設備,產品是針對臨床和科研級別的。
而非侵入式中剩餘5家更偏向於消費級腦機接口產品。其中,NeuroSky、InteraXon(Muse)和Emotiv主要在做針對於冥想、遊戲等需求的移動可穿戴EEG設備,這些公司往往也有配套的APP和SDK提供給用戶和開發者。而在瑞士的MindMaze則致力於將VR/AR和腦機接口結合,切入醫療健康和遊戲這兩大領域。而位於BrainCo則最先從教育領域切入,同時也涉足醫療及遊戲領域。
Top10最受關注腦機接口公司中,有7家來自美國,另外3家分別來自瑞士、加拿大、奧地利,融資情況和簡介見下圖:
這裡需要指出的是,排名第六的BrainCo公司創始人韓璧丞於2017年回國成立了北京強腦科技有限公司,並在北京和深圳組建了腦機接口的研發和銷售團隊。
十、腦機接口科研力量分佈
根據全球各大科研院所在腦機接口領域研究成果產出量及影響力,我們選出了這20家科研院所,供你參考學習:
當然,除了這20大科研院所外,還有美國國防高級研究計劃局DARPA及Facebook的Building 8等課題組在從事腦機接口方面的研究。
十一、腦機接口技術面臨的挑戰
腦機接口技術是一門新興的研究領域,涉及計算機科學、神經科學、心理認知科學、生物醫學工程、數學、信號處理、臨床醫學、自動控制等多個領域,仍有大量的問題尚待解決,目前主要存在以下問題:
1、數量龐大且複雜的神經元
腦機接口可以有很多不同的種類,用於提供各種多種功能。但是每個研究腦機接口的人都在努力解決下面的兩個問題:如何從大腦中輸出正確的信息?如何將正確的信息輸入到大腦?
第一個問題是關於如何捕捉大腦的輸出——也就是記錄神經元說的東西。
第二個問題則是關於如何將信息輸入到大腦的自然信息流,或以其他方式改變這個自然信息流——也就是如何刺激神經元。
這兩件事情一直在你的大腦自然地發生。你在看這句話時,你的眼睛正在做出一系列特定的水平動作。這是大腦神經元將信息輸出到一臺機器(你的雙眼),機器接收命令並作出響應。
當你的雙眼以正確的方式移動時,屏幕發射的光子會進入你的視網膜,刺激皮質枕葉中的神經元,讓這些文字的圖像進入你的思維。然後這幅圖像會刺激大腦另一部分的神經元,讓你能夠處理圖像中包含的信息,並吸收句子的意思。
輸入及輸出信息是大腦神經元的工作。腦機接口產業想做的就是介入到這個過程當中。
乍看之下,這項任務似乎也沒有那麼困難?反正大腦只是一個果凍球,對吧?至於皮質——我們主要進行記錄和刺激的大腦部位——它也只是一塊餐巾,而且它還位於大腦外層,研究起來非常方便。
皮質裡面有大約 200 億個活躍的神經元——相當於200 億個黏糊糊的晶體管,如果我們能學會它們的工作原理,我們就可以在前所未有的高度上掌控我們的思維世界。但是,事實上這是非常困難的。
整個大腦皮質的體積大約為50萬立方毫米,在這個空間裡大約有 200 億個神經元細胞體。這意味著每立方毫米的皮質平均含有約 4 萬個神經元。但是神經元細胞體只是神經元的一小部分結構,每個細胞體會伸出許多扭曲分岔的樹突,而從神經元細胞體另一端伸出來的長長的軸突。而神經元因其功能種類在人體位置不同,整個神經元軸突的長度,可以從幾微米到1米多不等。這裡的每根神經元的軸突的厚度只有1毫米左右,所以它們在皮質裡面就像是一團密密麻麻的帶電的“意大利麵”。
▲人類連接組計劃(Human Connectome Project)成果:大腦中功能接近的軸突所以形成的「綵帶」圖案,它們通常位於白質之中。
然而更復雜的是,每個立方毫米的皮質層裡的4萬個神經元伸出來的無數根“意大利麵”,還有很多來自皮質其他部位的意大利麵會穿過這個1立法毫米的區域。
這就意味著,如果我們要在這個1立方毫米的空間中記錄信號或者刺激神經元,我們肯定會遇到很多麻煩,因為在這團亂七八糟的“意大利麵”之中,我們很難找出哪些“意大利麵”是屬於我們刺激的神經元細胞體的(而且還沒有算上混雜在其中的大量浦肯野細胞)。
當然,我們還要考慮神經可塑性的問題。每個神經元的電壓都是不斷變化的,這個變化頻率可以達到每秒數百次。而且這個立方體裡面的數千萬個突觸連接會經常改變大小,消失,然後重新出現。
但是這還不算完。
事實上大腦裡面還有一種叫做膠質細胞(glial cell)的東西,這種細胞有許多不同的變種,分別負責不同的功能,比如清掃釋放到突觸內的化學物質,用髓鞘包裹軸突,以及作為大腦的免疫系統。下面是一些常見的神經膠質細胞種類:
皮質裡面有多少膠質細胞呢?它們跟神經元的數量差不多。所以我們還要在立方體里加上 4 萬個這類奇形怪狀的東西。(注:科學界曾經認為,大腦中膠質細胞的數量可以達到神經元數量的 10 倍,但是最近的研究表明它們的數量其實沒有那麼多)
最後還有血管。每立方毫米的皮質裡面的毛細血管加起來的總長度可以達到一米,如果放在我們一立方米的模型,這裡面就有總共一公里長的血管。
BCI技術工程師們如果要做到對於大腦信號進行極為精準的捕捉或反饋,就需要在這一立方毫米區域裡面捕捉特定的一些神經元細胞體發出的信號,或者刺激某些特定的細胞體發出工程師需要的信號。足見其難度之高。
2、腦機接口的摩爾定律
根據統計數據顯示,以目前BCI技術以平均7.4年才能使可同時記錄的神經元數量翻倍的速度計算,要達到同時記錄100萬個神經元需要等到2100年,而要記錄人腦中的所有神經元,則要等到2225年。
一、前言
通過在腦後插入一根線纜,我們就能夠暢遊計算機世界;只需一個意念我們就能改變“現實”;學習知識不再需要通過書本、視頻等媒介,也不需要在花費大量的時間,只需直接將知識傳輸到大腦當中即可。這是1999年上映的經典科幻片《黑客帝國》當中,為我們描繪的畫面。這並非是天馬行空的幻想,而是基於早已有之的“腦機接口”技術的的合理設想。
7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人向人腦中植入數十根直徑只有4-6微米的“線”以及專有技術芯片和信息條,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
Neuralink的最新技術成果的公佈,也徹底引爆了外界對於“腦機接口”技術的關注。
而除了Neuralink的“侵入式”腦機接口技術之外,“非侵入式”腦機接口技術也迎來了新的突破。7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
毫無疑問,腦機接口技術將是未來推動社會發展的一項極為重要的關鍵技術。但是腦機接口技術並不現在才有的,在此之前已經發展了數十年的時間。正如Neralink總裁Max Hodak在當天發佈會上所說,“Neuralink並不是憑空產生,在這以前的學術研究已經有了很長的歷史,從很大意義上來說,我們是站在了巨人的肩膀上。”
二、關於人的大腦
在介紹腦機接口之前,我們非常有必要來了解一下人的大腦。
人類頭部最外層是頭髮,頭髮下面是頭皮,然後你以為接下來就到顱骨了——但其實中間還有大概 19 層東西才到顱骨。
在你的顱骨和大腦之間,又有這樣一堆的東西(如下圖),在顱骨下面,大腦被三層薄膜包裹著,它們分別是硬腦膜、蛛網膜、軟腦膜。
作為整個大腦最重要的部位,大腦的皮質層幾乎無所不能——它負責處理聽覺、視覺及感覺信息,同時還掌管著語言、運動、思考、計劃、性格等諸多方面。
整個大腦皮質層每個部位所做的東西都很多,而且彼此之間存在大量重疊的功能,不過我們可以簡單概括為如下這張圖:
所以不同類型的腦機接口需要獲取不同區域的大腦皮質層發出的信號。
三、什麼是腦機接口技術?
腦機接口(Brain-Computer Interface, BCI):它是在人或動物腦(或者腦細胞的培養物)與計算機或其他電子設備之間建立的不依賴於常規大腦信息輸出通路(外周神經和肌肉組織)的一種全新通訊和控制技術。
圖片來源:www.engineering.com
在該定義中,“腦”意指有機生命形式的腦或神經系統,而並非僅僅是“mind”(抽象的心智)。“機”意指任何處理或計算的設備,其形式可以從簡單電路到硅芯片到外部設備和輪椅。“接口” = “用於信息交換的中介物”。
“腦機接口”的定義=“腦”+機“+”接口”。即,在人或動物腦(或者腦細胞的培養物)與外部設備間創建的用於信息交換的連接通路。
腦機接口作為當前神經工程領域中最活躍的研究方向之一,在生物醫學、神經康復和智能機器人等領域具有重要的研究意義和巨大的應用潛力,近10年來,腦機接口技術得到了長足的進步和飛速的發展,應用領域也在逐漸擴大。
四、腦機接口技術的實現
腦機接口技術是通過信號採集設備從大腦皮層採集腦電信號經過放大、濾波、A/D轉換等處理轉換為可以被計算機識別的信號,然後對信號進行預處理,提取特徵信號,再利用這些特徵進行模式識別,最後轉化為控制外部設備的具體指令,實現對外部設備的控制。
一個典型的腦機接口系統主要包含4個組成部分:信號採集部分、信號處理部分、控制設備部分和反饋環節。其中,信號處理部分包括預處理、特徵提取、特徵分類3個環節。
圖片來源:www.engineering.com
1、信息採集
從目前的研究水平來看,我們在評估某種信息採集手段優劣時需要考慮三個方面的標準:
規模——可以記錄多少神經元。
分辨率——這個工具接收到的信息的細緻程度。這裡所說的分辨度可以分成兩種:空間上的分辨率(能否細緻記錄單個神經元的觸發情況)和時間上的分辨率(能否確定你所記錄的活動的確切發生時間)。
侵入性——是否需要手術?如果需要,手術的影響範圍有多大?
而腦機接口的分類,則通常是根據“侵入性”被分為:非侵入式(腦外)、侵入式和半侵入式。
(如上圖,不同的接口類型所獲得的信號強度有很大差異)
非侵入式:是指無需通過侵入大腦,只需通過附著在頭皮上的穿戴設備來對大腦信息進行記錄何解讀。這種技術雖然避免了昂貴和危險的手術,但是由於顱骨對於大腦信號的衰減作用,以及對於神經元發出的電磁波的分散和模糊效應,使得記錄到的信號強度和分辨率並不高,很難確定發出信號的腦區或者相關的單個神經元的放電。
侵入式:是指通過手術等方式直接將電極植入到大腦皮層,這樣可以獲得高質量的神經信號,但是卻存在著較高的安全風險和成本。另外,由於異物侵入,可能會引發免疫反應和愈傷組織(疤痕組織),導致電極信號質量衰退甚至是消失。另外傷口也易出現難以癒合及炎症反應。
半侵入式:即將腦機接口植入到顱腔內,但是在大腦皮層之外。主要基於皮層腦電圖(ECoG)進行信息分析。雖然其獲得的信號強度及分辨率弱於侵入式,但是卻優於非侵入式,同時可以進一步降低免疫反應和愈傷組織的機率。
典型的非侵入式系統有腦電圖(EGG),腦電圖是有潛力的非侵入式腦機接口的主要信息分析技術之一,這主要是因為該技術良好的時間分辨率、易用性、便攜性和相對低廉的價格。
(腦電圖設備 圖片來源:www.engineering.com)
但是,腦電圖技術的一個問題是它對噪聲的敏感;另一個使用EEG作為腦機接口的現實障礙是用戶在工作之前要進行大量的訓練。
2、信息分析
收集好了足夠多的信息後,就要進行信號的解碼和再編碼以處理干擾。腦電信號採集過程中的干擾有很多,如工頻干擾、眼動偽跡、環境中的其他電磁干擾等。
分析模型是信息解碼環節的關鍵,根據採集方式的不同,一般會有腦電圖(EGG),皮層腦電圖(ECoG)等模型可以協助分析。
信號處理、分析及特徵提取的方法包括去噪濾波、P300信號分析、小波分析+奇異值分解等。
3、再編碼
將分析後的信息進行編碼,如何編碼取決於希望做成的事情。比如控制機械臂拿起咖啡杯給自己喝咖啡,就需要編碼成機械臂的運動信號,在複雜三維環境中準確控制物體的移動軌跡及力量控制都非常的複雜。
但編碼形式也可以多種多樣,這也是腦機接口可以幾乎和任何工科學科去結合的原因。最複雜的情況包括輸出到其他生物體上,比如小白鼠身上,控制它的行為方式。
4、反饋
獲得環境反饋信息後再作用於大腦也非常複雜。人類通過感知能力感受環境並且傳遞給大腦進行反饋,感知包括視覺、觸覺、聽覺、嗅覺和味覺等等。
腦機接口要實現這一步其實是非常複雜的,包括多模態感知的混合解析也是難點,因為反饋給大腦的過程可能不兼容。
五、基於EEG的腦機接口研究方法
人和動物的大腦,特別是皮層細胞,存在著頻繁的自發電活動,無需任何外界刺激。從腦電極記錄到的電位是對腦部大量神經元活動的反應,低至微伏級,這種電活動的電位隨時間的波動稱為腦電波(EEG) 。
EEG反應了大腦組織的電活動及大腦的功能狀態,腦的複雜活動反應在頭皮上的電位活動就是EEG軌跡 。所以理論上,人的意圖通過腦電應該可以被探測識別出來。
BCI的先驅曾經指出“在理論上,腦的感覺、運動及認知意識在自發EEG中應該是可辨識的”,因此EEG成為BCI研究中的常見工具。BCI技術就是要通過識別這種意圖,將之表達為對外部設備的直接控制。
由於腦電信號的本質還未知,難以確定一種特定的信號識別方法。假設腦電信號是線性的,那麼大多數BCI使用的線性識別方法足以應用。反之,則線性識別算法對於希望被識別的信號可能是最糟糕的描述。但無論何種情況,BCI技術的首要任務就是從EEG中識別出人的主觀操作意識,並將之表達為對外部設備的直接控制。同樣的道理,基於皮層腦電圖(ECoG)的信息分析也與之類似。
1、腦機接口研究中所使用的腦神經信號
(1)P300 (誘發電位)
P300是一種事件相關電位(ERP),在時間相關刺激300~400ms後出現的正電位,主要位於中央皮層區域,其峰值大約出現在時間發生後300ms,相關事件發生的概率越小,所引起的P300越顯著。基於P300的BCI的優點是P300屬於內部相應,使用者無需通過訓練就可產生P300。
(2)視覺誘發電位(誘發電位)
視覺誘發電位是指從視覺通路的不同水平區域記錄的不同生物電反應,其誘發刺激可以是熒光、閃光刺激。視覺誘發電位又可以分成短時視覺誘發電位和穩態視覺誘發電位兩種。
(3)時間相關同步或時間相關去同步電位(自發腦電)
單邊的肢體運動或想象運動,大腦同側產生事件相關同步電位( ERS) ,大腦對側產生時間相關去同步電位( ERD)。ERS、ERD是與運動相關的,主要位於感覺運動皮層。
(4)皮層慢電位(自發腦電)
皮層慢電位也稱慢波電位( Slow Cortical Poten2tials, SCPs) ,是皮層電位的變化,是腦電信號中從300 ms持續到幾秒鐘的大的負電位或正電位,能反應皮層Ⅰ和Ⅱ層的興奮性,個人可以通過生物反饋訓練產生這種電位。
(5)自發腦電信號(自發腦電)
在不同的知覺意識下,人們腦電中的不同節律呈現出各異的活動狀態。這些節律是受不同動作或思想的影響。按照所在頻段的不同分類,一般採用希臘字母(α、β、γ、δ)來表示不同的自發EEG信號節律。比如α節律在8~13 Hz頻段,而β節律則在13~22 Hz頻段。
採用以上幾種腦電信號作為BCI輸入信號,具有各自的特點和侷限。P300和視覺誘發電位都屬於誘發電位,不需要進行訓練,其信號檢測和處理方法較簡單且正確率高。不足之處是需要額外的刺激裝置提供刺激,並且依賴於人的某種知覺(如視覺) 。其它幾類信號的優點是可以不依賴外部刺激就可以產生,但需要大量的特殊訓練。
2、特徵提取和轉換方法
特徵提取涉及如何從EEG中提取少量的有用的信息,分別利用這些信息進行不同腦狀態的區分。常用的特徵提取的算法如::FFT ( Fast Fourier Transform Algorithm)、相關性分析、AR (Auto Regression)、參數估計、CSP ( Common Spatial Patterns)、Butter2worth低通濾波、遺傳算法等。算法的選擇與所利用的信號特徵及電極位置有關。
信號處理的目標是最終從信號中識別出使用者的意圖並執行,系統的首要任務就是最大化。信噪比,尤其是當噪聲和信號極為相似的時候就顯得更為重要。提高信噪比的技術有很多,具體有空間及時間濾波方法、信號平均以及單次識別方法。BCI轉換算法把信號特徵(如節律幅值或神經元放電率)轉換為具體的控制命令。
六、腦機接口技術發展簡史
1924年,德國精神科醫生漢斯·貝格爾發現了腦電波。至此,人們發現意識是可以轉化成電子信號被讀取的。在此之後,針對BCI技術的研究開始出現。
不過,直到20世紀60年代末、70年代左右,BCI技術才真正開始成形。
1969 年,研究員埃伯哈德·費茲(Eberhard Fetz)將猴子大腦中的一個神經元連接到了放在它面前的一個儀表盤。當神經元被觸發的時候,儀表盤的指針會轉動。如果猴子可以通過某種思考方式觸發該神經元,並讓儀表盤的指針轉動,它就能得到一顆香蕉味的丸子作為獎勵。漸漸地,猴子變得越來越擅長這個遊戲,因為它想吃到更多的香蕉丸子。這隻猴子學會了控制神經元的觸發,並在偶然之下成為了第一個真正的腦機接口被試對象。
1970年,美國國防高級研究計劃局(DARPA)開始組建團隊研究腦機接口技術。
1978年,視覺腦機接口方面的先驅William Dobelle在一位男性盲人Jerry的視覺皮層植入了68個電極的陣列,併成功製造了光幻視(Phosphene)。該腦機接口系統包括一個採集視頻的攝像機,信號處理裝置和受驅動的皮層刺激電極。植入後,病人可以在有限的視野內看到灰度調製的低分辨率、低刷新率點陣圖像。該視覺假體系統是便攜式的,且病人可以在不受醫師和技師幫助的條件下獨立使用。
BCI技術的另一個發展高潮集中在20世紀90年代末21世紀初。
1998年,“運動神經假體”的腦際接口方面的專家,Emory大學的Philip Kennedy和Roy Bakay在患有腦幹中風導致的鎖閉綜合症的病人Johnny Ray腦中植入了可獲取足夠高質量的神經信號來模擬運動的侵入性腦際接口,成功幫助Ray通過該腦機接口實現了對於電腦光標的控制。
同樣是在1998年,在John Donoghue教授的帶領下,布朗大學的科學家團隊開發出可以將電腦芯片和人腦連接的技術,使人腦能對其他設備進行遠程控制。這項技術要求進行腦部手術,然後用電線將人腦和大型主機相連,研究人員稱這項技術為BrainGate。
隨後,在1999年和2002年的兩次BCI國際會議的召開,也為BCI技術的發展指明瞭方向。
2005年,Cyberkinetics公司獲得美國FDA批准,在九位病人進行了第一期的運動皮層腦機接口臨床試驗。四肢癱瘓的Matt Nagle成為了第一位用侵入式腦機接口來控制機械臂的病人,他能夠通過運動意圖來完成機械臂控制、電腦光標控制等任務。其植入物位於前中回的運動皮層對應手臂和手部的區域。該植入稱為BrainGate,是包含96個電極的陣列。
2009年,美國南加州大學的Theodore Berger小組研製出能夠模擬海馬體功能的神經芯片。該小組的這種神經芯片植入大鼠腦內,使其稱為第一種高級腦功能假體。
2012年巴西世界盃——機器戰甲,身著機器戰甲的截肢殘疾者,憑藉腦機接口和機械外骨骼開出了一球。
2014年,華盛頓大學的研究員通過網絡傳輸腦電信號實現直接“腦對腦”交流。
2016年8月,8名癱瘓多年的脊髓損傷患者,通過不斷訓練,借用腦機接口控制仿生外骨骼,利用VR技術解決觸覺的反饋問題,他們的下肢的肌肉功能和感知功能得到部分恢復。
2016年9月,斯坦福大學神經修復植入體實驗室的研究者們往兩隻猴子大腦內植入了腦機接口,通過訓練,其中一隻猴子創造了新的大腦控制打字的記錄——1分鐘內打出了12個單詞,即莎士比亞的經典臺詞“To be or not to be.That is the question”。
2016年10月,世界第一屆Cybathlon半機械人運動會在瑞士蘇黎世正式拉開帷幕,來自21個國家、一共50支隊伍的殘疾人運動員在輔助設備的幫助下參加比賽。賽事共分為6個比賽項目:動力假肢競賽(上肢和下肢)、外骨骼驅動競賽、功能性電刺激自行車賽、輪椅競賽、腦機交互競賽。
2016年10月13日,癱瘓男子Nathan Copeland利用意念控制的機械手臂和美國總統奧巴馬“握手”,此舉意味著完全癱瘓病人首次恢復了知覺。
2016年11月,荷蘭烏特勒支大學醫學院神經科學家和首席研究員Nick Ramsay 成功一名肌萎縮側索硬化(ALS)的閉鎖綜合徵女患者de Bruijne將腦機接口技術從實驗室帶入了家庭環境中,無需醫療人員協助也能與他人進行思想交流。腦機接口植入28周後,de Bruijne已經能夠準確和獨立地控制一個計算機打字程序,差不多一分鐘可以打出 2 個字母,準確率達到95%。
2016年12月,美國明尼蘇達大學的Bin He與他的團隊取得一項重大突破,讓普通人在沒有植入大腦電極的情況下,只憑借“意念”,在複雜的三維空間內實現物體控制,包括操縱機器臂抓取、放置物體和控制飛行器飛行。經過訓練,試驗者利用意識抓取物體的成功率在80%以上,把物體放回貨架上的成功率超過70%。該研究成果有望幫助上百萬的殘疾人和神經性疾病患者。
2017年2月,斯坦福大學電氣工程教授KrishnaShenoy和神經外科教授JaimieHenderson發表論文宣佈他們成功讓三名受試癱瘓者通過簡單的想象精準地控制電腦屏幕的光標,這三名癱瘓患者成功通過想象在電腦屏幕上輸入了他們想說的話,其中一名患者可以在1分鐘之內平均輸入39個字母。
2017年4月,Facebook在F8大會上宣佈了“意念打字”的項目,希望未來能通過腦電波每分鐘打100個字,比手動打字快5倍。專業人士稱,Facebook的“意念打字”是掃描大腦海馬體里語言這塊的信息,記錄說話之前和說話過程中細胞裡的變化。從透露的信息獲知,他們嘗試通過血液的溫度信息來做判斷。
2018年9月,美國軍事研究機構——國防部高級研究計劃局(DARPA)公佈了一個2015年啟動的項目,這個項目研發的新技術能夠賦予飛行員藉助思維同時操控多架飛機和無人機的能力。據DARPA生物技術辦公室的負責人Justin Sanchez稱:“目前大腦信號已經能夠用於下達命令,並且同時操控三種類型的飛機。”
2018年11月,BrainGate聯盟發表了一項最新研究成果,在名為“BrainGate2”的臨床試驗中,三名癱患者可以在新型腦機接口芯片的幫助下,利用“意念”自主操作平板電腦,並操作多種應用程序。
2019年4月,加州大學舊金山分校(UCSF)的神經外科學家Edward Chang教授與其同事開發出一種解碼器,可以將人腦神經信號轉化為語音,為幫助無法說話的患者實現發聲交流完成了有力的概念驗證。
2019年7月17日,Space X及特斯拉創始人埃隆·馬斯克召開發佈會,宣佈成立兩年的腦機接口(BCI)公司Neuralink的腦機接口技術獲重大突破,他們已經找到了高效實現腦機接口的方法。這實際上是一套腦機接口系統:利用一臺神經手術機器人在腦部28平方毫米的面積上,植入96根直徑只有4-6微米的“線”,總共包含3072個電極,然後可以直接通過USB-C接口讀取大腦信號。與以前的技術相比,新技術對大腦的損傷更小,傳輸的數據也更多。
2019年7月30日,Facebook一直資助的加州大學舊金山分校(UCSF)的腦機接口技術研究團隊,首次證明可以從大腦活動中提取人類說出某個詞彙的深層含義,並將提取內容迅速轉換成文本。
七、腦機接口技術的應用與市場前景
腦機接口(BCI)技術的應用前景非常的廣闊,比如可以幫助人們直接通過思維來控制基於BCI接口的機器人,從事各種工作。腦機接口機器人不僅在殘疾人康復、老年人護理等醫療領域具有顯著的優勢,而且在教育、軍事、娛樂、智能家居等方面也具有廣闊的應用前景。
1、醫療健康
醫療方向主要分為兩個方向,分別是“強化”和“恢復”,這兩個方向都有著極其遠大的“錢景”,尤其是強化方向。現階段以恢復類為主,因為更易實現。
“強化”方向主要是指將芯片植入大腦,以增強記憶、推動人腦和計算設備的直接連接。這就是所謂的“人類增強”(Human Intelligence,HI)。淺層次的研究是腦機單向,更深一層次的將是機腦雙向。目前,在做“強化”方向的就包括馬斯克創辦的Neuralink以及獲得1億美元投資的Kernel。
“恢復”方向主要是指可以針對多動症、中風、癲癇等疾病以及殘障人士做對應的恢復訓練,採取的主要方式是神經反饋訓練。這一方向在全球的一些醫院、診所、康復中心中已經得到廣泛應用,也有不少創業公司在做這方面的可穿戴設備。
具體來說,BCI技術可以幫助患者和用戶實現:
(1)與周圍環境進行交流:BCI機器人可以幫助殘疾人使用電腦、撥打電話等;
(2)控制周圍環境:BCI機器人可以幫助殘疾人或老年人控制輪椅、家庭電器開關等;
(3)運動康復:BCI康復機器人可以幫助殘疾人或失去運動能力的老年人進行主動康復訓練,BCI護理機器人可以從事基本護理工作,提高殘疾人或老年人的生活質量。
(4)重獲肢體能力:基於BCI機器人的義肢可成功幫助肢體殘疾的殘障人士重新獲得肢體控制的能力。
通過BrainCo開發的BCI假肢彈鋼琴的殘疾女孩
BrainCo團隊表示,其開發的智能假肢處於世界領先水平,可以完成多種複雜的日常操作,其中包括彈鋼琴。該產品上市後定價預計在兩萬人民幣以內,是目前主流智能假肢價格的二十分之一。
(5) 重獲缺失的感知能力:除了通過思維控制一些設備之外,未來甚至有望幫助部分喪失的感知能力的人群再次獲得感知能力,比如視覺、聽覺和觸覺等;此外,還可以將非人類感知能力轉變為人類感知能力,這其實是非常逆天的,比如對於超聲波的感知能力(就像從蝙蝠身上獲取這個能力一樣),再比如感知磁場等,就像擁有了超能力!
“強化”方向少的原因:第一是因為實現難度高;第二是因為市場還未被充分教育,思維範式在短期內難以改變,付費意願因技術能力不足而未達到臨界值,但軍用領域實際上已經有了不少的應用了,軍方也投入了大量資金。
最後,還值得補充的是“保健方向”,也就是冥想減壓,有創業公司推出腦波檢測頭環,幫助用戶通過實時音頻反饋來提升冥想效果。其實,在北美,冥想的市場是非常大的,這是一個絕對可以挖掘的細分市場。
2、娛樂
在娛樂方面,BCI技術的前景也是非常的廣闊,比如可以與虛擬現實技術結合,無需額外的外設操控設備,可以直接通過思維來控制遊戲種的角色,獲得更加沉浸式的遊戲體驗。目前,在這塊做得比較超前的公司是MindMaze,其融資總額已超1億美元。
3、教育
這個方向其實和醫療方向中的“恢復”方向會有些接近。教育科技是個千億級的市場,目前,腦機接口創業公司BrainCo就在做這一方向,主要是對學生注意力值的實時探測和訓練,既可以而幫助老師及時瞭解課堂情況改變教學情況,也能夠幫助學生提高注意力。
BrainCo針對教育市場的腦機產品
4、智能家居
智能家居是腦機接口與IoT(物聯網)跨領域結合的一大想象空間。在這一領域,腦機接口扮演的角色類似於“遙控器”,幫助人們用意念控制開關燈、開關門、開關窗簾等,進一步可以控制家庭服務機器人。
5、軍事
在軍事方面,BCI技術可以幫助軍人更好的操控無人機、無人車、機器人等設備,代替軍人或者特殊職業的人士從事各種危險的任務,以及在不適宜人工操作的環境中工作。也可以幫助軍人獲得能力上的增強,比如通過BCI控制外骨骼機器人提升單兵作戰能力。
根據第三方研究機構的測算,單純從腦機接口設備(EEG/EMG)的維度來看,市場規模在5年內將達到25億美元。如果從腦機接口將深度影響的數個科技領域來看,市場規模在5年內將達到數千億美元,其中包括:ADHD腦機接口反饋治療 460億美元,大腦檢測系統 120億美元,教育科技 2500億美元,遊戲產業 1200億美元。
總結來說,腦機接口作為一種全新的控制和交流方式,還可以應用到更廣闊的腦機融合領域,就是所謂的硅基生物和碳基生物的融合,打造超強人類,讓人腦進一步自然延伸。
腦機接口的發展對腦電的機理、腦認知、腦康復、信號處理、模式識別、芯片技術、計算技術等各個領域都提出了新的要求,人們也會大大加深對大腦的結構和功能的認識。
隨著技術的不斷完善和多學科融合的努力,腦機接口必將逐步應用於現實,造福人類。
八、腦機接口技術已成全球科技競爭戰略高地
鑑於未來腦機接口技術對社會發展所能夠帶來的強大的推力,目前,腦機接口技術已經成為了全球各國科技競爭的戰略高地。
美國早在1989年率先提出全國性的腦科學計劃,並把本世紀最後10年命名為“腦的10年”。白宮於2013年4月提出被認為可與人類基因組計劃相媲美的“腦計劃” ,旨在探索人類大腦工作機制、繪製腦活動全圖、推動神經科學研究、針對目前無法治癒的大腦疾病開發新療法。美國政府公佈“腦計劃(US BRAIN Initiative)”啟動資金逾1億美元,後經調整,計劃未來12年間共投入45億美元。
歐盟:1991年歐洲出臺“歐洲腦10年”計劃。2013年1月,歐盟委員會宣佈人腦工程入選“未來新興旗艦技術項目”,並設立專項研發計劃“人類大腦計劃(HBP)”,可在未來10年內(2013年至2023年)獲得10億歐元經費。該項目集合了來自不同領域的400多名研究人員。
日本:1996年,日本製定為期20年的“腦科學時代”計劃,計劃每年投資1000億日元,總投資達到2萬億日元。2014年9月,日本科學省也宣佈了自己“腦計劃”的首席科學家和組織模式。日本“腦計劃”側重於醫學領域,主要是以狨猴大腦為模型加快對人類大腦疾病如老年性痴呆和精神分裂症的研究。日本政府2015年關於“腦計劃”的預算約64億日元(約合6375萬美元)。
中國:“腦科學和類腦研究”已被列入“十三五”規劃綱要中的國家重大科技創新和工程項目。中科院於今年初成立包含20個院所80個精英實驗室的腦科學和智能技術卓越創新中心。對“中國腦計劃”,各領域科學家提出了“一體兩翼”的佈局建議:即以研究腦認知的神經原理為“主體”,研發腦重大疾病診治新手段和腦機智能新技術為“兩翼”。目標是在未來15年內,在腦科學、腦疾病早期診斷與干預、類腦智能器件三個前沿領域取得國際領先的成果。經粗略估算,我國對該領域的主要經費投入,從2010年的每年約3.48億,增長到2013年的每年近5億元人民幣。
可以看到,美國政府層面對於腦科學研究的推動較早,並且投入相對較大。而中國則起步較晚,投入也相對較少。
值得注意的是,去年11月,美國商務部工業安全署根據2018年國會通過的《出口管制改革法案(Export Control Reform Act)》要求,出臺了一份針對最新的14大類的關鍵技術和相關產品的出口管制框架。
而這14項被美國出口管制的技術當中就包括了“腦機接口技術”:(i) 神經控制界面;(ii) 意識-機器界面;(iii) 直接神經界面;(iv) 腦機接口。足見美國對於“腦機接口技術”的重視。
九、全球10大最受關注的腦機接口公司
根據第三方研究機構對於目前的腦機接口公司,通過對於公司的技術、團隊/合作伙伴、發展計劃、產品、融資情況這五個維度,評出了世界十大最受關注腦機接口公司。
其中,Neuralink和Kernel專注於腦科學應用,瞄準了人類智能(HI)這一方向。這兩家再加上專注醫療健康的BrainGate,在腦電信號採集上都採用的是侵入式技術,其餘7家均採用非侵入式技術。
在非侵入式的7家中,g·tec、BrainMaster這兩家專注於研發高精度的腦電測量設備,產品是針對臨床和科研級別的。
而非侵入式中剩餘5家更偏向於消費級腦機接口產品。其中,NeuroSky、InteraXon(Muse)和Emotiv主要在做針對於冥想、遊戲等需求的移動可穿戴EEG設備,這些公司往往也有配套的APP和SDK提供給用戶和開發者。而在瑞士的MindMaze則致力於將VR/AR和腦機接口結合,切入醫療健康和遊戲這兩大領域。而位於BrainCo則最先從教育領域切入,同時也涉足醫療及遊戲領域。
Top10最受關注腦機接口公司中,有7家來自美國,另外3家分別來自瑞士、加拿大、奧地利,融資情況和簡介見下圖:
這裡需要指出的是,排名第六的BrainCo公司創始人韓璧丞於2017年回國成立了北京強腦科技有限公司,並在北京和深圳組建了腦機接口的研發和銷售團隊。
十、腦機接口科研力量分佈
根據全球各大科研院所在腦機接口領域研究成果產出量及影響力,我們選出了這20家科研院所,供你參考學習:
當然,除了這20大科研院所外,還有美國國防高級研究計劃局DARPA及Facebook的Building 8等課題組在從事腦機接口方面的研究。
十一、腦機接口技術面臨的挑戰
腦機接口技術是一門新興的研究領域,涉及計算機科學、神經科學、心理認知科學、生物醫學工程、數學、信號處理、臨床醫學、自動控制等多個領域,仍有大量的問題尚待解決,目前主要存在以下問題:
1、數量龐大且複雜的神經元
腦機接口可以有很多不同的種類,用於提供各種多種功能。但是每個研究腦機接口的人都在努力解決下面的兩個問題:如何從大腦中輸出正確的信息?如何將正確的信息輸入到大腦?
第一個問題是關於如何捕捉大腦的輸出——也就是記錄神經元說的東西。
第二個問題則是關於如何將信息輸入到大腦的自然信息流,或以其他方式改變這個自然信息流——也就是如何刺激神經元。
這兩件事情一直在你的大腦自然地發生。你在看這句話時,你的眼睛正在做出一系列特定的水平動作。這是大腦神經元將信息輸出到一臺機器(你的雙眼),機器接收命令並作出響應。
當你的雙眼以正確的方式移動時,屏幕發射的光子會進入你的視網膜,刺激皮質枕葉中的神經元,讓這些文字的圖像進入你的思維。然後這幅圖像會刺激大腦另一部分的神經元,讓你能夠處理圖像中包含的信息,並吸收句子的意思。
輸入及輸出信息是大腦神經元的工作。腦機接口產業想做的就是介入到這個過程當中。
乍看之下,這項任務似乎也沒有那麼困難?反正大腦只是一個果凍球,對吧?至於皮質——我們主要進行記錄和刺激的大腦部位——它也只是一塊餐巾,而且它還位於大腦外層,研究起來非常方便。
皮質裡面有大約 200 億個活躍的神經元——相當於200 億個黏糊糊的晶體管,如果我們能學會它們的工作原理,我們就可以在前所未有的高度上掌控我們的思維世界。但是,事實上這是非常困難的。
整個大腦皮質的體積大約為50萬立方毫米,在這個空間裡大約有 200 億個神經元細胞體。這意味著每立方毫米的皮質平均含有約 4 萬個神經元。但是神經元細胞體只是神經元的一小部分結構,每個細胞體會伸出許多扭曲分岔的樹突,而從神經元細胞體另一端伸出來的長長的軸突。而神經元因其功能種類在人體位置不同,整個神經元軸突的長度,可以從幾微米到1米多不等。這裡的每根神經元的軸突的厚度只有1毫米左右,所以它們在皮質裡面就像是一團密密麻麻的帶電的“意大利麵”。
▲人類連接組計劃(Human Connectome Project)成果:大腦中功能接近的軸突所以形成的「綵帶」圖案,它們通常位於白質之中。
然而更復雜的是,每個立方毫米的皮質層裡的4萬個神經元伸出來的無數根“意大利麵”,還有很多來自皮質其他部位的意大利麵會穿過這個1立法毫米的區域。
這就意味著,如果我們要在這個1立方毫米的空間中記錄信號或者刺激神經元,我們肯定會遇到很多麻煩,因為在這團亂七八糟的“意大利麵”之中,我們很難找出哪些“意大利麵”是屬於我們刺激的神經元細胞體的(而且還沒有算上混雜在其中的大量浦肯野細胞)。
當然,我們還要考慮神經可塑性的問題。每個神經元的電壓都是不斷變化的,這個變化頻率可以達到每秒數百次。而且這個立方體裡面的數千萬個突觸連接會經常改變大小,消失,然後重新出現。
但是這還不算完。
事實上大腦裡面還有一種叫做膠質細胞(glial cell)的東西,這種細胞有許多不同的變種,分別負責不同的功能,比如清掃釋放到突觸內的化學物質,用髓鞘包裹軸突,以及作為大腦的免疫系統。下面是一些常見的神經膠質細胞種類:
皮質裡面有多少膠質細胞呢?它們跟神經元的數量差不多。所以我們還要在立方體里加上 4 萬個這類奇形怪狀的東西。(注:科學界曾經認為,大腦中膠質細胞的數量可以達到神經元數量的 10 倍,但是最近的研究表明它們的數量其實沒有那麼多)
最後還有血管。每立方毫米的皮質裡面的毛細血管加起來的總長度可以達到一米,如果放在我們一立方米的模型,這裡面就有總共一公里長的血管。
BCI技術工程師們如果要做到對於大腦信號進行極為精準的捕捉或反饋,就需要在這一立方毫米區域裡面捕捉特定的一些神經元細胞體發出的信號,或者刺激某些特定的細胞體發出工程師需要的信號。足見其難度之高。
2、腦機接口的摩爾定律
根據統計數據顯示,以目前BCI技術以平均7.4年才能使可同時記錄的神經元數量翻倍的速度計算,要達到同時記錄100萬個神經元需要等到2100年,而要記錄人腦中的所有神經元,則要等到2225年。
因此,腦機接口如何解決帶寬問題成為了學術研究突破的關鍵點。
3、信號識別精度低
正如前面第一和第二點所介紹的,目前人們尚未對大腦當中數百億的神經元的功能和機制擁有足夠的瞭解,BCI技術對於大腦信號的正確識別也受到了制約,而要想同時記錄越多數量的神經元,難度越大,這也使得BCI對於大腦信號的識別精度較低。
資料顯示,目前,基於自發腦電的BCI系統,對運動想象腦電信號進行的研究,2類思維任務的識別率約為90%,3類任務得到其識別率在80%左右。對4類運動得到的識別率僅有70%左右。另外,在控制指令多時,識別率低的問題使得BCI系統在實際應用中受到了嚴重的限制。
雖然以上對運動想象腦電信號的70-90%的識別率看上去還不錯,但是對於複雜的思維來說,差之毫釐便可能會失之千里。
4、信號處理和信息轉換速度慢
BCI技術工程師需把用戶輸入(BCI讀取)的腦電信號轉換成計算機能夠讀懂的控制信號或命令,這其中的轉換算法是一大難點,此外還需要足夠的算力對於信息進行快速的處理,使得神經電信號能夠實時、快速、準確地通過BCI系統轉換成可以被計算機識別的命令或操作信號。目前,BCI系統的最大信息轉換速度可達68 bit /min,此速度與正常交流時所需的速度相差甚遠。
5、信號採集和處理方法需改進
腦電信號採集過程中,夾雜著不少干擾成分,如肌信號干擾等,因此設計抗干擾能力強的腦電信號採集設備等問題有待解決;如何改善信號處理方法使之系統化、通用化,從而快速、精確、有效地設計出實用BCI 系統的問題也有待研究。
6、自適應性較差
自適應性包括隨時間和空間變化的自適應性和隨自身變化的自適應性。目前,BCI 的自適應性還比較差。BCI研究工作中相當重要的部分就是調整人腦和BCI系統之間的相互適應關係,也就是尋找一種合適的信號處理與轉換算法,能夠自適應這種變化。
7、對大腦反饋刺激研究進展較慢
另外,目前BCI技術的突破和應用主要還是對於大腦信號或指令的識別上,而在對大腦的直接反饋(信號輸入)上卻進展相對較慢(目前主要還是依賴於人體本身的視覺、聽覺等反饋系統),因為一旦不慎可能會對脆弱的大腦造成損傷。
8、缺乏能對BCI 系統的性能進行科學評價的評價標準
作為一種新興的、複雜的、涉及多學科的通信技術,BCI 的發展還很不完善,存在的問題還很多,有待於科研工作者們下大氣力研究解決。
十二、腦機接口未來展望
目前,主流的消費級腦機接口研究主要運用非侵入式的腦電技術,儘管相對侵入式技術容易獲得分辨率更高的信號,但風險和成本依然很高。不過,隨著人才、資本的大量湧入,非侵入式腦電技術勢必將往小型化、便攜化、可穿戴化及簡單易用化方向發展。
而對於侵入式腦機接口技術,在未來如果能解決人體排異反應及顱骨向外傳輸信息會減損這兩大問題,再加上對於大腦神經元研究的深入,將有望實現對人的思維意識的實時準確識別。這一方面將有助於電腦更加了解人類大腦活動特徵,以指導電腦更好的模仿人腦;另一方面可以讓電腦更好的與人協同工作。
總的來說,目前的腦機接口技術還是隻能實現一些並不複雜的對於腦電信號的讀取和轉換,從而實現對於計算機/機器人的簡單控制。要想實現直更為複雜的精細化的交互和功能,實現所想即所得,甚至實現將思維與計算機的完美對接,實現通過“下載”能夠熟練的掌握新知識、新技能,而這還有很漫長的路要走。
另外需要注意的一個問題是,當人的大腦意識可以被準確的讀取,那麼則意味著大腦當中豐富的隱私數據將有可能會被洩露或竊取,隨著腦機接口技術的發展,未來無疑將需要提供足夠安全的措施來保障用戶的隱私數據安全。
“對我而言,大腦是思想,幻想和異議自由的一個安全的地方,在沒有任何保護的情況下,我們已經接近跨越最後的隱私邊界。”美國杜克大學神經倫理學教授尼塔法拉哈尼在接受《MIT科技評論》採訪時說。
另外正如電影《黑客帝國》當中所描繪的那樣,未來侵入式的雙向交互腦機接口,雖然能夠為我們帶來無限的可能,但如果沒有強有力的保護措施,也存在著被黑客攻擊的風險,而這種攻擊可能將是致命的。
編輯:芯智訊-浪客劍
注:本文由芯智訊獨家整理,部分內容為原創,轉載請清晰註明出處。
參考資料來源:
1、Neuralink與大腦的神奇未來:Part 3: Brain-Machine Interfaces
2、Neuralink與大腦的神奇未來:Part 2: The Brain
3、硅谷Live聯合哈佛大學腦科學中心科學家及行業專家學者撰寫的文章《中美首份8000字長文深度解析全球熱點腦機接口》
4、《腦機接口技術的研究綜述》