問耕 編譯整理
量子位 出品 | 公眾號 QbitAI
這篇文章的原作者是Colin Raffel。他2016年於哥倫比亞大學獲得電子工程博士學位，隨後入選谷歌大腦為期一年的Residency項目（類似訪學）。
過去一年我都在Google Brain Residency項目裡，這也是我獲得博士學位後的第一年。在這篇博文中，我會介紹一下Residency，以及我在這裡的研究等等。
Residency
過去一整年，總有人問我Residency到底是什麼？因為這也是谷歌大腦第一次搞這個計劃。我聽過的最準確回答是：這有點像讀博的一年，只不過你在谷歌大腦，而不是身在某所大學裡面。
如果你剛剛接觸機器學習，這個過程可能更像博士生的第一年；如果你已經是機器學習的老手，可以做研究、寫論文，那麼這個過程可能更像博士生的最後一年。
我認為這是一個恰當的描述，因為我的日常和工作，與我在讀博期間相比沒有任何變化。具體來說，我每天早上會花一兩個小時讀論文，然後用一整天來編寫代碼運行實驗。
時不時地，我會參加谷歌大腦研究人員或訪客的講座。有不少人變成了我的“導師”，我會跟他們講我的研究進展，並獲得反饋。以及，我也會趕在截止日期之間，把我的實驗結果寫入論文，投遞給一個又一個的會議。
當然，也會有一些實質性的差異。
谷歌大腦是一個很大的研究實驗室，有上百人的規模，而大多數類似的實驗室都要小得多。這意味著，如果你對某個具體的研究課題有疑問，大概率谷歌大腦裡有人就在研究這事兒；你讀的某一篇機器學習論文，作者可能就在離你不遠的地方。
此外，這裡還有很多（或者說太多）協同工作的機會。在來到谷歌大腦之前，我從來沒有拒絕過和聰明人一起展開有前景的研究。
另一個顯著的區別是，你能獲得超多的計算資源。在幾十甚至幾百個GPU上做實驗，簡直是小事一樁。這帶來了實實在在的影響：你有機會嘗試更多的想法、超參數配置等等。所以你也不必等一切都高度優化好之後，再開始實驗。
記得讀博士期間，我花了好久來測試不同的Theano運算，以便從我那單個的GPU中壓榨出最大的性能。而在Google你要關注的不是精細調整，而是規模化。
我的研究
我在Residency的基本目標是：1、基礎（而不是特定應用）的機器學習研究。2、學點東西。3、好好利用我在谷歌大腦的機會。我之前的背景主要是順序數據的機器學習模型（博士生涯主要關注音樂領域的機器學習），這很大的影響了我的研究。
我的第一個項目，是嘗試創建一個能發現序列中層次結構的模型。許多序列可以自然的分解為層次結構（例如：例如文檔 ->段落 ->句子 ->單詞 ->字符），所以我們希望可以找到的一個可以發現這種層次結構的模型。
為了解決這個問題，我決定重點關注一個相對簡單的機制，可以描述為：對於一個給定的輸入序列，可不可以通過一個簡單的“是/否”需要包含輸入的每條信息，來構建一個更短的輸出序列。
實際上，你只是對輸入序列“二次採樣”，來產生一個新的更短的序列。是否在輸出序列中包含輸入序列的全部信息，是一個可以自適應的決定，即基於輸入序列本身。下圖用來說明這個想法：
不幸的是，出了一個簡單的玩具問題，我無法通過這種方法在任何任務上獲得良好的效果。不過我還是在ICLR研討會的擴展摘要中提到了這個想法，想讓人們注意到訓練一個二次採樣機制的可行性。
除此以外，我還進行了單調注意力、強化學習等方面的研究，還參與了一些Magenta項目的工作。
下一步
我當初本打算博士畢業後去做博士後，參加Residency項目之後，我仍然準備去做博士後，繼續我的研究生涯。
不過我最終還是決定作為研究科學家（research scientist）留在谷歌大腦。因為這裡堪稱是一個理想的實驗室：可以做自己想做的研究，周圍都是聰明的同事，可以自由分享研究成果，還有無限可用的資源……
老實說，我不知道還有哪個實驗室有谷歌大腦這麼自由。據我所知，谷歌大腦從來不要求研究人員，從事某項有利於具體產品的研究。
同事方面，正如我上面提到的，你基本被最先進的研究人員圍繞。新一批的Residency同學已經來了，而且這裡總有實習生，也有你需要的導師。
我認為谷歌大腦的文化，很大程度上來自於領導力。谷歌大腦的高級員工全都平易近人、友善以及樂於分享。
所以，我決定繼續留在谷歌大腦。具體來說，我正在Ian Goodfellow的團隊。以後我將有更多時間投入機器學習安全、對抗性訓練和無監督/半監督學習中。
當然我還會繼續抽時間為順序數據和音樂搞搞機器學習模型，畢竟本性難移~
推薦閱讀
想了解更多谷歌大腦？量子位（QbitAI）之前還有一篇《谷歌大腦揭祕：48名成員20大研究領域》
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回覆“招聘”兩個字。
量子位 QbitAI
վ'ᴗ' ի 追蹤AI技術和產品新動態