3個月構建機器學習短視頻分發系統，雲端每月為全球超1億用戶服務

人工智能亞馬遜公司技術移動互聯網算法雲計算大數據設計 iOS 深圳工程師推薦技術創業 Android 雲智時代 2019-05-08

在大宇無限的產品中實現視頻內容的在線推薦對我們的開發團隊來說是一個巨大的挑戰，Amazon SageMaker極大地簡化了機器學習系統的構建、訓練和部署流程，使我們僅用了3個月就完成了整個系統的建設並承受了實際用戶訪問的壓力，實現了從0到1的突破。——大宇無限技術副總裁劉克東

深圳大宇無限科技有限公司（以下簡稱“大宇無限”）是一家專注於移動互聯網應用的創業公司，2016年初成立，團隊主要成員來自北京大學、香港科技大學、UCLA、Emory等國內外知名高校，具有一流互聯網公司從業背景。大宇無限每月為全球超過1億的用戶提供服務。

移動短視頻服務所面臨的挑戰

大宇無限是一家創業公司，其主要業務面向中東、東南亞、拉美等新興市場國家，移動短視頻服務是公司的主要業務方向之一。在成立之初，大宇無限的首要目標是開拓新業務並實現業務的快速增長，要實現這一目標，大宇無限需要應對一系列挑戰。

首先要解決的是開發人員數量少與快速起步之間的矛盾。移動短視頻服務包含在線視頻推薦服務，需要構建機器學習系統，從設計架構、建立訓練模型、選擇算法和框架到最終部署到生產系統中，整個流程極為複雜，需要大量的開發人員耗費很長的時間才有可能完成。

其次是大宇無限的主要業務市場位於中東、東南亞與拉美，必須採用能夠覆蓋整個目標市場並提供穩定的網絡訪問的雲平臺。

第三是要儘量減輕整個系統運維管理的負擔，降低系統的總體成本。為了應對這些挑戰，大宇無限在分析、比較了主流的雲平臺之後，選擇了AWS，將整個業務系統部署在AWS雲上，藉助AWS雲在機器學習領域的一系列雲服務，快速完成了整個系統的開發和部署，實現了快速起步、為用戶提供高質量短視頻服務的目標。

AWS可快速實現基於AI的短視頻分發系統需求

提供了很多業界認可的應用開發及部署服務、具有全球化的佈局且提供多種計費方式，這些特點非常適合大宇無限對IT基礎設施的要求。大宇無限的主打業務是基於人工智能的短視頻分發系統，為了給用戶提供良好體驗，它需要解決兩個重要問題：其一是根據用戶的個人喜好進行視頻的在線推薦；其二是過濾掉不當視頻。完成這兩項任務都需要開發人員具有深厚的機器學習專業技能，AWS雲提供的Amazon SageMaker和Amazon Rekognition服務，極大地簡化了大規模構建、訓練和部署機器學習的流程，使大宇無限的開發團隊能夠快速實現這兩項重要功能。

Amazon SageMaker是一個完全託管的服務，可以幫助開發人員和數據科學家快速而輕鬆地構建、訓練和部署機器學習模型。一方面，Amazon SageMaker可快速連接至訓練數據所需的內容，使用戶可以輕鬆構建機器學習模型併為訓練做好準備；另一方面，Amazon SageMaker預裝並優化了常用的機器學習算法，這使得用戶無需花費大量時間去選擇算法和框架。在進行訓練時，用戶只需單擊一下，就可以在Amazon SageMaker控制檯中開始訓練自己的模型。當模型經過訓練和調整後，Amazon SageMaker可以輕鬆地在生產環境中進行部署。

大宇無限技術副總裁劉克東表示，“線上推薦我們是白手起家，如果沒有Amazon SageMaker，我們需要花費半年的時間才能完成。有了它，我們無需構建基礎設施，只需要算法工程師去驅動，為Amazon SageMaker準備數據，僅用了三個月的時間就完成了整個系統的建設並承受了實際用戶訪問的壓力，實現了從0到1的突破。”

在過濾不當視頻方面，Amazon Rekognition發揮了至關重要的作用。Amazon Rekognition是基於Amazon計算機視覺科學家開發的成熟且高度可擴展的深度學習技術，每天可分析數十億圖像和視頻，無需使用任何機器學習專業技能，只需要向Amazon Rekognition API提供圖像或視頻，它就可以快速識別對象、人員、文字、場景和活動，檢測出任何不適宜的內容。Amazon Rekognition還不斷接受新數據的訓練以擴展其識別對象、場景和活動能力，從而提高準確識別的能力。藉助Amazon Rekognition，大宇無限的視頻供給及審核系統方便地實現了視頻內容事前審核功能，可以自動篩選出大約97%的不當視頻。

劉克東指出，“如果沒有Amazon Rekognition服務，要想實現視頻內容的上線前審核功能需要投入大量的人力，造成運營成本上升。”

全部業務系統都部署在AWS雲上

目前，大宇無限的全部業務系統都部署在AWS雲上，主要包括三部分內容。其一是線上服務，用於支撐公司所有產品的多端（Android/IOS/Web）發送的服務請求，包括用戶中心、信息流視頻推薦、頻道推薦、關注列表、視頻解析、分享短鏈、消息推送及升級服務等；其二是大數據系統，用於蒐集客戶端的行為數據，為數據分析及推薦系統提供原始數據，日處理行為事件達數十億；其三是視頻推薦系統，採用Amazon EMR和Amazon SageMaker處理數據、訓練模型以獲得個性化的推薦結果，同時還使用Amazon Rekognition每日自動審核數十萬的新視頻封面。

大宇無限所使用的AWS雲服務包括Amazon EC2、Amazon S3、Amazon Rekognition、Amazon SageMaker、Amazon EMR、Amazon CloudWatch、Amazon DynamoDB、Amazon RDS、Amazon RedShift、Amazon Kinesis、Amazon ECR、AWS Data Transfer以及AWS Support等。如圖為大宇無限使用AWS雲的架構示意圖。