輕松構建基于Serverless架構的彈性高可用音視頻處理系統(tǒng)

前言

隨著計算機技術和 Internet 的日新月異，視頻點播技術因其良好的人機交互性和流媒體傳輸技術倍受教育、娛樂等行業(yè)青睞，而在當前， 云計算平臺廠商的產品線不斷成熟完善， 如果想要搭建視頻點播類應用，告別刀耕火種， 直接上云會掃清硬件采購、 技術等各種障礙，以阿里云為例：

創(chuàng)新互聯(lián)公司自2013年起，是專業(yè)互聯(lián)網技術服務公司，擁有項目成都做網站、成都網站制作網站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元新吳做網站,已為上家服務,為新吳各地企業(yè)和個人服務,聯(lián)系電話:18982081108

這是一個非常典型的解決方案， 對象存儲 OSS 可以支持海量視頻存儲，采集上傳的視頻被轉碼以適配各種終端，cdn 加速終端設備播放視頻的速度。此外還有一些內容安全審查需求， 比如鑒黃、鑒恐等。

而在視頻點播解決方案中，視頻轉碼是最消耗計算力的一個子系統(tǒng)，雖然您可以使用云上專門的轉碼服務，但在很多情況下，您會選擇自己搭建轉碼服務。比如：

• 您已經在虛擬機/容器平臺上基于 FFmpeg 部署了一套視頻處理服務，能否在此基礎上讓它更彈性，更高的可用性？
• 您的需求只是簡單的轉碼需求，或是一些極其輕量的需求，比如獲取 OSS 上視頻前幾幀的 GIF、獲取視頻或者音頻的時長，自己搭建成本更低。
• 各種格式的音頻轉換或者各種采樣率自定義、音頻降噪等功能
• 您有更高級的自定義處理需求，比如視頻轉碼完成后， 需要記錄轉碼詳情到數據庫， 或者在轉碼完成后， 自動將熱度很高的視頻預熱到 CDN 上， 從而緩解源站壓力。
• 您有并發(fā)處理大量視頻的需求。
• 自定義視頻處理流程中可能會有多種操作組合， 比如轉碼、加水印和生成視頻首頁 GIF。后續(xù)為視頻處理系統(tǒng)增加新需求，比如調整轉碼參數，希望新功能發(fā)布上線對在線服務無影響。
• 您的視頻源文件存放在 NAS 或者 ECS 云盤上，自建服務可以直接讀取源文件處理，而不需要將它們再遷移到 OSS 上。

如果您的視頻處理系統(tǒng)有上述需求，或者您期望實現(xiàn)一個 彈性、高可用、低成本、免運維、靈活支持任意處理邏輯的視頻處理系統(tǒng)，那么本文則是您期待的最佳實踐方案。

Serverless 自定義音視頻處理

在介紹具體方案之前， 先介紹兩款產品：

• 函數計算 ：阿里云函數計算是事件驅動的全托管計算服務。通過函數計算，您無需管理服務器等基礎設施，只需編寫代碼并上傳。函數計算會為您準備好計算資源，以彈性、可靠的方式運行您的代碼，并提供日志查詢、性能監(jiān)控、報警等功能。
• 函數工作流：函數工作流（Function Flow，以下簡稱 FnF）是一個用來協(xié)調多個分布式任務執(zhí)行的全托管云服務。您可以用順序，分支，并行等方式來編排分布式任務，F(xiàn)nF 會按照設定好的步驟可靠地協(xié)調任務執(zhí)行，跟蹤每個任務的狀態(tài)轉換，并在必要時執(zhí)行用戶定義的重試邏輯，以確保工作流順利完成。

免費開通函數計算，按量付費，函數計算有很大的免費額度。

免費開通函數工作流，按量付費，函數工作流有很大的免費額度。

函數計算可靠的執(zhí)行任意邏輯， 邏輯可以是利用 FFmpeg 對視頻任何處理操作， 也可以更新視頻 meta 數據到數據庫等。

函數工作流對相應的函數進行編排, 比如第一步的函數是轉碼， 第二步的函數是轉碼成功后，將相應 meta 數據庫寫入數據庫等。

至此，您應該初步理解了函數計算的自定義處理能力 + 函數工作流編排能力幾乎滿足您任何自定義處理的需求，接下來，本文以一個具體的示例展示基于函數計算和函數工作流打造的一個彈性高可用的 Serverless 視頻處理系統(tǒng)，并與傳統(tǒng)方案進行性能、成本和工程效率的對比。

簡單視頻處理系統(tǒng)

假設您是對短視頻進行簡單的處理， 架構方案圖如下：

如上圖所示， 用戶上傳一個視頻到 OSS, OSS 觸發(fā)器自動觸發(fā)函數執(zhí)行， 函數調用 FFmpeg 進行視頻轉碼， 并且將轉碼后的視頻保存回 OSS。

OSS 事件觸發(fā)器, 阿里云對象存儲和函數計算無縫集成。您可以為各種類型的事件設置處理函數，當 OSS 系統(tǒng)捕獲到指定類型的事件后，會自動調用函數處理。例如，您可以設置函數來處理 PutObject 事件，當您調用 OSS PutObject API 上傳視頻到 OSS 后，相關聯(lián)的函數會自動觸發(fā)來處理該視頻。

簡單視頻處理系統(tǒng)示例工程地址

您可以直接基于示例工程部署您的簡單音視頻處理系統(tǒng)服務， 但是當您想要處理大視頻(比如 test_huge.mov ) 或者對小視頻進行多種組合操作的時候， 您會發(fā)現(xiàn)函數很大概率會執(zhí)行失敗，原因是函數計算的執(zhí)行環(huán)境存在一些限制， 比如最大執(zhí)行時間為 10 分鐘， 最大內存為 3G。

為了突破函數計算執(zhí)行環(huán)境的限制，引入函數工作流 FnF 去編排函數實現(xiàn)一個功能強大的全功能視頻處理系統(tǒng)。

全功能視頻處理系統(tǒng)

如上圖所示， 假設用戶上傳一個 mov 格式的視頻到 OSS，OSS 觸發(fā)器自動觸發(fā)函數執(zhí)行， 函數調用 FnF，并行進行提取音頻文件，同時進行 avi，mp4，flv 格式的轉碼。 所以您可以實現(xiàn)如下需求：

• 一個視頻文件可以同時被轉碼成各種格式以及其他各種自定義處理，比如增加水印處理或者在 after-process 更新信息到數據庫等。
• 當有多個文件同時上傳到 OSS，函數計算會自動伸縮， 并行處理多個文件。

• 對于每一個視頻，先進行切片處理，然后并行轉碼切片，最后合成，通過設置合理的切片時間，可以大大加速較大視頻的轉碼速度。

  所謂的視頻切片，是將視頻流按指定的時間間隔，切分成一系列分片文件，并生成一個索引文件記錄分片文件的信息

• 結合 NAS + 視頻切片， 可以解決超大視頻（大于 3G ）的轉碼。

全功能視頻處理系統(tǒng)示例工程地址

示例效果:

函數計算 + 函數工作流 Serverless 方案 VS 傳統(tǒng)方案

卓越的工程效率

	自建服務	函數計算 + 函數工作流 Serverless
基礎設施	需要用戶采購和管理	無
開發(fā)效率	除了必要的業(yè)務邏輯開發(fā),需要自己建立相同線上運行環(huán)境， 包括相關軟件的安裝、服務配置、安全更新等一系列問題	只需要專注業(yè)務邏輯的開發(fā), 配合 FUN 工具一鍵資源編排和部署
并行&分布式視頻處理	需要很強的開發(fā)能力和完善的監(jiān)控系統(tǒng)來保證穩(wěn)定性	通過 FnF 資源編排即可實現(xiàn)多個視頻的并行處理以及單個大視頻的分布式處理，穩(wěn)定性和監(jiān)控交由云平臺
學習上手成本	除了編程語言開發(fā)能力和熟悉 FFmpeg 以外，可能使用 K8S 或彈性伸縮( ESS )，需要了解更多的產品、名詞和參數的意義	會編寫對應的語言的函數代碼和熟悉 FFmpeg 使用即可
項目上線周期	在具體業(yè)務邏輯外耗費大量的時間和人力成本，保守估計大約 30 人天，包括硬件采購、軟件和環(huán)境配置、系統(tǒng)開發(fā)、測試、監(jiān)控報警、灰度發(fā)布系統(tǒng)等	預計 3 人天， 開發(fā)調試（2人天）+ 壓測觀察（1 人天）

彈性伸縮免運維，性能優(yōu)異

	自建服務	函數計算 + 函數工作流 ?Serverless
彈性高可用	需要自建負載均衡 (SLB)，彈性伸縮，擴容縮容速度較 FC 慢	FC系統(tǒng)固有毫秒級別彈性伸縮，快速實現(xiàn)底層擴容以應對峰值壓力，免運維，全功能視頻處理系統(tǒng) (FnF + FC) 壓測；性能優(yōu)異, 詳情見下面的轉碼性能表
監(jiān)控報警查詢	ECS 或者容器級別的 metrics	提供更細粒度的 FnF 流程執(zhí)行以及函數執(zhí)行情況, 同時可以查詢每次函數執(zhí)行的 latency 和日志等， 更加完善的報警監(jiān)控機制

函數計算 + 函數工作流 ?Serverless 方案轉碼性能表

實驗視頻為是 89s 的 mov 文件 4K 視頻: 4K.mov，云服務進行 mov -> mp4 普通轉碼需要消耗的時間為 188s， 將這個參考時間記為 T

視頻切片時間	FC轉碼耗時	性能加速百分比
45s	160s	117.5%
25s	100s	188%
15s	70s	268.6%
10s	45s	417.8%
5s	35s	537.1%

性能加速百分比 = T / FC轉碼耗時

從上表可以看出，設置的視頻切片時間越短， 視頻轉碼時間越短， 函數計算可以自動瞬時調度出更多的計算資源來一起完成這個視頻的轉碼, 轉碼性能優(yōu)異。

更低的成本

• 具有明顯波峰波谷的視頻處理場景(比如只有部分時間段有視頻處理請求，其他時間很少甚至沒有視頻處理請求)，選擇按需付費，只需為實際使用的計算資源付費。

• 沒有明顯波峰波谷的視頻處理場景，可以使用預付費（包年包月），成本仍然極具競爭力。

  函數計算成本優(yōu)化最佳實踐文檔。

• 假設有一個基于 ECS 搭建的視頻轉碼服務，由于是 CPU 密集型計算， 因此在這里將平均 CPU 利用率作為核心參考指標對評估成本，以一個月為周期，10 臺 C5 ECS 的總計算力為例， 總的計算量約為 30% 場景下, 兩個解決方案 CPU 資源利用率使用情況示意圖大致如下:

由上圖預估出如下計費模型：

• 函數計算預付費 3CU 一個月: 246.27 元， 計算能力等價于 ECS 計算型 C5
• ECS 計算型 C5 (2vCPU,4GB)+云盤: 包月219 元
• 函數計算按量付費占整個計算量的占比 <= 10%，費用約為 3×864×10% = 259.2 元，（3G 規(guī)格的函數滿負載跑滿一個月費用為：0.00011108×3×30×24×3600 = 863.8，詳情查看計費）

ITEM	平均CPU利用率	計算費用	總計
函數計算組合付費	>=80%	998（246.27×3+259.2）	<= 998
按峰值預留ECS	<=30%	2190（10*219）	>=2190

在這個模型預估里面，可以看出 FC 方案具有很強的成本競爭力，在實際場景中, 基于 ECS 自建的視頻轉碼服務 CPU 利用甚至很難達到 20%， 理由如下:

• 可能只有部分時間段有視頻轉碼請求
• 為了用戶體驗，視頻轉碼速度有一定的要求，可能一個視頻轉碼就需要 10 臺 ECS 并行處理來轉碼， 因此只能預備很多 ECS

因此，在實際場景中， FC 在視頻處理上的成本競爭力遠強于上述模型。

• 即使和云廠商視頻轉碼服務單價 PK, 該方案仍有很強的成本競爭力
  <br />經實驗驗證， 函數內存設置為3G，基于該方案從 mov 轉碼為 mp4 的費用概覽表:

  實驗視頻為是 89s 的 mov 文件視頻， 測試視頻地址：
  480P.mov 720P.mov ?1080P.mov ?4K.mov
  測試命令: ffmpeg -i test.mov -preset superfast test.mp4

• 格式轉換

分辨率	bitrate	幀率	FC 轉碼耗費時間	FC 轉碼費用	騰訊云視頻處理費用	成本下降百分比
標清 640*480	618 kb/s	24	11s	0.00366564	0.032	88.5%
高清 1280*720	1120 kb/s	24	31s	0.01033044	0.065	84.1%
超清 1920*1080	1942 kb/s	24	66s	0.02199384	0.126	82.5%
4K ?3840*2160	5250 kb/s	24	260s	0.0866424	0.556	84.4%

成本下降百分比 = （騰訊云視頻處理費用 - FC 轉碼費用）/ 騰訊云視頻處理費用
騰訊云視頻處理，計費使用普通轉碼，轉碼時長不足一分鐘，按照一分鐘計算，這里計費采用的是 2 min，即使采用 1.5 min 計算， 成本下降百分比也在 80% 左右

• 從上表可以看出， 基于函數計算 + 函數工作流的方案在計算資源成本上具有顯著優(yōu)勢。

操作部署

免費開通函數計算，按量付費，函數計算有很大的免費額度。

免費開通函數工作流，按量付費，函數工作流有很大的免費額度。

免費開通文件存儲服務NAS， 按量付費

詳情見各自示例工程的 README

• 簡單視頻處理系統(tǒng)示例工程地址
• 全功能視頻處理系統(tǒng)示例工程地址

總結

基于函數計算 FC 和函數工作流 FnF 的彈性高可用視頻處理系統(tǒng)天然繼承了這兩個產品的優(yōu)點:

• 無需采購和管理服務器等基礎設施，只需專注視頻處理業(yè)務邏輯的開發(fā)，大幅縮短項目交付時間和人力成本
• 提供日志查詢、性能監(jiān)控、報警等功能快速排查故障
• 以事件驅動的方式觸發(fā)應用響應用戶請求
• 免運維，毫秒級別彈性伸縮，快速實現(xiàn)底層擴容以應對峰值壓力，性能優(yōu)異
• 成本極具競爭力

最后一一回答一下之前列出的問題：

Q1: 您已經在虛擬機/容器平臺上基于 FFmpeg 部署了一套視頻處理服務，能否在此基礎上讓它更彈性，更高的可用性？

A: 如工程示例所示，在虛擬機/容器平臺上基于 FFmpeg 的服務可以輕松切換到函數計算， FFmpeg 相關命令可以直接移值到函數計算，改造成本較低， 同時天然繼承了函數計算彈性高可用性特性。

Q2：您的需求只是簡單的轉碼需求，或是一些極其輕量的需求，比如獲取 OSS 上視頻前幾幀的 GIF 等。 自己搭建成本更低。

A: 函數計算天生就是解決這些自定義問題， 你的代碼你做主, 代碼中快速執(zhí)行幾個 FFmpeg 的命令即可完成需求。<br />典型示例: fc-oss-ffmpeg

Q3: 您有更高級的自定義處理需求，比如視頻轉碼完成后， 需要記錄轉碼詳情到數據庫， 或者在轉碼完成后， 自動將熱度很高的視頻預熱到 CDN 上， 從而緩解源站壓力。

A: 詳情見全功能視頻處理系統(tǒng)(函數計算 + 函數工作流方案)，after-process 中可以做一些自定義的操作， 您還可以基于此流程再做一些額外處理等， 比如：

• 再增加后續(xù)流程
• 最開始增加 pre-process

Q4: 您有并發(fā)同時處理大量視頻的需求。

A: 詳情見全功能視頻處理系統(tǒng)(函數計算 + 函數工作流方案), 當有多個文件同時上傳到 OSS, 函數計算會自動伸縮， 并行處理多個文件。詳情可以參考 全功能視頻處理系統(tǒng) (FnF + FC) 壓測

Q5: 自定義視頻處理流程中可能會有多種操作組合， 比如轉碼、加水印和生成視頻首頁 GIF，后續(xù)為視頻處理系統(tǒng)增加新需求，比如調整轉碼參數，希望新功能發(fā)布上線對在線服務無影響。

A: 詳情見全功能視頻處理系統(tǒng)(函數計算 + 函數工作流方案), FnF 只負責編排調用函數， 因此只需要更新相應的處理函數即可，同時函數有 version 和 alias 功能， 更好地控制灰度上線， 函數計算版本管理

Q6: 您的視頻源文件存放在 NAS 或者 ECS 云盤上，自建服務可以直接讀取源文件處理，而不需要將他們再遷移到 OSS 上。

A: 函數計算可以掛載 NAS, 直接對 NAS 中的文件進行處理

“阿里巴巴云原生關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦云原生流行技術趨勢、云原生大規(guī)模的落地實踐，做最懂云原生開發(fā)者的技術圈?！?/p>

網站欄目：輕松構建基于Serverless架構的彈性高可用音視頻處理系統(tǒng)
文章鏈接：http://muchs.cn/article20/phocjo.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供全網營銷推廣、定制網站、移動網站建設、網站營銷、外貿網站建設、Google

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)