基于騰訊云COS+CI圖文音視頻解決方案—騰訊云代理

從早期的門戶網(wǎng)站，到后面的feeds流，再到如今的各種垂直行業(yè)的社區(qū)分享，一次次變更成就了近幾年行業(yè)中的領(lǐng)跑者。從行業(yè)領(lǐng)先的微博，再看小紅書、B站等等，絕對都是可以看到feeds和社區(qū)的影子。而其中跑不掉的原始素材便是基礎(chǔ)的圖片、音頻和視頻等。今天就來介紹基于騰訊云如何解決這些社區(qū)方案中原始基礎(chǔ)素材的問題。

問題分析
前段時(shí)間的一個(gè)封閉開發(fā)項(xiàng)目中，用到了信息流的開發(fā)，期間涉及到了一系列典型的圖文音視頻場景。在介紹方案之前，我們先要來分析看下，當(dāng)我們需要做feeds，做社區(qū)的時(shí)候，針對這些原始素材會遇到哪些典型的問題。

1、類型兼容
從類型來看，在做當(dāng)前的社區(qū)功能或者feeds流時(shí)，主要還是在文本、圖片、音頻和視頻這四類素材，當(dāng)然我們的產(chǎn)品角度對這四類基本素材是可以相互結(jié)合的，如圖文、多圖、文本+視頻等等。因此基本看下來，我們會需要對這些基本素材有支持存儲、讀取的功能等等。

2、數(shù)據(jù)安全
從數(shù)據(jù)安全角度，素材會分公有和私有，排列組合下來也就是需要有：公有讀公有寫，公有讀私有寫，私有讀公有寫和私有讀私有寫。不過其中的私有讀公有寫顯然是沒有該場景的，那么看下來就是需要支持：公有讀私有寫，公有讀寫和私有讀寫這三種讀寫操作。

3、數(shù)據(jù)量
從數(shù)據(jù)存儲量角度，無論我們預(yù)估自己的產(chǎn)品會到什么量級，在后端架構(gòu)設(shè)計(jì)上，存儲是一定要做到可以水平擴(kuò)展的，不然就是一個(gè)不合格的高可用產(chǎn)品，因此我們的素材在做存儲方案時(shí)，也需要考慮到存儲的擴(kuò)展能力。

4、訪問性能
從性能角度來看，這個(gè)問題比較清晰，因?yàn)闊o論是feeds流或社區(qū)產(chǎn)品，這些都是ToC類產(chǎn)品一定是需要高QPS的，也就是我們肯定是需要CDN相關(guān)能力支持的。

5、版權(quán)所有
從版權(quán)角度，如防盜鏈功能，可以防止不良網(wǎng)站盜用開發(fā)者的圖片鏈接，盜取圖片流量，給開發(fā)者帶來經(jīng)濟(jì)損失；同時(shí)用戶也會需要有對圖片做一些水印保護(hù)的需求等等。

6、加載速度
從用戶體驗(yàn)來看，更快的打開一個(gè)頁面其實(shí)很重要，而現(xiàn)在所有的圖片和視頻都是高清、720P起步，那么我們就需要滿足不同帶寬下的不同分辨率視頻流切換，同時(shí)對于圖片或者視頻封面圖等，都是需要做預(yù)覽功能，這樣才可以顯著提升頁面加載速度和改善用戶體驗(yàn)。

7、安全合規(guī)
從安全合規(guī)角度，也就是鑒黃、涉政等能力，在互聯(lián)網(wǎng)行業(yè)尤其需要得到重視，否則會帶來毀滅性的打擊。
其實(shí)上面列出的這些待解決的問題還不是包括全部的，但是僅這些功能如果全部做出來的話就需要巨資打造一個(gè)上百人的團(tuán)隊(duì)花費(fèi)上半年的時(shí)間（可能還bug不斷，功能不止）。巨資還好，因?yàn)榛ヂ?lián)網(wǎng)行業(yè)最重要不是錢，但是時(shí)間，卻是致命的。
因此，云服務(wù)就此而現(xiàn)，騰訊云的誕生就是為互聯(lián)網(wǎng)創(chuàng)業(yè)團(tuán)隊(duì)或者公司去解決這些棘手的問題，讓業(yè)務(wù)可以focus業(yè)務(wù)，下面我們就基于騰訊云解決方案來逐一化解上述的一個(gè)個(gè)問題。

對象存儲 COS
COS，對象存儲（Cloud Object Storage，COS）是由騰訊云推出的無目錄層次結(jié)構(gòu)、無數(shù)據(jù)格式限制，可容納海量數(shù)據(jù)且支持 HTTP/HTTPS 協(xié)議訪問的分布式存儲服務(wù)。

1、存儲能力
也就是無論對于文本類文件、抑或是圖片、音頻和視頻文件，都是可以存儲于COS中。所以對于上面的第一個(gè)問題，通過COS已經(jīng)可以完美解決。再來看COS生態(tài)，從當(dāng)下來看，COS的讀寫支持已經(jīng)到了十分變態(tài)的地步了，各種開發(fā)語言的API且不說，從js、java、go到ios、安卓和小程序等數(shù)十種SDK，同時(shí)也支持了大量的客戶端工具，甚至當(dāng)前的COSBrowser工具都已經(jīng)在linux下可以界面化使用了。
我們這里不會詳細(xì)的介紹SDK的使用方式，也不會對這些工具做開箱介紹，更多的是從解決方案的支持角度來講解。

2、權(quán)限管理
下面讓我們繼續(xù)回到上面的第二個(gè)問題。首先，COS的存儲是使用狀態(tài)無關(guān)的分桶（下稱bucket）機(jī)制，而針對于不同的bucket有不同的訪問權(quán)限級別，在COS中支持的訪問權(quán)限共三種：私有讀寫、公有讀私有寫和公有讀寫。這也就是說，在COS之下我們通過對bucket設(shè)置不同的權(quán)限，再將不同訪問權(quán)限的文件存儲于不同bucket之下，就可以完美的實(shí)現(xiàn)對訪問素材的不同權(quán)限管理。

3、訪問性能
同時(shí)，騰訊云 COS 的存儲桶空間無容量上限，無需分區(qū)管理，這就是說明對于問題三的數(shù)據(jù)量問題，我們通過一個(gè)COS的bucket就已經(jīng)解決了。不過，一般我們對于數(shù)據(jù)存儲量和訪問的QPS，也就是問題三和問題四總是同時(shí)考慮的。在COS中，單bucket的訪問QPS是有一定限制的，從當(dāng)下來看，單bucket有30000/s的讀寫性能，基本上在前期使用是完全OK的。如果需要考慮更高的性能場景，可以在業(yè)務(wù)層做一下一致性哈希，負(fù)載均衡的將數(shù)據(jù)存放到不同的bucket，如公有數(shù)據(jù)可以存放到demo-public-1，demo-public-2，demo-public-N等等，從而將存儲的QPS能力可以水平擴(kuò)展。

數(shù)據(jù)萬象 CI
介紹完基礎(chǔ)讀寫能力后，我們下面繼續(xù)來看一些增值能力的支持。在問題5中，我們提到了圖片的版權(quán)問題，這也是當(dāng)下社區(qū)產(chǎn)品必須支持的一個(gè)基礎(chǔ)功能了。這時(shí)候，就需要引入騰訊云的第二套產(chǎn)品，數(shù)據(jù)萬象。

1、能力開啟
數(shù)據(jù)萬象（Cloud Infinite，CI），是騰訊云為客戶提供的專業(yè)一體化的圖片解決方案，涵蓋圖片上傳、下載、存儲、處理、識別等功能，將 QQ 空間相冊積累的十年圖片服務(wù)運(yùn)作經(jīng)驗(yàn)開放給開發(fā)者。目前數(shù)據(jù)萬象提供圖片縮放、裁剪、水印、轉(zhuǎn)碼、內(nèi)容審核等多種功能，提供高效準(zhǔn)確的圖像識別及處理服務(wù)，減少人力投入，真正地實(shí)現(xiàn)人工智能。
看完上面這段介紹，基本上CI的能力大家也都知道了，這些功能極大的解放了我們的研發(fā)能力，而更關(guān)鍵的是實(shí)用角度的便利性。當(dāng)下CI和COS早就已經(jīng)完美打通，我們只需要前往CI控制臺，通過預(yù)設(shè)權(quán)限，便可以在CI下直接綁定COS的bucket，而這些操作也十分方便，全部都是點(diǎn)點(diǎn)就可以完成。
一旦我們綁定完成后，再來看看CI的能力。其實(shí)CI的功能非常強(qiáng)大，基本的圖片處理如縮放、裁剪，增值操作如水印能力，內(nèi)容鑒別能力等等。

2、防盜鏈
那么，我們上面遇到的問題也就迎刃而解了，首先我們來看防盜鏈問題，騰訊云CI推出的防盜鏈功能，通過 HTTP 協(xié)議支持的 Referer 機(jī)制來進(jìn)行相應(yīng)的來源識別和管理，如下圖所示，支持設(shè)置網(wǎng)站為黑名單或白名單，Referer 名單也支持多個(gè)域名?；剀嚀Q行，一行輸入一個(gè)，同時(shí)支持通配符。同時(shí)在開啟防盜鏈設(shè)置后，可根據(jù)策略限定服務(wù)來源。

3、水印能力
再來看水印能力，CI同時(shí)支持可見水印和盲水印能力。首先我們來說一說這兩種場景。
可見水印，就是我們社區(qū)圖片中常見的場景了，CI支持了文本水印和圖片水印的能力，文本水印比較好理解，就是例如圖片中的用戶ID，從而可以標(biāo)明所有權(quán)。而圖片水印，可以理解為是圖片上覆蓋另一個(gè)圖片，在當(dāng)下美圖等產(chǎn)品中使用很多。
盲水印功能，通過該功能，可將水印圖以不可見的形式添加到原圖信息中，并不會對原圖質(zhì)量產(chǎn)生太大影響。在圖片被盜取后，可對疑似被盜取的資源進(jìn)行盲水印提取，驗(yàn)證圖片歸屬。CI提供的盲水印功能擁有半盲、全盲和文字盲水印三種類型。
首先，我們來看兩張圖，視覺上看到的是，前者是原圖，后者是加了水印的圖片。而從域名角度，我們會發(fā)現(xiàn)兩者依然是COS的域名，且url path的前面都是一樣的。這說明了后面的?watermark這一參數(shù)實(shí)現(xiàn)了水印能力，也就是說，只要打通了CI和COS之后，代碼無需任何改動，只需要根據(jù)產(chǎn)品邏輯拼接參數(shù)即可實(shí)現(xiàn)各種水印需求！這絕對是方便了我們的研發(fā)的很多時(shí)間。

4、圖片縮放
同樣的道理，我們再來看CI的圖片縮放能力，我們前端APP或者頁面在很多場景都需要展示圖片列表，這時(shí)候需要很快速的拉取一個(gè)個(gè)圖片，如果采用原圖，圖片質(zhì)量過高，文件過大，會導(dǎo)致加載速度很慢，而如果只拉取縮略圖列表，可以大大的降低了帶寬，同時(shí)又提高了APP或者頁面加載速度。

5、內(nèi)容審核
CI支持對圖片，視頻，音頻進(jìn)行涉黃，涉暴，涉政，涉恐的審核，在控制臺選擇需要的審核操作，就可以對存儲桶內(nèi)圖片，視頻，音頻進(jìn)行審核。還支持對審核出的敏感文件進(jìn)行凍結(jié)和人工復(fù)審，這大大提高了企業(yè)抗風(fēng)險(xiǎn)的能力。

6、視頻處理
從快手抖音開始，視頻流已經(jīng)不是新鮮事了，而老羅加入直播帶貨，直接讓直播行業(yè)進(jìn)入了另一個(gè)維度。通過CI也能夠?qū)OS中存儲的視頻進(jìn)行處理。
CI支持對存儲在COS中的視頻進(jìn)行文件轉(zhuǎn)碼，視頻截幀，視頻轉(zhuǎn)動圖，智能封面的操作，只需要在控制臺內(nèi)創(chuàng)建任務(wù)，選擇要處理的文件和對文件進(jìn)行的操作即可。其中包含33種系統(tǒng)模板以及自定義模版，只需要在控制臺上點(diǎn)擊就可以對視頻進(jìn)行處理。對于輸出路徑來說，我們可以預(yù)置目標(biāo)文件名的格式，這樣極大的方便了前端同學(xué)對于諸如轉(zhuǎn)碼文件的獲取。
當(dāng)然了，CI的能力強(qiáng)大的遠(yuǎn)不止這些，還是建議大家多去看看、用用，一定可以極大的提升大家的研發(fā)效率。

內(nèi)容分發(fā)網(wǎng)路 CDN
最后一部分，我們要說的就是CDN了， CDN的功能其實(shí)不用多說了，通過將站點(diǎn)內(nèi)容發(fā)布至遍布全國的海量加速節(jié)點(diǎn)，使其用戶可就近獲取所需內(nèi)容，避免網(wǎng)絡(luò)擁堵、地域、運(yùn)營商等因素帶來的訪問延遲問題，有效提升下載速度、降低響應(yīng)時(shí)間，提供流暢的用戶體驗(yàn)。

這兒不會詳細(xì)介紹CDN是什么，CDN原理等等了，還是要從解決方案的角度來說。其實(shí)很簡單，一句話，上面說的這些諸如COS、CI的數(shù)據(jù)早已經(jīng)和騰訊云CDN打通了。只需要通過簡單的配置就可以完成CDN加速了。

總結(jié)
通過上面的這些介紹，我想大家基本上對于通過使用騰訊云中的諸如對象存儲、數(shù)據(jù)萬象和CDN等這些服務(wù)如何構(gòu)建基礎(chǔ)的社區(qū)或feeds流的能力已經(jīng)有所了解，再遇到類似的需求，可以直接上手了。

優(yōu)惠第一步：點(diǎn)擊下面網(wǎng)址成為深圳市時(shí)魚科技有限公司代理客戶：
https://partner.cloud.tencent.com/invitation/1000111464505d5b911f269c3 確定成為深圳市時(shí)魚科技有限公司騰訊云代理客戶。
優(yōu)惠第二步：咨詢客服確認(rèn)價(jià)格，聯(lián)系在線客服領(lǐng)取優(yōu)惠券和代金券后以及優(yōu)惠活動的價(jià)格后，并用剛才關(guān)聯(lián)好的騰訊云官方賬號提交優(yōu)惠訂單，專業(yè)技術(shù)人員免費(fèi)協(xié)助選擇配置。

時(shí)魚科技騰訊云代理商優(yōu)惠折扣說明：
同時(shí)與騰訊云官方優(yōu)惠活動疊加：優(yōu)惠活動相當(dāng)于折上折，買一年83折，買2年7折，買3年5折，聯(lián)系在線客服有驚喜。
騰訊云代理商，時(shí)魚科技專注做騰訊云代理，服務(wù)多家上市企業(yè)以及萬家中小企業(yè)，經(jīng)過專業(yè)認(rèn)證的技術(shù)團(tuán)隊(duì)提供免費(fèi)技術(shù)資訊服務(wù)。
我們支持騰訊云服務(wù)器，騰訊云數(shù)據(jù)庫，騰訊云大禹高防，騰訊云主機(jī)，騰訊云CDN，騰訊云點(diǎn)播，騰訊云waf，企業(yè)郵箱等全部騰訊云產(chǎn)品。