您的位置:首頁 >  新聞中心 > 開發(fā)者專區(qū)
  開發(fā)者專區(qū)
 

基于分布式架構(gòu)PaaS平臺(tái)的“中國(guó)藍(lán)云”云數(shù)據(jù)庫建設(shè)分析

來源:原創(chuàng)    時(shí)間:2018-03-18    瀏覽:0 次

        PaaS是atform-as-a服務(wù)的縮寫,這意味著作為一個(gè)服務(wù)平臺(tái)。他可以提供各種公共服務(wù)的SAS層業(yè)務(wù)系統(tǒng)。目前,服務(wù)分為媒體服務(wù)和一般服務(wù)。媒體服務(wù)是媒體產(chǎn)業(yè)的支撐服務(wù)。主要有分布式轉(zhuǎn)碼集群、分布式復(fù)合集成服務(wù)等,這些并行支持服務(wù)用于提高媒體資源的整體組合、遷移、轉(zhuǎn)碼服務(wù)效率,優(yōu)化文件分發(fā)服務(wù)。支持浙江廣播電視頻道用戶分配到各頻道制作系統(tǒng)。

blob.png

        一般服務(wù)為數(shù)據(jù)庫服務(wù)、中間件服務(wù),主要集成各種關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫,中間件服務(wù)集成Apachie、Tomcat、weblogio和其他應(yīng)用服務(wù)器集群。它保證了高可靠性,并在整個(gè)云平臺(tái)上提供負(fù)載平衡。如遇故障,可提供無縫漂移功能。

        因此,在“中國(guó)藍(lán)云”云平臺(tái)的設(shè)計(jì)和建設(shè),充分考慮媒體服務(wù)框架需要分布式架構(gòu)的能力,對(duì)分布式文件系統(tǒng)的數(shù)據(jù)集成,以及數(shù)據(jù)分析和處理的效率高。媒體服務(wù)框架可以抽象出新媒體業(yè)務(wù)系統(tǒng)中的媒體服務(wù)模塊,如轉(zhuǎn)碼服務(wù)、渲染服務(wù)、檢索服務(wù)等。建立標(biāo)準(zhǔn)服務(wù)粒度和服務(wù)策略,提供標(biāo)準(zhǔn)的服務(wù)調(diào)用協(xié)議和數(shù)據(jù)交互規(guī)范。使媒體服務(wù)框架更集中、更安全,為上層應(yīng)用提供服務(wù)。它有利于浙江廣播電視臺(tái)各業(yè)務(wù)系統(tǒng)的快速建設(shè),“中國(guó)藍(lán)云平臺(tái)快速轉(zhuǎn)型和穩(wěn)定的服務(wù)”。傳統(tǒng)的廣電業(yè)務(wù)架構(gòu)是以煙囪式的方式構(gòu)建的,它由生產(chǎn)系統(tǒng)、中間資本系統(tǒng)、分配系統(tǒng)、播出系統(tǒng)等組成,因此每個(gè)系統(tǒng)都需要建立自己的獨(dú)立數(shù)據(jù)庫服務(wù)器。存儲(chǔ)服務(wù)器和日志服務(wù)器,由媒體處理中心對(duì)服務(wù)進(jìn)行統(tǒng)一調(diào)度。隨著整個(gè)媒體的發(fā)展,媒體對(duì)象的數(shù)量越來越多,媒體對(duì)象類型也越來越多。在傳統(tǒng)的體系結(jié)構(gòu)中,資源分散、管理困難、單點(diǎn)擁擠、易分解、無副本數(shù)據(jù)難以恢復(fù)、系統(tǒng)復(fù)雜、難以擴(kuò)展。同時(shí),媒體業(yè)務(wù)本身也具有“大數(shù)據(jù)”的特征。

        隨著互聯(lián)網(wǎng)需求的激增,媒體服務(wù)本身的特點(diǎn)非常適合采用分布式體系結(jié)構(gòu)來保證大系統(tǒng)的安全。實(shí)現(xiàn)了檢測(cè)元件的快速處理和數(shù)據(jù)的挖掘。因此,浙江廣電云平臺(tái)的數(shù)據(jù)庫建設(shè)如下。浙江廣播電視臺(tái)參加是基于分布式的PaaS平臺(tái),一套完整的分布式數(shù)據(jù)庫系統(tǒng)采用多節(jié)點(diǎn)容器集群并行計(jì)算的機(jī)制構(gòu)建。所有處理都是自動(dòng)負(fù)載平衡和故障轉(zhuǎn)移。

        即使多個(gè)節(jié)點(diǎn)損壞,系統(tǒng)也不會(huì)崩潰。后臺(tái)業(yè)務(wù)系統(tǒng)在虛擬服務(wù)器中至少有3個(gè)副本。當(dāng)任何數(shù)據(jù)庫服務(wù)位于虛擬服務(wù)器機(jī)器上時(shí),業(yè)務(wù)無縫運(yùn)行。業(yè)務(wù)數(shù)據(jù)可以在不丟失的情況下繼續(xù)進(jìn)行,通過采用一致性哈希算法實(shí)現(xiàn)分散的過程,避免了調(diào)度中心失敗造成的整體業(yè)務(wù)癱瘓。這種分散式設(shè)計(jì)實(shí)現(xiàn)了數(shù)據(jù)庫服務(wù)器的故障。

        其他服務(wù)器可以自動(dòng)共享故障服務(wù)器的任務(wù),為系統(tǒng)提供服務(wù),從而保證數(shù)據(jù)庫的安全性。隨著整個(gè)媒體的發(fā)展,媒體對(duì)象、類型的數(shù)據(jù)量越來越多。媒體對(duì)象關(guān)系是復(fù)雜的。因此,浙江廣電云平臺(tái)是基于分布式PASS平臺(tái)的,為了適應(yīng)不同的元數(shù)據(jù)類型,不同類型的數(shù)據(jù)庫是混合的,主要分為分布式關(guān)系數(shù)據(jù)庫和分布式非關(guān)系數(shù)據(jù)庫。

        以浙江廣電云平臺(tái)數(shù)據(jù)庫建設(shè)為例,主要從數(shù)據(jù)庫安全和多樣性兩個(gè)方面介紹了如何構(gòu)建基于分布式體系結(jié)構(gòu)PAS平臺(tái)的數(shù)據(jù)庫系統(tǒng),數(shù)據(jù)在資產(chǎn)中的比重越來越大。數(shù)據(jù)的價(jià)值越來越高。在傳統(tǒng)體系結(jié)構(gòu)中,數(shù)據(jù)安全主要有兩個(gè)單一的失效點(diǎn)。另一種情況是,沒有多個(gè)數(shù)據(jù)副本。因此,在傳統(tǒng)的資源管理和業(yè)務(wù)調(diào)度體系結(jié)構(gòu)中設(shè)置了大量的單點(diǎn)。

        例如,服務(wù)調(diào)度是由媒體處理服務(wù)器的單個(gè)點(diǎn)完成的。集中式服務(wù)調(diào)度使媒體處理服務(wù)器上的所有調(diào)度任務(wù)。當(dāng)任務(wù)負(fù)載較高時(shí),單點(diǎn)容易因重載而失效:同時(shí),由于傳統(tǒng)體系結(jié)構(gòu)中使用關(guān)系數(shù)據(jù)庫來管理數(shù)據(jù),關(guān)系數(shù)據(jù)庫的冗余方法被構(gòu)建在數(shù)據(jù)轉(zhuǎn)儲(chǔ)和歸檔日志文件中,耗時(shí)且無法實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)一致性。在同一時(shí)間沒有第二份副本。

        在分布式PAS平臺(tái)數(shù)據(jù)庫的構(gòu)建中,由于數(shù)據(jù)丟失恢復(fù)困難,因此采用分布式技術(shù)和一致Hasb算法解決了這兩個(gè)問題:當(dāng)數(shù)據(jù)丟失時(shí),用戶可以連續(xù)替換系統(tǒng)中的數(shù)據(jù),服務(wù)器故障時(shí)則采用分散設(shè)計(jì)。其他服務(wù)器可以自動(dòng)共享故障服務(wù)器的任務(wù),為系統(tǒng)提供服務(wù)。在基于分布式PaaS平臺(tái)構(gòu)建數(shù)據(jù)庫的過程中,需要考慮多類型數(shù)據(jù)的媒體對(duì)象、不同類型的元數(shù)據(jù)、數(shù)據(jù)的緩存緩沖區(qū)等,因此采用了關(guān)系數(shù)據(jù)庫、元數(shù)據(jù)和關(guān)系存儲(chǔ)數(shù)據(jù)庫等混合數(shù)據(jù)庫類型。圖表、數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫等。

        關(guān)系數(shù)據(jù)庫主要存儲(chǔ)系統(tǒng)的靜態(tài)配置信息,如部門配置、列配置、用戶權(quán)限、設(shè)備連接信息等。在我們的“中國(guó)藍(lán)云”虛擬化技術(shù)中,采用了實(shí)時(shí)步驟復(fù)制解決方案來實(shí)現(xiàn)高可用性,當(dāng)業(yè)務(wù)事務(wù)在節(jié)點(diǎn)上成功提交時(shí),任何其他正常帶點(diǎn)都可以保證事務(wù)的執(zhí)行。當(dāng)業(yè)務(wù)節(jié)點(diǎn)提交事務(wù)時(shí),此節(jié)點(diǎn)將事務(wù)同步復(fù)制到所有節(jié)點(diǎn),每個(gè)分布式節(jié)點(diǎn)開始獨(dú)立的證書驗(yàn)證。在分布式PAS水準(zhǔn)中,MOODUDIB被用作存儲(chǔ)元數(shù)據(jù)和材料關(guān)系的解決方案。MongoDB是一個(gè)采用分布式文件存儲(chǔ)模式的數(shù)據(jù)庫系統(tǒng)。它的目標(biāo)是為Web應(yīng)用程序提供一種高性能的數(shù)據(jù)存儲(chǔ)解決方案,可以在任何時(shí)候進(jìn)行擴(kuò)展。

        另一方面,它是一個(gè)文檔類型的NOSQL數(shù)據(jù)庫。松散的數(shù)據(jù)結(jié)構(gòu):由此產(chǎn)生的優(yōu)勢(shì)是能夠存儲(chǔ)復(fù)雜的數(shù)據(jù)類型,這些數(shù)據(jù)類型是存儲(chǔ)各種元數(shù)據(jù)類型(如資源屬性、編目元數(shù)據(jù)和字段記錄元數(shù)據(jù))的理想選擇。另一方面,MongoDB具有強(qiáng)大的查詢語言系統(tǒng),語法類似于關(guān)茶數(shù)據(jù)庫。例如,可以實(shí)現(xiàn)關(guān)系數(shù)據(jù)庫中的表單查詢。它還支持?jǐn)?shù)據(jù)索引。

        “MongoDB服務(wù)使用了由三個(gè)副本和片組成的高可用架構(gòu)。不管哪臺(tái)機(jī)器死了都沒關(guān)系。主服務(wù)器負(fù)責(zé)讀取和寫入整個(gè)副本集。副本設(shè)置定期同步數(shù)據(jù)備份,一旦主節(jié)點(diǎn)死亡。

        副本節(jié)點(diǎn)選擇一個(gè)不需要擔(dān)心應(yīng)用服務(wù)器的新主服務(wù)器。內(nèi)存數(shù)據(jù)庫有兩種用途:用作數(shù)據(jù)接口的緩存緩沖區(qū)。緩存熱數(shù)據(jù)響應(yīng)頻繁的查詢請(qǐng)求,減少關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫的查詢壓力。第二作為服務(wù)會(huì)話數(shù)據(jù)的共享存儲(chǔ),當(dāng)發(fā)生服務(wù)切換時(shí),可以確保服務(wù)在切換之前能夠繼續(xù)運(yùn)行。內(nèi)存數(shù)據(jù)庫有兩種用途:一種是緩存緩沖區(qū)作為數(shù)據(jù)接口,用于響應(yīng)緩存的熱數(shù)據(jù)的頻繁查詢請(qǐng)求。其次,作為服務(wù)會(huì)話數(shù)據(jù)的共享存儲(chǔ)區(qū)域,我們可以確保服務(wù)在切換后能夠繼續(xù)運(yùn)行。

        文檔數(shù)據(jù)庫通過objectid與存儲(chǔ)上的對(duì)象相關(guān)聯(lián),管理整個(gè)材料、文檔、日志和其他文件及相關(guān)元數(shù)據(jù)。存儲(chǔ)數(shù)據(jù)類包括圖片和文本、視頻材料、視頻產(chǎn)品等。多版本和回溯所有媒體報(bào)道的內(nèi)容,如視頻特技模板(手稿處理版本和最終版本)。生產(chǎn)過程數(shù)據(jù),行為數(shù)據(jù)的收集和匯編。終端用戶交互數(shù)據(jù)的聚合存儲(chǔ)管理。文檔數(shù)據(jù)庫采用樹結(jié)構(gòu)來存儲(chǔ)和存儲(chǔ)數(shù)據(jù)信息樹,它由節(jié)點(diǎn)和損壞兩個(gè)元素組成。樹中的一個(gè)節(jié)點(diǎn)有和。

        只有一個(gè)父節(jié)點(diǎn),但是可以有任意數(shù)量的子節(jié)點(diǎn)和任意數(shù)量的子屬性。主節(jié)點(diǎn)和輔助節(jié)點(diǎn)用于存儲(chǔ)數(shù)據(jù)。仲裁節(jié)點(diǎn)不用于存儲(chǔ)數(shù)據(jù)。在特定使用期間,客戶端連接到主節(jié)點(diǎn)和備用節(jié)點(diǎn)。不需要連接到仲裁節(jié)點(diǎn)。在文檔數(shù)據(jù)庫的默認(rèn)配置中,主節(jié)點(diǎn)用于提供客戶端所需的所有操作服務(wù),例如備用節(jié)點(diǎn)不提供任何通信量。

        但我們經(jīng)常這樣做是為了分散壓力。我們配置備用節(jié)點(diǎn),以便在特定的銷售操作中提供查詢服務(wù)。仲裁節(jié)點(diǎn)在主節(jié)點(diǎn)掛起后通過仲裁將備用節(jié)點(diǎn)提升到主節(jié)點(diǎn)。作為客戶端,Vernix.是一個(gè)高性能的NoSQ。圖數(shù)據(jù)庫,它將結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在網(wǎng)絡(luò)上而不是表中。采用圖形數(shù)據(jù)庫后,將數(shù)據(jù)逐個(gè)存儲(chǔ)在圖中。在“構(gòu)建中的藍(lán)云”框架下,查找平臺(tái)服務(wù)層PaaS調(diào)用的公共服務(wù)是非常方便的。

        作為公共服務(wù)的核心數(shù)據(jù)庫,它在整個(gè)基于分布式架構(gòu)的PaaS分層中占有非常重要的地位,隨著整個(gè)媒體的發(fā)展,數(shù)據(jù)不僅需要存儲(chǔ)系統(tǒng)中的靜態(tài)配置時(shí)間,還需要存儲(chǔ)多類型數(shù)據(jù)的媒體對(duì)象、不同類型的元數(shù)據(jù)、緩存緩沖區(qū)等。同時(shí),必須解決數(shù)據(jù)庫的單點(diǎn)故障問題。沒有多個(gè)數(shù)據(jù)副本。因此,采用分布式技術(shù)和一種Hash算法,保證了系統(tǒng)的安全性,同時(shí)建立了關(guān)系數(shù)據(jù)庫。



免费视频观无码一区,国内精品一区二区无码,99精品无码视频在线播放,ā片国产在线播放