熟女人妻水多爽中文字幕,国产精品鲁鲁鲁,隔壁的少妇2做爰韩国电影,亚洲最大中文字幕无码网站

近年來，隨著大數據、云計算技術的發展，應用系統越來越集中，規模亦越來越大，使得存儲系統的性能問題越來越突出。為應對其性能要求，并行文件系統得到了大量的應用。然而現有的并行文件系統優化方法，大多只考慮應用系統或并行文件系統本身，較少考慮兩者之間的協同。該文基于應用系統在并行文件系統上的訪問模式對存儲系統的性能有顯著影響這一特點，提出基于動態分區的并行文件系統優化方法。首先，利用機器學習技術來分析挖掘各個性能影響因素和性能指標之間的關系和規律，生成優化模型。其次， 以優化模型為基礎，輔助并行文件系統的參數調優工作。最后，基于 Ceph 存儲系統進行原型實現，并設計了三層架構應用系統進行了性能測試，最終達到優化并行文件系統訪問性能的目的。實驗結果表明，所提出方法可以達到 85% 的預測優化準確率；在所提出模型的輔助優化下，并行文件系統的吞吐量性能得到約 3.6 倍的提升。

1 引 言

伴隨著互聯網、大數據和云計算技術的發展，應用系統

的計算、數據和部署越來越集中，應用系統的規模也相應地不斷擴大。對于輸入輸出(I/O) 密集型的應用程序，存儲系統性能，即其運行效率，常常會成為整個系統的性能瓶頸。常見的性能指標有吞吐量 (Throughput)、每秒讀寫操作次數 (Input/ Output Operations per Second，IOPS) 等。為了解決這一問題，研究者進行了各種各樣的嘗試，而并行文件系統便是一種被廣泛應用的系統技術。

并行文件系統通過將多個邏輯上獨立的存儲節點聚合為一個有邏輯的、高性能的存儲系統來緩解或解決相應的存儲系統性能問題。它可以將分散于各個存儲節點上的磁盤性能進行匯聚，以統一的、標準的接口為應用提供高性能的文件存儲及訪問服務，并可以隨著系統規模的擴大而很容易地進行縱向、橫向的擴展，因而具有高吞吐量、高 I/O 帶寬、容易擴展等特點?，F實場景中的應用系統都具有多樣性。應用系統本身的特點及其數據訪問層的設計決定了其在并行文件系統上的訪問需

求及 I/O 訪問模式。譬如對于視頻監控類應用來說，其 I/O 訪問模式主要以順序讀或寫為主，強調并行文件系統的吞吐量； 而股票交易系統的 I/O 訪問模式則以隨機讀或寫為主，強調IOPS 的并發能力。如何針對應用系統的 I/O 模式在并行文件系統的配置上進行優化，從而產生協同效果是一個值得思考的問題。而現有的性能優化方法，無論是基于并行文件系統本身， 或是基于應用系統本身，都較少考慮這一點。

另一方面，當前提出的優化方法，絕大多數都是基于某一個時間點的、靜態的優化方法。當應用系統的功能、負載或者架構發生變化時，并行文件系統 I/O 訪問模式也會隨之產生變化，而這種變化將導致已有的優化方法可能不再適用于當前的系統。因此，根據某一個時間點應用系統的 I/O 模式對應用系統或并行文件系統進行孤立的、靜態的優化方法都有其局限性。在理想狀況下，各種并行文件系統的設計假設所有的底層硬件都具有性能的一致性。正是出于這種假設，并行文件系統在設計時通常按照一定的算法將系統的 I/O 負載均勻地分配到每一個底層的數據存儲節點上，但這種設計可能會存在底層存儲系統的性能沒有被充分利用的情況。因為在具體實踐中，并行文件系統的各個存儲服務器節點之間存在性能差異是常見的現象。不管這種差異是由于 I/O 控制方式造成的，還是由于其存儲介質原理、運轉機制等造成的，該差異在大多數情況下并沒有在并行文件系統設計的時候被考慮，因而可能會造成性能較好的節點資源未被充分利用的情形。雖然這種情況可以通過應用數據存儲分布策略和并發策略來彌補，但仍然值得留意。

綜上所述，現有并行文件系統優化方法雖能在一定程度上緩解或解決性能問題，但是仍然存在不足。本文將尋求一種新的， 更具有針對性、適應性的并行文件系統性能優化方法。本文的創新性及先進性主要體現在以下幾點。

(1)基于機器學習的動態分區并行文件系統框架：通過對各種應用 I/O 模式下影響并行文件系統性能的因素和性能指標數據進行相關性分析，發現并通過實驗證實了塊分區尺寸與兩個主要性能度量指標之間的關系，據此再結合機器學習技術提出了基于機器學習的動態分區并行文件系統的優化方案。

(2)基于邏輯回歸的面向文件系統動態分區的機器學習算法：對基于動態分區的并行文件系統性能優化方法進行歸納和總結，提出基于邏輯回歸的優化算法，從而實現通過輸入調優參數后利用模型預測性能影響的方法來指導并行文件系統訪問性能的參數調優工作。模型在驗證數據集上達到了最大 85% 的準確率。

(3)基于 Ceph 文件系統實現原型設計與實現：設計和實現了基于 Ceph 存儲系統的并行文件系統原型，并用于機器學習模型所需數據的生成、模型的優化及驗證工作。經過實驗驗證， 整個環境可以滿足本文所設計的各種實驗及測試要求，可以用來驗證所提出優化算法的可行性和有效性。

2 相關工作

近年來，并行文件系統被廣泛應用， 各種并行文件系

統 應 運 而 生。 比 較 著 名 的 有 GPFS(IBM General Parallel File System)[7]、PVFS(Parallel Virtual File System)[8]、PanFS[9]、Lustre 及 Ceph 等。在進行并行文件系統的性能研究時，通常從研究其影響因素著手：尋找哪些因素對并行文件系統的性能產生影響并探索這些因素在應用系統、并行文件系統中的分布情況，進而研究各個因素對并行文件系統的影響程度。但是，由于并行文件系統是一個架構復雜的分布式系統， 且需經常應對多變的應用系統而做出調整，因此造成了并行文件系統性能優化方法的復雜性。

并行文件系統性能優化研究通常從應用系統、元數據(Metadata) 服務、存儲服務器以及并行文件系統架構等幾個方面展開( 見表 1)。在并行文件系統架構優化方面，可以采用的方法包括優化數據存儲和分布的策略、采用更高帶寬的存儲網絡及采用基于負載特征的存儲架構等 [12]；

對元數據優化的方法包括對元數據的創建、查找、搜索、存儲分布進行分割優化，其中對元數據服務器進行優化，采用分布式元數據服務架構等方法；對數據存儲的優化方法包括優化數據存儲條帶化參數( 包括條帶寬度、條帶深度和帶偏移量等)，優化磁盤類型和數量，RAID 級別，建立緩存機制，優化存儲服務器數量。

當需要在應用系統上著手對并行文件系統的訪問性能進行優化時，通常可以從兩方面著手：一是重構數據訪問層，利用更優化的算法、采用異步消息隊列、加入緩存機制或優化存儲并行訪問策略等方法；二是從并行文件系統上著手，即本文所采取的方式，根據應用系統的特點和負載形式，對并行文件系統進行有針對性的配置從而達到優化性能的目的。

常見的并行文件系統性能優化方法見表 1，其對相關技術在包括架構、數據和元數據 I/O 性能等三方面進行了對比。

3面向動態分區的并行文件系統性能優化算法

3.1問題描述

并行文件系統的性能是指并行文件系統的運行效率。常見的性能評估指標有每秒讀寫操作次數 IOPS、吞吐量、最大每秒寫 I/O 操作次數 (WIOPS) 和讀 I/O 操作占比 (RRatio) 等。

通過對樣本數據進行分析，構建熱力圖 ( 圖 1) 并對其進行比較、分析之后，可以發現以下規律：

(1)區塊尺寸 (I/O 操作最大讀、寫分區尺寸 ) 對兩個主要性能 IOPS 和吞吐量的影響都極為顯著。

(2)IOPS 隨著區塊尺寸的增加而減小，吞吐量則相反。進一步的分析發現，IOPS 及吞吐量和塊分區尺寸近似線性相關。

(3)讀 I/O 操作占比對 IOPS 和吞吐量也有影響，但沒有塊分區尺寸影響顯著。

因此，本文選擇動態分區尺寸大小作為改變性能的因素， 對并行文件系統訪問性能進行優化。本文選定通過調整區塊尺寸( 單次 I/O 操作最大讀、寫分區 ) 來進行性能優化的另外一個原因是，現有的并行文件系統都支持對這一性能因素進行在線調整。

選定了性能因素之后，本文將利用機器學習的方法為塊分區尺寸和并行文件系統性能指標建立關系模型，通過預測某個分區尺寸對并行文件系統性能的影響來指優化工作，最終選取可對系統性能達到優化效果的分區尺寸并進行在線配置。在性能優化評價方面，本文則選擇 IOPS 和吞吐量來對并

行文件系統訪問性能的優化效果進行評價。圖 2 再次驗證了分區尺寸對并行文件系統性能的顯著影響，從而反映出通過調整分區尺寸對性能進行優化是可行的。為了對問題能更進一步的分析和研究，也為了更好地利用機器學習技術，本文需要做出一些假設和限定，并對所要研究的問題進行以下定義。

(1)假設與約束

并行文件系統硬件配置的更改，如使用固態硬盤 (SSD) 替代傳統機械硬盤，會因其物理特性或技術特性的原因而顯著地影響存儲子系統的性能，因此本文假設并行文件系統的硬件配置在優化過程中保持不變。不僅如此，并行文件系統軟件配置、架構的變更也可能對存儲子系統性能產生影響，如緩存 Cache 的配置以及 Cache 的大小。因此本文也假設，在存儲子系統優化過程中，除了本文選定的性能優化方法所需要的系統配置參數之外，其他系統配置、參數及系統架構在優化過程中均保持不變。

(2)性能優化目標

理想狀態下，并行文件系統的最大存儲訪問性能(Capacity) 由并行文件系統的物理特性和架構決定，并和具體的應用系統無關。因此在考慮優化目標時，將以并行文件系統的最大存儲訪問性能為基礎并結合一定的性能損失來確定。存儲系統的最大存儲訪問性能可以通過壓力測試來獲得，而應用系統對存儲子系統的性能損失則依賴經驗值，即 30%。在應用系統對并行文件系統訪問性能損失參考值確定以后，就能以此來確定優化的目標。

(3)問題的定義

依照本文的假設與約束，對所研究的問題進行了歸納，即針對特定應用系統特定的并行文件系統的訪問模式，對其性能按照預先設定的優化目標，通過調整區塊尺寸的方法進行優化。并且當應用系統對并行文件系統的訪問模式發生變化時，所提出算法能夠持續地調整優化方案，從而實現基于機器學習的動態并行文件系統的訪問性能優化方法。