騰訊2021sigmod論文Spitfire分析
Spitfire:易失和非易失性內(nèi)存的三層buffer管理
Spitfire: A Three-Tier Buffer Manager for Volatile and Non-Volatile Memory
機(jī)制
1、cache line page
將page分割成cache line大小,一個cache line為64字節(jié)。由于PM可以字節(jié)尋址,所以可以以cache line的粒度進(jìn)行讀寫page。頁頭結(jié)構(gòu)中有標(biāo)記哪個cache line為臟的位圖表,1表示臟。并且有resident字段位圖標(biāo)記哪個cache line加載到了內(nèi)存,若無加載,這部分在內(nèi)存中不占空間,節(jié)省內(nèi)存。
2、HYMEM
《managing nvm in database system》分三層架構(gòu)DRAM-NVM-SSD。
1)SSD上數(shù)據(jù)頁大小16kb,當(dāng)事務(wù)請求時加載到DRAM
2)使用時鐘算法替換DRAM中的數(shù)據(jù)頁,PM中使用同樣算法
3)判斷什么條件下降DRAM中數(shù)據(jù)頁持久化到PM?
4)采用一個準(zhǔn)入PM的隊(duì)列來協(xié)助是否將數(shù)據(jù)頁持久化到PM。
5)默認(rèn)的讀路徑:SSD->NVM->DRAM->CPU
6)默認(rèn)的寫路徑:CPU->DRAM->NVM->SSD
7)讀時首先看是否在DRAM,不在時看是否在NVM,都不在則需要將SSD上全頁直接加載到DRAM
8)DRAM替換數(shù)據(jù)頁時,首先看他在沒在準(zhǔn)入隊(duì)列,若在則將其從隊(duì)列刪除,并持久化到PM;否則將其標(biāo)記到準(zhǔn)入隊(duì)列,將該頁直接持久化到SSD
9)優(yōu)點(diǎn):減少了PM寫,以及不同層級之間數(shù)據(jù)的移動
缺點(diǎn):非并發(fā)操作,沒有在真實(shí)的PM環(huán)境上測試。
3、spitfire
使用概率的方法控制不同層級之間數(shù)據(jù)的遷移,實(shí)現(xiàn)冷熱數(shù)據(jù)分離。確保DRAM中是熱數(shù)據(jù),NVM中是溫?cái)?shù)據(jù),SSD中是冷數(shù)據(jù)。
1)Dr:讀時,將NVM移動到DRAM中的概率。比如0.01表示每讀取100次,才將NVM中數(shù)據(jù)頁遷移到DRAM
2)Dw:寫時需要輔助DRAM的概率
3)Nr:讀操作時,將SSD遷移到NVM的概率
4)Nw:寫的過程中,buffer管理器將DRAM遷移到NVM的概率
5)數(shù)據(jù)遷移這些概率依賴于工作負(fù)載,自適應(yīng)調(diào)整。
6)通過對每層加一個latch,遷移時用到哪層,就對哪層加鎖,實(shí)現(xiàn)并發(fā)

發(fā)表評論
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
10月23日火熱報(bào)名中>> 2025是德科技創(chuàng)新技術(shù)峰會
-
10月23日立即報(bào)名>> Works With 開發(fā)者大會深圳站
-
10月24日立即參評>> 【評選】維科杯·OFweek 2025(第十屆)物聯(lián)網(wǎng)行業(yè)年度評選
-
11月27日立即報(bào)名>> 【工程師系列】汽車電子技術(shù)在線大會
-
12月18日立即報(bào)名>> 【線下會議】OFweek 2025(第十屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
精彩回顧立即查看>> 【限時福利】TE 2025國際物聯(lián)網(wǎng)展·深圳站
推薦專題
- 1 先進(jìn)算力新選擇 | 2025華為算力場景發(fā)布會暨北京xPN伙伴大會成功舉辦
- 2 人形機(jī)器人,正狂奔在批量交付的曠野
- 3 宇樹機(jī)器人撞人事件的深度剖析:六維力傳感器如何成為人機(jī)安全的關(guān)鍵屏障
- 4 解碼特斯拉新AI芯片戰(zhàn)略 :從Dojo到AI5和AI6推理引擎
- 5 AI版“四萬億刺激”計(jì)劃來了
- 6 2025年8月人工智能投融資觀察
- 7 8 a16z最新AI百強(qiáng)榜:硅谷頂級VC帶你讀懂全球生成式AI賽道最新趨勢
- 9 Manus跑路,大廠掉線,只能靠DeepSeek了
- 10 地平線的野心:1000萬套HSD上車