游客發(fā)表
發(fā)帖時(shí)間:2024-12-29 14:59:47
11月6日消息,業(yè)界今天阿里云宣布,最大障遷小紅書(shū)技術(shù)團(tuán)隊(duì)近日完成了一項(xiàng)業(yè)界前所未有的數(shù)據(jù)上阿數(shù)據(jù)壯舉,將業(yè)界最大數(shù)據(jù)湖0故障遷移至阿里云。湖故
作為中國(guó)頭部互聯(lián)網(wǎng)公司之一,云量達(dá)小紅書(shū)月活用戶已超過(guò)3億,業(yè)界其數(shù)據(jù)湖存儲(chǔ)了過(guò)去11年的最大障遷所有原始數(shù)據(jù),包括結(jié)構(gòu)化、數(shù)據(jù)上阿數(shù)據(jù)半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。湖故
隨著業(yè)務(wù)的云量達(dá)高速增長(zhǎng),小紅書(shū)對(duì)在線處理數(shù)據(jù)的業(yè)界需求不斷增加,同時(shí)離線處理所積累的最大障遷歷史問(wèn)題也提高了切換的難度。
2023年11月,數(shù)據(jù)上阿數(shù)據(jù)小紅書(shū)共有1500人參與遷云項(xiàng)目——計(jì)劃一年內(nèi),湖故把小紅書(shū)的云量達(dá)數(shù)據(jù)湖搬上阿里云,彼時(shí)即便是業(yè)界體量最大的案例,也遠(yuǎn)小于小紅書(shū)的本次遷移。
2024年5月,項(xiàng)目正式進(jìn)入雙跑階段,作為切換到正式環(huán)境前最后的測(cè)試,是穩(wěn)定性最大的保障。
在這一階段,團(tuán)隊(duì)需要解決的問(wèn)題數(shù)不勝數(shù),每周平均新增500多個(gè)問(wèn)題。
在阿里云團(tuán)隊(duì)的全力保障下,小紅書(shū)技術(shù)團(tuán)隊(duì)順利完成了割接,沒(méi)有發(fā)生任何一個(gè)P2及以上故障。
2024年11月,小紅書(shū)遷云項(xiàng)目正式宣告結(jié)束,在沒(méi)有故障的情況下,遷移數(shù)據(jù)500PB,任務(wù)11萬(wàn),參與人數(shù)1500人,涉及部門40多個(gè)。
相關(guān)內(nèi)容
隨機(jī)閱讀
熱門排行
友情鏈接