2023-08-30 04:05:32 來源 : 字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)
本文根據(jù) ArchSummit 全球架構(gòu)師峰會(huì)（深圳站）來自抖音數(shù)據(jù)研發(fā)負(fù)責(zé)人王洋的現(xiàn)場(chǎng)分享實(shí)錄整理而成（有刪減），本次分享主要包含字節(jié)跳動(dòng)數(shù)據(jù)研發(fā)的模式與挑戰(zhàn)、DataOps理念在字節(jié)的具象 、DataOps產(chǎn)品化及落地、最佳實(shí)踐、未來展望五個(gè)部分，分享內(nèi)容皆來自于字節(jié)跳動(dòng)業(yè)務(wù)實(shí)踐經(jīng)驗(yàn)。
(相關(guān)資料圖)
字節(jié)在落地DataOps的過程當(dāng)中，與我們數(shù)據(jù)支持所采用的中臺(tái)工具+數(shù)據(jù)BP的組織模式相結(jié)合，由中臺(tái)工具團(tuán)隊(duì)負(fù)責(zé)打造功能的基座，實(shí)現(xiàn)了數(shù)據(jù)開發(fā)的各項(xiàng)基礎(chǔ)能力并提供開放平臺(tái)，對(duì)數(shù)據(jù)BP團(tuán)隊(duì)提供貼身的技術(shù)支持，同時(shí)也將這些能力通過火山引擎以內(nèi)外一體的模式輸出。所謂的內(nèi)外一體是指字節(jié)的各類數(shù)據(jù)工具如DataLeap在面向內(nèi)外部用戶使用上實(shí)現(xiàn)了一致性。
對(duì)于數(shù)據(jù)BP團(tuán)隊(duì)來說，在落地DataOps的過程中，重點(diǎn)做了三件事情：第一件事是規(guī)范的制定，在字節(jié)內(nèi)部長(zhǎng)期實(shí)踐過程中，我們認(rèn)為實(shí)踐團(tuán)隊(duì)才是規(guī)范的最佳發(fā)源地；第二件事是基于中臺(tái)工具的開放平臺(tái)實(shí)現(xiàn)插件的開發(fā)，數(shù)據(jù) BP并不是一個(gè)純數(shù)倉(cāng)團(tuán)隊(duì)，其中也包含了部分工程團(tuán)隊(duì)，與數(shù)倉(cāng)一體的工程團(tuán)隊(duì)可以將數(shù)倉(cāng)日常的痛點(diǎn)以插件的形式實(shí)現(xiàn)并落地，不同數(shù)據(jù)BP團(tuán)隊(duì)可以根據(jù)自己的特點(diǎn)開發(fā)不同插件；最后一件事是收益評(píng)估，DataOps推廣完了之后，也是放在 BP 來評(píng)估，而不是放在平臺(tái)來評(píng)估，中臺(tái)工具團(tuán)隊(duì)就可以專注于能力本身，開發(fā)數(shù)據(jù) BP 團(tuán)隊(duì)專注于整個(gè)規(guī)范跟價(jià)值。最后外部客戶可以同時(shí)享受到我們的平臺(tái)能力，以及沉淀下來的 BP 模式，這就是字節(jié)整個(gè)團(tuán)隊(duì)在DataOps上落地的協(xié)作模式。
數(shù)據(jù)BP團(tuán)隊(duì)做的好壞與否如何來評(píng)估，我們用了一套淺顯易懂的指標(biāo)0987來評(píng)價(jià)
0指不要出數(shù)據(jù)事故，這里的事故包括了時(shí)效、質(zhì)量等問題，由于我們支持了較多線上和資損場(chǎng)景，事故在我們的評(píng)價(jià)體系中是生命線；
9指需求滿足率，我們承接了來自多方的數(shù)據(jù)需求，希望能達(dá)成90%以上的需求我們都能按期交付的目標(biāo)；
8指分析覆蓋率，這個(gè)指標(biāo)指外部團(tuán)隊(duì)基于數(shù)倉(cāng)的查詢能80%使用到經(jīng)過我們建設(shè)和匯聚的表，而非原始表；
7指NPS 指標(biāo)，我們每個(gè)季度會(huì)面向所有提需用戶和數(shù)據(jù)使用用戶發(fā)放問卷，收集對(duì)應(yīng)的反饋信息，70%意味著大部分的同學(xué)對(duì)我們持正向評(píng)價(jià)且負(fù)向評(píng)價(jià)趨近于0；
在字節(jié)數(shù)據(jù)團(tuán)隊(duì)當(dāng)前的支持模式下，由于支持模式多種多樣，覆蓋了各類核心決策及線上場(chǎng)景，我們遇到的首要挑戰(zhàn)是來自數(shù)據(jù)質(zhì)量的：
鏈路復(fù)雜 ：最長(zhǎng)任務(wù)全鏈路節(jié)點(diǎn)數(shù)量上千個(gè)，單個(gè)任務(wù)的的下游數(shù)量最大也達(dá)到了千級(jí)別 變更頻繁 ：每周僅直播數(shù)據(jù)團(tuán)隊(duì)數(shù)據(jù)鏈路變更次數(shù)就能達(dá)到上千次，涉及風(fēng)險(xiǎn)場(chǎng)景上百次 事故易發(fā)： 質(zhì)量事故時(shí)有發(fā)生 ， 22年全年數(shù)據(jù)研發(fā)事故涉及到研發(fā)規(guī)范的占比56%在降本增效大背景下硬件成本也逐步變成數(shù)據(jù)團(tuán)隊(duì)的一個(gè)核心挑戰(zhàn)，在過去我們控制成本與大多數(shù)公司一致，主要基于預(yù)算，先測(cè)算出一個(gè)全年計(jì)算和存儲(chǔ)資源目標(biāo)，然后基于預(yù)算開展治理動(dòng)作，清理無效任務(wù)或降低TTL；但是現(xiàn)在需要朝著需求的精細(xì)化控制方向前進(jìn)，需要進(jìn)一步看清楚我做這個(gè)需求需要多少硬件成本，從而將硬件成本的管控精細(xì)化到需求層面
除去硬件成本外，我們的另一個(gè)成本大頭就是人力成本，我現(xiàn)在帶一個(gè)數(shù)據(jù)研發(fā)團(tuán)隊(duì)，在每次進(jìn)行HC盤點(diǎn)的時(shí)候我都會(huì)遇到兩個(gè)靈魂提問：
如何證明團(tuán)隊(duì)當(dāng)前的狀態(tài)是高效的？ 如何用更少的人員創(chuàng)造更大的業(yè)務(wù)價(jià)值？這其實(shí)是一個(gè)很現(xiàn)實(shí)的挑戰(zhàn)，我們?nèi)绾巫C明一個(gè)數(shù)據(jù)團(tuán)隊(duì)它的價(jià)值是什么？
既然面臨著這么多的挑戰(zhàn)，我們就要去思考如何能夠突破這些挑戰(zhàn)，從業(yè)內(nèi)取經(jīng)，我們發(fā)現(xiàn)DataOps就是一種能夠有效幫助我們解決上述問題的方案
我們認(rèn)為 DataOps 的核心包括以下部分
第一個(gè)是鏈接，所謂的鏈接是要打通從需求、開發(fā)、資產(chǎn)、用戶整個(gè)數(shù)據(jù)全鏈條的綁定關(guān)系。從功能上來講它比較簡(jiǎn)單，解決了需求與代碼的關(guān)系問題，業(yè)務(wù)研發(fā)側(cè)早就已經(jīng)實(shí)現(xiàn)了這個(gè)能力，研發(fā)人員提交的每一段代碼，都能知道是哪個(gè)需求。但是在數(shù)據(jù)開發(fā)這件事情上，過去缺乏關(guān)注，所以首先需要做的事情是連接需求跟數(shù)據(jù)全環(huán)節(jié)。
第二個(gè)是規(guī)范，過去數(shù)據(jù)研發(fā)整個(gè)全流程較為缺乏規(guī)范的產(chǎn)品化，主要通過團(tuán)隊(duì)內(nèi)部的文檔要求來承載，包括提需評(píng)審、模型開發(fā)測(cè)試、上線驗(yàn)收這些環(huán)節(jié)，我們認(rèn)為 DataOps在規(guī)范上面最首要的事情是要把所有數(shù)據(jù)研發(fā)過程中的這些散落的規(guī)范產(chǎn)品化并嵌入到日常的開發(fā)鏈路中。
這張圖展現(xiàn)的是字節(jié)數(shù)據(jù)開發(fā)的dataleap套件能力，涵蓋了計(jì)算引擎、全鏈路開發(fā)、全域治理、資產(chǎn)等工具，這樣的一站式大數(shù)據(jù)開發(fā)套件，能夠幫助用戶快速完成數(shù)據(jù)集成、開發(fā)、運(yùn)維、治理、資產(chǎn)、安全等全套數(shù)據(jù)研發(fā)工作，幫助數(shù)據(jù)團(tuán)隊(duì)有效的降低工作成本和數(shù)據(jù)維護(hù)成本、挖掘數(shù)據(jù)價(jià)值、為企業(yè)決策提供數(shù)據(jù)支撐。DataLeap不是一個(gè)產(chǎn)品，是一個(gè)套件(Suite)。形象的類比就是類似Office，多個(gè)產(chǎn)品相互配合，解決同一個(gè)大的問題或者叫解決方案，產(chǎn)品之間是相互合作輔助的關(guān)系。
這是字節(jié)整個(gè) DataOps 的產(chǎn)品化的整體框架圖，核心提供的一套DataOps敏捷規(guī)范研發(fā)平臺(tái)。以前有一種模式是平臺(tái)團(tuán)隊(duì)自己全包，把這些所有的規(guī)范全部給制定好，由平臺(tái)團(tuán)隊(duì)推給數(shù)據(jù)開發(fā)團(tuán)隊(duì)，但這種模式不太適合我們，因?yàn)槠脚_(tái)團(tuán)隊(duì)離業(yè)務(wù)遠(yuǎn)。
我們認(rèn)為在這種情況下平臺(tái)應(yīng)該選擇優(yōu)先提供開放的能力，這里的開放能力包括開放數(shù)據(jù)與接口、開放流程等等，有了這套開放能力，意味著所有的數(shù)據(jù)開發(fā)團(tuán)隊(duì)可以自己去編排流程，去做自己的規(guī)則規(guī)范。
另外我們發(fā)現(xiàn)開發(fā)團(tuán)隊(duì)做好之后，這套DataOps敏捷規(guī)范研發(fā)平臺(tái)在所有的數(shù)據(jù)開發(fā)團(tuán)隊(duì)都通用，舉個(gè)例子，測(cè)試的能力在字節(jié)不是在平臺(tái)做的，有專門的數(shù)據(jù) BP 團(tuán)隊(duì)，實(shí)時(shí)這塊有特殊訴求：發(fā)布完了之后數(shù)據(jù)要做盯盤，盯住實(shí)時(shí)數(shù)據(jù)的變化。依托開放平臺(tái)提供的數(shù)據(jù)支持，在直播場(chǎng)景下會(huì)提供給到主播一些實(shí)時(shí)的數(shù)據(jù)，去輔助他們做及時(shí)的決策。這些實(shí)時(shí)數(shù)據(jù)包括用戶的數(shù)據(jù)、用戶的畫像等等，主播可以基于這些用戶的畫像去調(diào)整話術(shù)?；陂_放平臺(tái) ，數(shù)據(jù)BP團(tuán)隊(duì)做任務(wù)的整個(gè)發(fā)布能力，之后我們發(fā)現(xiàn)這套能力可以通用。
簡(jiǎn)單的給大家看一下字節(jié)現(xiàn)在已經(jīng)上線的內(nèi)部版本的功能，包括了需求管理的各個(gè)維度，當(dāng)然需求管理這里其實(shí)核心的思路是讓需求能夠進(jìn)入到數(shù)據(jù)研發(fā)的全流程當(dāng)中，大家可以看到我們會(huì)做需求的準(zhǔn)入要求，以及跟開發(fā)過程以及交付綁定，然后需求的進(jìn)度追蹤、價(jià)值評(píng)估等相關(guān)的一些事情，這是一個(gè)標(biāo)準(zhǔn)需求流水線，是字節(jié)需求管理平臺(tái)上的一套流程，就是從需求開始，初評(píng)、詳評(píng)、排期、研發(fā)驗(yàn)收、價(jià)值反饋結(jié)束。
這是需求綁定頁(yè)面，在做任務(wù)開發(fā)的時(shí)候需要對(duì)當(dāng)前的一些需求做綁定，當(dāng)然這只是提供了需求綁定開發(fā)環(huán)節(jié)的一個(gè)圖，我們也會(huì)有包，比如說資產(chǎn)環(huán)節(jié)以及任務(wù)環(huán)節(jié)等各種修改環(huán)節(jié)都會(huì)跟需求做綁定。這個(gè)功能很簡(jiǎn)單，但是需求的全鏈路串聯(lián)為字節(jié)帶來的收益非常大，解決了第一個(gè)是可度量所有全流程的問題。
第二個(gè)是流水線管理，字節(jié)的流水線管理包括測(cè)試流水線、發(fā)布、離線、實(shí)時(shí)任務(wù)管理、任務(wù)優(yōu)先級(jí)管理等相關(guān)的能力，這是現(xiàn)在線上跑的一個(gè)任務(wù)，跑完的流水線的狀態(tài)，就發(fā)布會(huì)做登記、檢測(cè)、檢查、review，然后定時(shí)發(fā)布任務(wù)、盯盤等確認(rèn)等相關(guān)的動(dòng)作。
重點(diǎn)講一下這里的發(fā)布跟測(cè)試環(huán)節(jié)，這兩塊在很多公司其實(shí)是有測(cè)試環(huán)境的，但是在數(shù)據(jù)量特別大的場(chǎng)景和數(shù)據(jù)，或者較為復(fù)雜的場(chǎng)景下測(cè)試環(huán)境是沒數(shù)據(jù)的。測(cè)試環(huán)境跟業(yè)務(wù)研發(fā)相比，沒辦法涵蓋各種各樣的問題，比如說銀行場(chǎng)景下測(cè)試環(huán)境和生產(chǎn)環(huán)境肯定是隔離的，但是在字節(jié)這種互聯(lián)網(wǎng)場(chǎng)景下我們的選擇是不分離，我們的發(fā)布和測(cè)試其實(shí)是基于的是同一套數(shù)據(jù)，同一套環(huán)境，那如何做測(cè)試跟生產(chǎn)的一個(gè)隔離？核心點(diǎn)在于我們要求所有沒有經(jīng)過發(fā)布流水線的任務(wù)是不能寫生產(chǎn)的表的，讀任何生產(chǎn)的表，但是不能寫任何生產(chǎn)的表。這樣帶來的好處是我們的測(cè)試和生產(chǎn)是完全一致的，同時(shí)也能保證測(cè)試完了之后直接推到生產(chǎn)上去，這樣下來后面的測(cè)試、 QA 介入的成本是極其低的，這是字節(jié)采用的一種方式。
做了這些工具之后要如何去推廣？這也是今年初字節(jié)面臨的問題，就是如何在公司內(nèi)大范圍去落地 DataOps 的能力。最早開始推得很辛苦，也遭遇了很多挑戰(zhàn)，不過也總結(jié)了一些經(jīng)驗(yàn)。
第一個(gè)叫做鯰魚效應(yīng)，所謂的鯰魚效應(yīng)因?yàn)槭菙?shù)據(jù)BP 在主導(dǎo)這件事情，所以主導(dǎo)團(tuán)隊(duì)可以先推起來。比如說在直播場(chǎng)景下先試用拿到非常多的指標(biāo)，總結(jié)經(jīng)驗(yàn)，我們可以帶著這些指標(biāo)和經(jīng)驗(yàn)去和其他團(tuán)隊(duì)溝通，以提高人效的角度切入，在這種情況之下，有的團(tuán)隊(duì)就會(huì)愿意來學(xué)習(xí)試用。
第二個(gè)是拆箱即用，我們向其他 BP 團(tuán)隊(duì)提供的時(shí)候，其他 BP 團(tuán)隊(duì)不需要多做任何其他的事情，只需要打開他的流程開關(guān)就 OK 了，切換路徑成本是非常低的。
第三個(gè)是自頂向下，類似的像 DataOps 這種工具跟能力，一定是需要先拿到自頂向上，或者是來自于業(yè)務(wù)側(cè)更高層的認(rèn)可之后，才能夠持續(xù)不斷地往下推，類似規(guī)范的事情，不是一個(gè)自下往上能推得起來的。
一個(gè)研發(fā) leader 肯定會(huì)關(guān)注研發(fā)效能問題，這里給大家分享一套字節(jié)基于研發(fā)效能的指標(biāo)牽引體系，該體系有四個(gè)維度的度量指標(biāo)，包括效率、質(zhì)量、資源投入、收益等相關(guān)的一些指標(biāo)。這些指標(biāo)是我們參照業(yè)務(wù)研發(fā)來形成了一套數(shù)據(jù)研發(fā)指標(biāo)體系，我們會(huì)去關(guān)注數(shù)據(jù)需求的交付周期、定容率、交付數(shù)、缺陷修復(fù)時(shí)長(zhǎng)、線上事故、業(yè)務(wù)研發(fā)的配比。最后是重點(diǎn)專項(xiàng)相關(guān)的一些事情。這里面除了最后一個(gè)是需要人工去干預(yù)的，其余的現(xiàn)在都能做到線上化的統(tǒng)計(jì)，這是非常方便的。
所謂管理者視角是圍繞數(shù)據(jù)開發(fā)團(tuán)隊(duì)的價(jià)值和未來，通過開放讓數(shù)據(jù)團(tuán)隊(duì)有可輸出的專業(yè)價(jià)值。對(duì)于數(shù)據(jù)團(tuán)隊(duì)來講有兩類價(jià)值，一類叫做業(yè)務(wù)價(jià)值，一類叫做專業(yè)價(jià)值。業(yè)務(wù)價(jià)值很好講，是我為業(yè)務(wù)做了多少個(gè)需求，其中哪些重點(diǎn)項(xiàng)目重點(diǎn)參與了，最后是為業(yè)務(wù)帶來了多少效率上的提升，通過某些數(shù)據(jù)的手段讓業(yè)務(wù)拿到了多少收益。其次是專業(yè)性的價(jià)值，這個(gè)事情對(duì)于很多數(shù)據(jù)團(tuán)隊(duì)來講是一個(gè)很困擾的難題，數(shù)據(jù)團(tuán)隊(duì)到底在業(yè)界、在公司內(nèi)部有哪些是不可替代的？有哪些是專業(yè)性的東西？這里我們?cè)谧?Datops 實(shí)踐的時(shí)候，發(fā)現(xiàn)通過開放讓數(shù)據(jù)團(tuán)隊(duì)自己有可輸出的專業(yè)性價(jià)值，這非常關(guān)鍵，這能讓數(shù)據(jù)團(tuán)隊(duì)很充分地來參與到這件事情當(dāng)中來。
在開發(fā)者視角層面，核心的事情是如何獲得工作當(dāng)中的成就感，這一點(diǎn)是留住人的關(guān)鍵：
認(rèn)可&執(zhí)行：規(guī)范本身是反人性的，在團(tuán)隊(duì)內(nèi)落地DataOps需要充分溝通，結(jié)合團(tuán)隊(duì)調(diào)整與個(gè)人發(fā)展，講清為什么，避免粗暴落地 參與&貢獻(xiàn)：構(gòu)建人人可參與的開發(fā)環(huán)境，讓數(shù)據(jù)開發(fā)可以深度的參與到流程制定與落地的過程中來，促進(jìn)個(gè)人影響力的提升落地DataOps的收益主要包含規(guī)范、質(zhì)量、效率三部分，具體來看：
規(guī)范：在不同方向上規(guī)范制定與復(fù)用，保障流程100%落地 質(zhì)量：系統(tǒng)性的解決風(fēng)險(xiǎn)場(chǎng)景上的研發(fā)流程問題，因研發(fā)流程導(dǎo)致的數(shù)據(jù)質(zhì)量事故數(shù)歸0 效率：通過更可靠的交付避免返工，同時(shí)疊加提效能力，預(yù)計(jì)可提升研發(fā)在業(yè)務(wù)需求滿足中的開發(fā)效率10%+最后是關(guān)于數(shù)據(jù)研發(fā)未來的展望，首先想談?wù)剺I(yè)務(wù)價(jià)值：
數(shù)據(jù)需求價(jià)值度量標(biāo)準(zhǔn) 基于需求價(jià)值最大化的調(diào)度策略數(shù)據(jù)需求的價(jià)值度量相對(duì)功能需求而言更為復(fù)雜，所以下一階段我們是希望能夠度量清楚數(shù)據(jù)需求的具體價(jià)值，然后實(shí)現(xiàn)基于需求價(jià)值最大化的調(diào)度策略，從而達(dá)成我們對(duì)于人效和成本的控制目標(biāo)。
關(guān)于質(zhì)量與效率，未來我們會(huì)主要關(guān)注以下三點(diǎn)：
基于大模型的需求對(duì)接能力 基于大模型輔助開發(fā)的能力 低成本的數(shù)據(jù)測(cè)試及驗(yàn)證能力最近大模型特別火，我們認(rèn)為大模型參與數(shù)據(jù)研發(fā)是非常具有現(xiàn)實(shí)意義且具有挑戰(zhàn)的事情，不論從需求對(duì)接還是輔助開發(fā)視角上，大模型都能為我們提供更多自動(dòng)化方案應(yīng)對(duì)過去需要依賴經(jīng)驗(yàn)沉淀才能解決的問題；同時(shí)我們發(fā)現(xiàn)在字節(jié)的數(shù)據(jù)規(guī)模下數(shù)據(jù)測(cè)試的成本是非常高的，未來也希望探索低成本的數(shù)據(jù)測(cè)試的驗(yàn)證方案。
DataOps理念在字節(jié)落地的成果后續(xù)也會(huì)通過火山引擎DataLeap對(duì)外輸出?；鹕揭鍰ataLeap是一站式數(shù)據(jù)中臺(tái)套件，能夠幫助用戶快速完成數(shù)據(jù)集成、開發(fā)、運(yùn)維、治理、資產(chǎn)、安全等全套數(shù)據(jù)中臺(tái)建設(shè)，幫助數(shù)據(jù)團(tuán)隊(duì)有效的降低工作成本和數(shù)據(jù)維護(hù)成本、挖掘數(shù)據(jù)價(jià)值、為企業(yè)決策提供數(shù)據(jù)支撐。
點(diǎn)擊跳轉(zhuǎn) 了解更多
