91精品国产综合久久四虎久久_国产成人午夜高潮毛片_99er视频精品免费观看_2020亚洲熟女在线观看_日本女优人体写真_国内黄色毛片_年轻的老师中文版在线_丰满女邻居做爰_久久久久久精品成人免费图片

在Strata 2017我首次提出了一個(gè)新圖表，幫助團(tuán)隊(duì)了解團(tuán)隊(duì)失敗的原因以及何時(shí)失?。?/p>

在項(xiàng)目早期，管理層和開發(fā)人員對(duì)項(xiàng)目成功負(fù)責(zé)。隨著項(xiàng)目的成熟，運(yùn)維團(tuán)隊(duì)也對(duì)項(xiàng)目成功負(fù)責(zé)。

當(dāng)運(yùn)維團(tuán)隊(duì)成員抱怨說(shuō)沒(méi)有人愿意做運(yùn)維的時(shí)候，我曾經(jīng)在這樣的情況下教育團(tuán)隊(duì)。他們是對(duì)的。 數(shù)據(jù)科學(xué)是公司想要的“性感”。數(shù)據(jù)工程和運(yùn)維團(tuán)隊(duì)并沒(méi)有得到太多的愛護(hù)。 這些組織沒(méi)有意識(shí)到數(shù)據(jù)科學(xué)站在數(shù)據(jù)運(yùn)維和數(shù)據(jù)工程師巨人的肩膀上。

我們需要做的是給這些角色一個(gè)性感的頭銜。 讓我們?nèi)绱朔Q呼這些專注于大數(shù)據(jù)的運(yùn)維團(tuán)隊(duì)：數(shù)據(jù)運(yùn)維（DataOps）團(tuán)隊(duì)。

運(yùn)維怎么說(shuō)？

當(dāng)您公開數(shù)據(jù)管線時(shí)，公司需要了解不同級(jí)別的操作要求。 數(shù)據(jù)管線需要愛和關(guān)注。 對(duì)于大數(shù)據(jù)，這不僅僅是確保集群進(jìn)程正在運(yùn)行。 數(shù)據(jù)運(yùn)維團(tuán)隊(duì)不僅需要保證系統(tǒng)運(yùn)行，還要留心關(guān)注數(shù)據(jù)。

對(duì)于大數(shù)據(jù)，我們經(jīng)常處理來(lái)自不可靠來(lái)源的數(shù)據(jù)或者非結(jié)構(gòu)化數(shù)據(jù)。 這意味著有人需要負(fù)責(zé)以某種方式驗(yàn)證數(shù)據(jù)。 這里是一個(gè)企業(yè)可能會(huì)陷入“垃圾數(shù)據(jù)導(dǎo)致垃圾產(chǎn)出”惡性循環(huán)，并導(dǎo)致項(xiàng)目失敗的地方。 如果這些臟數(shù)據(jù)擴(kuò)散并傳播到其他系統(tǒng)，我們就打開潘多拉的盒子，引起一系列意外后果。 數(shù)據(jù)團(tuán)隊(duì)需要注意到數(shù)據(jù)問(wèn)題，并在數(shù)據(jù)傳播之前進(jìn)行修正。

這些數(shù)據(jù)質(zhì)量問(wèn)題為實(shí)時(shí)系統(tǒng)帶來(lái)了新的潛在問(wèn)題。 最糟糕的情況是，數(shù)據(jù)工程團(tuán)隊(duì)沒(méi)有正確處理特定問(wèn)題，導(dǎo)致您手上有一系列連續(xù)的故障。 數(shù)據(jù)運(yùn)維團(tuán)隊(duì)將在一線確定問(wèn)題到底是關(guān)于數(shù)據(jù)的，還是關(guān)于代碼的。

數(shù)據(jù)工程團(tuán)隊(duì)不應(yīng)對(duì)此負(fù)責(zé)嗎？ 數(shù)據(jù)工程師本質(zhì)上是軟件開發(fā)人員。 我教導(dǎo)了很多人，并且與更多人進(jìn)行互動(dòng)。 我不會(huì)讓我遇見的99％的數(shù)據(jù)工程師接近生產(chǎn)系統(tǒng)。 有幾個(gè)原因，例如缺乏運(yùn)維知識(shí)，缺乏運(yùn)維思維，以及在精密的系統(tǒng)中橫沖直撞。 有時(shí)，在開發(fā)和生產(chǎn)數(shù)據(jù)之間何時(shí)需要分離上，存在一些合規(guī)性問(wèn)題。 數(shù)據(jù)工程團(tuán)隊(duì)不是處理這個(gè)問(wèn)題的合適團(tuán)隊(duì)。

這使我們絕對(duì)需要一個(gè)了解大數(shù)據(jù)操作和數(shù)據(jù)質(zhì)量的團(tuán)隊(duì)。 他們知道如何操作大數(shù)據(jù)框架。 他們能夠找出代碼問(wèn)題和數(shù)據(jù)質(zhì)量問(wèn)題之間的區(qū)別。

實(shí)時(shí)性：大數(shù)據(jù)的渦輪增壓加速按鈕

現(xiàn)在讓我們按下渦輪增壓加速按鈕（turbo button）并展開談?wù)勁c它有關(guān)的點(diǎn)：這其中包括批處理系統(tǒng)和實(shí)時(shí)系統(tǒng)。

停機(jī)和數(shù)據(jù)質(zhì)量問(wèn)題對(duì)于批處理系統(tǒng)來(lái)說(shuō)是痛苦的。 對(duì)于批處理系統(tǒng)，通常不會(huì)丟失數(shù)據(jù)。 你只是在處理以及獲取數(shù)據(jù)方面比數(shù)據(jù)產(chǎn)生落后了。 您最終會(huì)趕上并回到穩(wěn)定的數(shù)據(jù)狀態(tài)并按時(shí)處理。

然后是實(shí)時(shí)處理問(wèn)題。 實(shí)時(shí)系統(tǒng)的中斷讓痛苦程度達(dá)到了新高度。 你正在處理那些會(huì)永久丟失的數(shù)據(jù)。 事實(shí)上，在停機(jī)期間的這種痛苦是我如何確定公司是否真的需要實(shí)時(shí)系統(tǒng)的判斷標(biāo)準(zhǔn)。 如果我告訴他們，為了保證實(shí)時(shí)性，他們需要一個(gè)全新的服務(wù)水平協(xié)議（SLA），而他們不同意，這可能意味著他們不需要實(shí)時(shí)性。 實(shí)時(shí)群集的運(yùn)行停機(jī)時(shí)間應(yīng)該是非常痛苦的，以至于您將盡一切力量防止中斷。 您的實(shí)時(shí)系統(tǒng)中斷6小時(shí)應(yīng)該相當(dāng)于一次五級(jí)火災(zāi)警報(bào)。

所有這些SLA都完全屬于數(shù)據(jù)運(yùn)維團(tuán)隊(duì)的處理范疇。 當(dāng)他們出錯(cuò)時(shí)，他們不僅要負(fù)責(zé)解決問(wèn)題; 它們將成為系統(tǒng)設(shè)計(jì)的積極組成部分。 數(shù)據(jù)運(yùn)維和數(shù)據(jù)工程將選擇能夠預(yù)期到系統(tǒng)失效的技術(shù)。 數(shù)據(jù)運(yùn)維團(tuán)隊(duì)將確保數(shù)據(jù)（最好是自動(dòng)化確保）移動(dòng)到災(zāi)難備份或移動(dòng)到一個(gè)雙活集群。 這就是你避免六小時(shí)停機(jī)的方法。

搞定實(shí)時(shí)技術(shù)和SLA級(jí)別是以增加概念復(fù)雜性和操作復(fù)雜性為代價(jià)的。 當(dāng)我指導(dǎo)團(tuán)隊(duì)進(jìn)行大數(shù)據(jù)系統(tǒng)向具備實(shí)時(shí)性過(guò)度時(shí)，我確保管理層了解架構(gòu)師和開發(fā)人員并不是唯一需要新技能的人。 運(yùn)維團(tuán)隊(duì)需要學(xué)習(xí)新技能，以及新技術(shù)如何運(yùn)作。

數(shù)據(jù)運(yùn)維（DataOps）一詞中不存在“我（I）”

根據(jù)我的經(jīng)驗(yàn)，從小數(shù)據(jù)到實(shí)時(shí)大數(shù)據(jù)的復(fù)雜度飛漲了15倍。 再一次，這強(qiáng)調(diào)了對(duì)數(shù)據(jù)運(yùn)維的需求。 單個(gè)人很難跟上小數(shù)據(jù)和大數(shù)據(jù)技術(shù)的所有變化。 數(shù)據(jù)運(yùn)維團(tuán)隊(duì)需要專注于大數(shù)據(jù)技術(shù)，并跟上與之相關(guān)的最新問(wèn)題。

當(dāng)我指導(dǎo)更多團(tuán)隊(duì)過(guò)渡到實(shí)時(shí)系統(tǒng)時(shí)，我看到了各個(gè)組織的共同問(wèn)題。 這是因?yàn)橄?a href="index.html">實(shí)時(shí)數(shù)據(jù)管道的過(guò)渡帶來(lái)了跨職能的改變。

例如，使用REST API，運(yùn)維團(tuán)隊(duì)可以負(fù)責(zé)管理這件事。 他們對(duì)誰(shuí)能訪問(wèn)、如何訪問(wèn)以及為什么能夠訪問(wèn)REST終端服務(wù)進(jìn)行了細(xì)粒度的控制。 使用實(shí)時(shí)數(shù)據(jù)管線變得更加困難。 數(shù)據(jù)運(yùn)維團(tuán)隊(duì)需要監(jiān)控實(shí)時(shí)數(shù)據(jù)管線的使用情況。 首先最重要的一點(diǎn)是，他們需要確保所有數(shù)據(jù)都已加密，并且該訪問(wèn)需要登錄。

數(shù)據(jù)運(yùn)維的一個(gè)終極重要的方面，是處理數(shù)據(jù)格式的變化。 就算使用實(shí)時(shí)系統(tǒng)，數(shù)據(jù)格式也會(huì)發(fā)生變化。 這將是數(shù)據(jù)工程團(tuán)隊(duì)和數(shù)據(jù)運(yùn)維團(tuán)隊(duì)需要協(xié)同工作的關(guān)鍵時(shí)刻。 數(shù)據(jù)工程團(tuán)隊(duì)將處理問(wèn)題的開發(fā)和架構(gòu)方面。 數(shù)據(jù)運(yùn)維團(tuán)隊(duì)需要處理因這些更改而產(chǎn)生的生產(chǎn)問(wèn)題，以及對(duì)于格式更改而導(dǎo)致的功能失效進(jìn)行分類處理。

如果你仍沒(méi)被說(shuō)服，讓我最后補(bǔ)充重磅發(fā)言

正確定位“數(shù)據(jù)運(yùn)維”（DataOps）崗位職能，對(duì)于您的后期大數(shù)據(jù)項(xiàng)目至關(guān)重要。這是一個(gè)讓您的框架保持運(yùn)行并且擁有高數(shù)據(jù)質(zhì)量的團(tuán)隊(duì)。 數(shù)據(jù)運(yùn)維對(duì)于擁有良好數(shù)據(jù)的良性循環(huán)大有裨益。當(dāng)您開始了實(shí)時(shí)化或批處理化數(shù)據(jù)的旅程時(shí)，請(qǐng)確保您的數(shù)據(jù)運(yùn)維團(tuán)隊(duì)已準(zhǔn)備好迎接未來(lái)的挑戰(zhàn)。

這篇文章是O’Reilly與Mesosphere合作的一部分。 請(qǐng)參閱我們的編輯獨(dú)立性聲明。