【13551字全文照發(fā)】SaaS公司的系統(tǒng)穩(wěn)定和安全機(jī)制——中國有贊投資者交流專題電話會紀(jì)要

大家下午好，我是中國有贊IR侯蕾，感謝大家參加我們中國有贊舉辦的關(guān)于系統(tǒng)穩(wěn)定及安全機(jī)制的投資者交流專題電話會，我們注意到本周行業(yè)內(nèi)某公司出現(xiàn)了一些嚴(yán)重的系統(tǒng)安全事件，然后有很多投資人和商家朋友都來詢問有贊，比如說有贊有沒有這樣的問題，有贊是如何做系統(tǒng)穩(wěn)定和安全管理的？花心思做好這個事情要多少成本？

基于大家的疑問和擔(dān)憂，我們覺得有責(zé)任跟大家就“系統(tǒng)穩(wěn)定和安全機(jī)制”這個話題做一個交流。那么今天參加我們分享的是中國有贊的CFO俞韜先生和CTO崔玉松先生。

大家好，我是有贊的桃子，截止到今天為止，我們關(guān)注到的事件應(yīng)該已經(jīng)是中國互聯(lián)網(wǎng)公司歷史上持續(xù)時(shí)間最長的一次宕機(jī)了，再往后每多持續(xù)一個小時(shí)都在創(chuàng)造記錄。

所以今天我們分享的主題就是SaaS系統(tǒng)穩(wěn)定和安全。

昨天晚上有一個朋友問我，他說你一個CFO能講清楚系統(tǒng)安全和穩(wěn)定相關(guān)的問題嗎？

我們有贊有句話叫“真誠的友誼來自不斷的自我介紹”，所以開始之前我先簡單自我介紹幾句：我覺得我非常慶幸也非常幸運(yùn)，大概在10年前開始在一家中國互聯(lián)網(wǎng)公司巨頭工作的時(shí)候，就以一個財(cái)務(wù)的角色參與過中國互聯(lián)網(wǎng)歷史上非常著名的去IOE的項(xiàng)目。去IOE項(xiàng)目，就是去IBM的小型機(jī)oracle的數(shù)據(jù)庫和EMC的存儲設(shè)備，用我們自研的系統(tǒng)取而代之，還有各種各樣災(zāi)備機(jī)房、災(zāi)備體系的建設(shè)，還有某云計(jì)算的歷史性的一個登月項(xiàng)目等等。平常都是以CFO的身份跟大家打交道，其實(shí)在有贊我還全面負(fù)責(zé)有贊的安全跟風(fēng)控團(tuán)隊(duì)。從2014年開始，我們整個團(tuán)隊(duì)就在持續(xù)對抗著各種DDoS攻擊、有組織的黑產(chǎn)攻擊，以及各種信用卡盜卡、網(wǎng)絡(luò)欺詐等安全事件。

今天我們的分享分三個部分。

第一部分，我們希望給大家分享跟系統(tǒng)穩(wěn)定和安全相關(guān)的因素、角色有哪些。大家可能從各種地方都能看到各種各樣的文章，但可能都比較術(shù)語話化，我們盡量白話的表述來幫助大家去理解這些東西。第一部分會由崔來說。

第二部分，想跟大家介紹一下常見的影響系統(tǒng)穩(wěn)定安全的事件有哪些，行業(yè)里面是怎么去應(yīng)對的。

第三部分想跟大家交流一下，所謂的刪庫對于一個商家或者對于一個用戶來說，到底意味著什么。

我們先開始第一部分，就先有請我的戰(zhàn)友，也是我們的CTO崔玉松先生來分享。在有贊我們都叫他崔神。

大家好，我叫崔玉松。我之前的經(jīng)歷，在創(chuàng)立有贊之前，是在剛剛桃子提到的中國最大的電商公司里面工作了很長的時(shí)間，其中有比較長的一段時(shí)間也是在中國現(xiàn)在最大的云計(jì)算公司里面。我當(dāng)時(shí)加入有贊這家公司的時(shí)候人還比較少，所以親眼見證了很多的過程，所以也是自我感覺比較幸運(yùn)。加入有贊之后，很多東西開始用得上。

第一部分，我先簡單跟大家介紹一些關(guān)于系統(tǒng)安全和穩(wěn)定相關(guān)的一些概念，因?yàn)檫@些概念相對來講，不是這個行業(yè)的人來講的話，相對比較深奧一些，我盡量用一種通俗易易懂的話，來跟大家簡單的介紹一下這些概念。

第一個是穩(wěn)定性的衡量，在行業(yè)里面也通常叫做SLA，就是穩(wěn)定性的一種承諾。

所以我們經(jīng)常會聽到一些術(shù)語，比如說“99.99%的可用”。我們?nèi)粘５膶υ捓锩嬉步小叭齻€9”或者“四個9”。三個9就是99.9%，四個9是99.99%。但是很少人真正的把它換算成大家能夠理解的概念。它其實(shí)是一個相對一個服務(wù)周期來算，這個服務(wù)周期常是“按年”，也有一些會把它按照月來分，通常來講越底層的公司越把它按照顆粒度分更細(xì)，因?yàn)檫@樣的話他的保障周期會更長一些，越往上一點(diǎn)它會顆粒度會更大一些。

比如說按年來算，一年365天，如果是三個9，差不多有5個小時(shí)左右的不可用時(shí)間。如果是四個9差不多只有50多分鐘不可用的時(shí)間。一般來講，業(yè)界大概會在三個9，四個9其實(shí)能做到的其實(shí)是非常少的。那么，兩個9相當(dāng)于什么概念？拿我們每個人的工作時(shí)間來類比，“兩個9”是99%，相當(dāng)于是大家正常的上班，有雙休日有節(jié)假日；“三個9”就是有雙休日，沒有節(jié)假日；“四個9”的話相當(dāng)于基本上是全年無休的狀態(tài)。

有贊核心的系統(tǒng)里面，其實(shí)已經(jīng)做到了“四個9”，也就是每年大概只有萬分之一的時(shí)間不可用，換算下來就是3000多秒。

還有一些基本的概念。關(guān)于硬件，比如說，大家會經(jīng)常聽到的IaaS層的一些東西，比如機(jī)房里面有服務(wù)器、硬盤、光纖，對吧？

硬盤大家可能會更有概念，比如說大家在電腦里面都會有硬盤，硬盤是一個最基礎(chǔ)的存儲單元，大量的東西都存在硬盤里面，硬盤在服務(wù)器里面，服務(wù)器部署在機(jī)房里面，機(jī)房一般是由現(xiàn)在的IaaS層的廠商提供的，但也有一些是用自己獨(dú)立的機(jī)房，但現(xiàn)在通常來講都是由類似于像AWS、華為云提供的這樣的一些機(jī)房。

國內(nèi)現(xiàn)在的云廠商主要有騰訊云、阿里云、華為云、AWS、Ucloud，還有微軟。然后他們主要是把這些存儲資源虛擬化之后，給上層的應(yīng)用使用，主要是一些互聯(lián)網(wǎng)公司。

除了這些剛剛介紹的一個關(guān)于SLA穩(wěn)定性的東西，然后基本的硬件的概念之后，還有一個重要的概念就是網(wǎng)絡(luò)運(yùn)維。運(yùn)維其實(shí)在國內(nèi)叫運(yùn)維，它是一個非常中性的概念，在Google有另外一個叫法叫做SRE，網(wǎng)站可靠性工程師，從這個稱呼上來看，它實(shí)際上會更明確一些。當(dāng)然因?yàn)閲鴥?nèi)叫法的運(yùn)維和網(wǎng)站可靠性工程師之間還是有一點(diǎn)點(diǎn)的工作的差異，但是其實(shí)整體上來講差異不大，實(shí)際上都是幫助網(wǎng)站變得更加穩(wěn)定了。

這里面還有一個概念，就是關(guān)于軟件生命周期的成本的概念。實(shí)際上一個軟件，尤其是互聯(lián)網(wǎng)軟件，從出生到最后，它都是有周期的，從生產(chǎn)出來到最后下線的整個生命周期里面，實(shí)際上只有25%的成本是花在研發(fā)上，就是真正的用來開發(fā)軟件，而75%的成本實(shí)際上都是在這后面保障它的穩(wěn)定，以及一些bug的修復(fù)上面，也就是說，真正的成本其實(shí)是在后面。

Google有一篇專門的論文去講這個，所以他們把運(yùn)維叫做SRE。也是因?yàn)檫@篇文章，他們自己研究的原因，就是整個的生命周期的一個價(jià)值。這里面除了運(yùn)維或者SRE，還有一個叫DBA的角色。DBA主要就是數(shù)據(jù)庫管理員。數(shù)據(jù)庫管理員是干嘛的，他其實(shí)主要就是相當(dāng)于管了一些最核心的資產(chǎn)，然后只有DBA是可以自由進(jìn)出的，其他的角色都是不可以自由進(jìn)出的。他是幫忙去把一些數(shù)據(jù)庫備份，包括取數(shù)、維護(hù)都是由DBA來完成。

IaaS層的廠商相當(dāng)于建了一個辦公樓，然后又裝修好的工位，能夠給到我們這樣的SaaS公司來租用，需要多少就租多少。比如說有贊租了一層辦公室，然后我們的DBA相當(dāng)于是行政，把一層辦公室再分割成不同的辦公區(qū)域，指派給不同的業(yè)務(wù)單元和工程師來工作。負(fù)責(zé)辦公室的區(qū)域安全，主要是由DBA和運(yùn)維這兩個角色來共同完成。

辦公室當(dāng)然可以是精裝修的，也可以是毛坯的。各有各的好處，這取決于你自己的想法和你自己想要的東西。比如說精裝修的好處，就是你馬上就能用，做的更豪華一點(diǎn)，你馬上就能住進(jìn)去，但是它的壞處就是它的自定義程度就會低一點(diǎn)。做成毛坯的好處，就是你可以按照你自己的想法來設(shè)計(jì)，但是壞處就是你要花成本、花時(shí)間、花更多的精力去裝修。它的好處也特別明顯，就是通常來講越大的公司會采用這種毛坯的方式，因?yàn)樗凑兆约旱南敕ㄈパb修更能適合自己的業(yè)務(wù)。

以上就是我簡單跟大家介紹一下關(guān)于穩(wěn)定性相關(guān)的一些概念，后面讓我們桃子來再繼續(xù)下一部分。

剛才崔提到的很多概念，比方說可用性、IaaS服務(wù)商、網(wǎng)絡(luò)運(yùn)維、 DBA、數(shù)據(jù)庫等等。后面第二部分我想講的是，到底整個影響系統(tǒng)安全跟穩(wěn)定的事件風(fēng)控到底有哪些？

在這部分開始前，我想說的是，其實(shí)所有人都知道，所有的風(fēng)險(xiǎn)都是伴隨著一定的概率，所謂的風(fēng)控措施，就是將風(fēng)險(xiǎn)的概率降低到一個可接受的水平，或者說當(dāng)風(fēng)險(xiǎn)事件發(fā)生的時(shí)候，把它帶來的損失控制在一個可接受的水平。當(dāng)然所有的風(fēng)控措施都是有對應(yīng)的成本的，成本要么就是錢、要么就是資源，或者說從終極上來說，其實(shí)都是錢。

對于每個公司來說，什么是你可接受的風(fēng)險(xiǎn)水平，都有自己不同的判斷，對于降低風(fēng)險(xiǎn)或者說降低風(fēng)險(xiǎn)帶來的損失所要付出的財(cái)務(wù)成本，每家公司意愿和能力都是不一樣的。其實(shí)這才是導(dǎo)致了不同的互聯(lián)網(wǎng)公司，保持系統(tǒng)穩(wěn)定跟安全的能力是不一樣的。

所以，從這個層面上來說，互聯(lián)網(wǎng)公司保持系統(tǒng)穩(wěn)定跟安全的能力，不僅僅是一個技術(shù)能力的問題，它更多的是一個態(tài)度和意愿的問題。

白話一點(diǎn)來說，不僅僅是你行還是不行，更多的是你愿意還是不愿意。

先說第一類，就是我們覺得這個行業(yè)里面普遍會存在第一類影響系統(tǒng)安全跟穩(wěn)定的事件，我把它叫做災(zāi)害或者不可抗力。從性質(zhì)上來說，它是一種被動的風(fēng)險(xiǎn)事件。

舉個例子，比方說輕一點(diǎn)的，大家經(jīng)常會聽到說某機(jī)房斷電了，或者說機(jī)房的光纖被施工單位挖斷了，這都是真實(shí)存在的案例。嚴(yán)重一點(diǎn)的也是比較少發(fā)生的，比方說一些機(jī)房所在的區(qū)域遭遇地震了、洪水了、火災(zāi)了，也就是機(jī)房不可抗拒地被團(tuán)滅了。這種就是屬于不可抗的偶發(fā)事件。

這種怎么辦？既然是災(zāi)害，其實(shí)大家都比較經(jīng)常聽到就叫“災(zāi)備”，顧名思義就是災(zāi)難的備份。所有的數(shù)據(jù)你一個不夠，你就得備份兩個。你如果擔(dān)心備份在一個機(jī)房里的數(shù)據(jù)掛了，那你就數(shù)據(jù)放在多個地方。你擔(dān)心多個機(jī)房都是同一個云服務(wù)商的，你擔(dān)心云服務(wù)商掛了，那你就有兩個以上的云服務(wù)商。所以這個核心的意思就是你不要把雞蛋放在同一個籃子里，這其實(shí)是行業(yè)比較通行的做法。當(dāng)然不同的層級的備份，其實(shí)對應(yīng)的不同的成本。

有贊是怎么做的呢？在IaaS云的層面，主要的服務(wù)商有騰訊云跟Ucloud的兩個，而且他們兩個相互備份的。而且我們在每個服務(wù)商的不同的機(jī)房里有備份。也就是退1萬步講，即使一個云服務(wù)商出現(xiàn)問題，我們在技術(shù)上都可以自動切換到另一個云服務(wù)上，并且從技術(shù)的角度，從數(shù)據(jù)的角度，我們可以在5分鐘之內(nèi)基本上恢復(fù)95%的流量。在非常極端的情況下，比方說我們遭遇了非常極限的災(zāi)難的時(shí)候，我們可能最長的時(shí)間——按我們現(xiàn)在預(yù)估——大概30分鐘可以完全恢復(fù)。

當(dāng)然，不同的公司遭遇這樣的事情的時(shí)候，切換機(jī)房的速度，切換不同云服務(wù)商的速度，預(yù)警的速度，修復(fù)的速度，這個能力可能就因?yàn)榧夹g(shù)能力有很大差異。

當(dāng)然剛才說的更多的是一個備份的存儲的地方，另外一個角度就是你備份的方式。一般分兩種方式，一種叫冷備，一種叫熱備，我們現(xiàn)在就是冷備熱備并存的。所謂的熱備份就是數(shù)據(jù)的實(shí)時(shí)備份，也就是說你一邊生產(chǎn)數(shù)據(jù)一邊就在備份數(shù)據(jù)了。冷備份是指數(shù)據(jù)的離線備份，也就是說可能每天或者說定期的某一個時(shí)間段去備份。

其實(shí)所有的備份想要抵抗的都是一個災(zāi)害發(fā)生的一個概率。大家說的不可抗力，其實(shí)在很多人看來它是一個小概率事件，他確實(shí)也是一個小概率事件，所以并不是所有的互聯(lián)網(wǎng)公司都做了災(zāi)備的，有些人可能覺得心存僥幸，可能覺得這種事情反正發(fā)生的概率不大，我可能就是99%或者說不會發(fā)生災(zāi)難的那一部分，或者說有些可能會覺得災(zāi)備的成本太大了，財(cái)務(wù)上覺得不劃算，或者說覺得不想做，都有各種各樣的原因。

從成本上簡單的算，比方，1個備份的成本是1，10個備份的成本就是10，有三個云服務(wù)商可能備份的成本就是30。所以成本的投入跟安全系數(shù)是相對相關(guān)的，當(dāng)然技術(shù)能力的提升可以去優(yōu)化成本跟備份數(shù)之間的線性的關(guān)系。無論如何，技術(shù)是有成本的；想做好，就一定要重視，要愿意花成本。這就是我想說的第一部分，就是災(zāi)難和災(zāi)備對應(yīng)的系統(tǒng)穩(wěn)定、安全。

第二類，其實(shí)大家也可能經(jīng)常會聽到，我們把它歸類為網(wǎng)絡(luò)攻擊。第一類剛才說的災(zāi)備其實(shí)是一個被動的風(fēng)險(xiǎn)事件，網(wǎng)絡(luò)攻擊就是一個主動的風(fēng)險(xiǎn)事件。

比方說，最常見的網(wǎng)絡(luò)攻擊，就是我前面提到的叫DDoS攻擊，DDoS是分布式阻斷服務(wù)的英文簡稱，DDoS利用攻擊器控制大量機(jī)器來達(dá)到妨礙正常使用者使用服務(wù)的目的。

相對用白話一點(diǎn)來翻譯一下，比如說一個互聯(lián)網(wǎng)公司的系統(tǒng)服務(wù)是一個城市的交通網(wǎng)絡(luò)，正常的客戶的需求就是在這個城市里正常通行。而DDoS就是人為的在各種交通要道，比方說立交橋、高架、隧道、用車、設(shè)置路障，人為的造成了交通堵塞，甚至于交通癱瘓，這種時(shí)候正常出行的人就沒有辦法正常通行了?；谶@個特點(diǎn)，DDoS有兩個特點(diǎn)，第一它一定是人為的，第二攻擊方式有成本的，因?yàn)槿绻阋斐山煌ǘ氯阈枰{(diào)用大量的車，租車是要錢的，或者買車是要錢的。所以DDoS就是花自己的錢讓別人不爽。

我們偶爾也會被DDoS，這事很煩人，攻擊方要花費(fèi)成本，我們也需要花費(fèi)成本來應(yīng)對。

這是網(wǎng)絡(luò)攻擊的一種，我們估計(jì)還有另外一種，拖庫。

用白話一點(diǎn)來說，就是找黑客溜進(jìn)你的技術(shù)系統(tǒng)里拿走或者復(fù)制走他想要的東西，一般的就是數(shù)據(jù)。大家可能經(jīng)常在新聞里聽到的，就是某某公司用戶數(shù)據(jù)泄露或者什么酒店的入住記錄被泄露之類的。人家拖走或者復(fù)制走的數(shù)據(jù)一定是有它的價(jià)值的。

這種怎么來防護(hù)呢？最基礎(chǔ)的就生產(chǎn)網(wǎng)絡(luò)跟辦公網(wǎng)絡(luò)完全隔離，測試網(wǎng)絡(luò)跟真實(shí)網(wǎng)絡(luò)的確認(rèn)，分別部署各種各樣的堡壘。比方說你在自己家一定防小偷來入室盜竊，無非就是在家里裝防盜窗、防盜門，家里有院子建圍墻，圍墻上要不要加個電網(wǎng)？你要不要用鋼板來加固你的墻體？你要不要裝紅外報(bào)警裝置的？你要不要備一些武器來對抗武器入侵？當(dāng)然這些層面都還是在我們說的防御的層面，就是防它怎么進(jìn)來。

除了這個之外，對抗這些主動的入侵，我們還有一種方式，我們會組織各種各樣的模擬攻擊，有點(diǎn)像軍事演習(xí)。行業(yè)內(nèi)也會做通用的兩種方式，比方說有贊自己每個月都會組織內(nèi)部的團(tuán)隊(duì)進(jìn)行模擬的網(wǎng)絡(luò)安全滲透，說白了就是讓我們自己內(nèi)部相對比較牛的工程師來攻擊我們自己的網(wǎng)絡(luò)，當(dāng)然是在測試環(huán)境下，以己之矛攻己之盾。目的不是為了測試矛行不行，是測試盾行不行。希望看到的結(jié)果就是攻擊的矛都折了，盾還是完好無恙。

還有一種是會請第三方叫安全眾測。我們每個季度都會做安全眾測。我們會邀請白帽子來模擬攻擊我們，會按照他們找到的漏洞來優(yōu)化升級我們的系統(tǒng)。這兩種都是像用極端真實(shí)的軍事演習(xí)來模擬戰(zhàn)斗能力來提高防護(hù)能力。

有些人可能會問說為什么要持續(xù)的這么頻繁的去做。我經(jīng)常問我們的一些比較資深的工程師一個問題，就是工程師的技術(shù)能力有沒有極限，或者說有沒有天花板？他們告訴我的是工程師的技術(shù)能力是沒有極限的。雖然是一句玩笑話，那代表的就是一種趨勢，就是技術(shù)能力它是隨著時(shí)間、科學(xué)和科技進(jìn)步的，安全層面需要魔高一丈道高一尺。

今天你覺得自己有一個相對安全的防護(hù)能力，不代表明天，后天，明年這個時(shí)候還是。所以如果你不持續(xù)去迭代、去優(yōu)化、去升級你的防護(hù)能力，今天好的防護(hù)水平在下一個時(shí)期內(nèi)可能就是差的。

當(dāng)然對于系統(tǒng)安全來講，最最關(guān)鍵的是，我們堅(jiān)定認(rèn)為，這個東西不是說天天靠誰在外面喊就喊出來系統(tǒng)安全的，基本上系統(tǒng)安全一定是靠做出來或者打仗打出來的。

我們在系統(tǒng)安全跟穩(wěn)定方面還會去邀請很多的國際頂尖去做一些國際領(lǐng)先的認(rèn)證，我先贅述一堆術(shù)語。有贊主體的SaaS業(yè)務(wù)擁有ISO27001信息安全管理體系認(rèn)證、CSA C*STAR云計(jì)算安全國際認(rèn)證、信息安全等級保護(hù)（三級）等認(rèn)證；持牌公司“高匯通”的支付業(yè)務(wù)通過 UPDSS銀聯(lián)卡支付信息安全管理標(biāo)準(zhǔn)，信息安全等級保護(hù)三級 ，監(jiān)督保護(hù)級等認(rèn)證。這些認(rèn)證的證書，我們一直公示在有贊官網(wǎng)的“權(quán)威認(rèn)證”頁面。

以上一堆認(rèn)證，我用一句話來幫助大家理解，就是有贊，今天我們的安全防護(hù)水平是銀行級別。

前面說了兩類安全事件，第三類我想說一下就是服務(wù)器的瞬時(shí)峰值的超載，這一類其實(shí)是常規(guī)原因?qū)е碌牟环€(wěn)定。

舉個例子，大家都比較熟的雙11，或者說某個商家在做大促銷或者做活動的期間，它的流量比較高，就可能會出現(xiàn)這樣的情況。就是瞬時(shí)的使用的峰值超過了這個系統(tǒng)能夠承載的最大值。

還是打個比方來說，就是一條高速公路平時(shí)可能都不太堵車，一旦放長假了，大家都涌過去，尤其在某一個時(shí)點(diǎn)，就可能造成交通堵塞。平常大家上下班也會堵車，應(yīng)對這個情況其實(shí)需要去做的就是不斷優(yōu)化系統(tǒng)性能。

今天我們在做的事情是，高速公路上行駛路還是那條路，但是車突然多了起來，流量突然多起來的時(shí)候，我們可以通過優(yōu)化來保證每輛車都快速通行，比方說我們可以優(yōu)化信號燈，優(yōu)化交通要道的通信能力，去擴(kuò)建車道，去優(yōu)化路面之類。

舉個實(shí)際的例子，去年2019年雙11的時(shí)候，我們的訂單跟訪問的瀏覽量和訪問的峰值差不多是平常的10倍以上，但是我們整個系統(tǒng)沒有任何的波動。雙11值班的人只是在值班的狀態(tài)，基本上沒有投入戰(zhàn)斗。我們?nèi)ツ曜龅囊粋€事情是動態(tài)的去調(diào)整了我們系統(tǒng)的峰值。

這里會涉及到一個跟財(cái)務(wù)相關(guān)的問題，因?yàn)槔碚撋蟻碚f，你想把你的峰值，你的承載能力調(diào)到無限大，也可以，只要付錢。但是當(dāng)峰值過去的時(shí)候，你平時(shí)流量沒有那么多的時(shí)候，如果你還維持在峰值上其實(shí)是一種浪費(fèi)。所以這里存在一個平衡，就是你到底在什么程度上去滿足峰值的需求，同時(shí)又能解決成本的問題。

有贊可以去做到的是動態(tài)的調(diào)整峰值?；旧鲜窃陔p11前一周就開始動態(tài)調(diào)整我們系統(tǒng)的承載能力峰值來迎接峰值。我們做到的是既滿足了系統(tǒng)峰值的需要，又實(shí)現(xiàn)了滿足這個業(yè)務(wù)需求的成本不過高。

從技術(shù)性能上，有贊系統(tǒng)支持每秒6萬筆交易，也就是同時(shí)6萬人在同一秒下單支付也沒有任何問題，頁面打開僅需1秒。有贊云開放接口數(shù)量1000+，日調(diào)用量超5億，吞吐自如。

除了前三個之外，第四類風(fēng)險(xiǎn)或者說是影響系統(tǒng)安全跟穩(wěn)定的因素，我們把它歸類為內(nèi)部管理，它應(yīng)該是一種管理因素，或者說人的因素，它包括人為的操作失誤、操作錯誤，或者說人為主觀故意的破壞，比如說“刪庫”，就數(shù)據(jù)庫被刪了。

所有的代碼都是人寫的，所有的系統(tǒng)也都是需要人維護(hù)，有人的地方就有風(fēng)險(xiǎn)。

大家可能會問說，這是不是無解？其實(shí)也不是，尤其在資本市場朋友一定很熟悉，一個非常簡單也經(jīng)常聽到的一個詞，就是內(nèi)控。

他在做的其實(shí)是什么？比方說流程管理，比方說前面崔提到的數(shù)據(jù)管理工程師、數(shù)據(jù)管理員、數(shù)據(jù)庫管理員和運(yùn)維管理員，他就需要角色是分離的。有些公司它為了節(jié)省成本，它可能讓一個人干多個角色的活，看起來好像省了幾個人的成本，但其實(shí)大大增加了這種風(fēng)險(xiǎn)。

再比如權(quán)限的隔離，你生產(chǎn)用的數(shù)據(jù)庫和剛剛提到的備份用的數(shù)據(jù)庫，就應(yīng)該在不同的DBA手上管理。如果一個DBA管理所有的數(shù)據(jù)庫，你備份了等于白備份。這就像每一家公司在銀行賬戶需要財(cái)務(wù)打款的時(shí)候，一定需要兩個以上的UKey才能完成支付是一個道理。

在有贊，CTO崔、CEO白鴉都沒有權(quán)限，可以用一臺電腦、一套賬號、一套密碼完成刪庫的動作，是做不到的。

再退一步講，為了防止這種風(fēng)險(xiǎn)，能不能禁止所有人去刪除數(shù)據(jù)庫，這其實(shí)也是行不通的。有點(diǎn)像一個廚師做菜，他需要菜刀，菜刀有可能會傷害到旁邊的人，但是你不能說因?yàn)椴说队锌赡軅Φ脚赃吶私箯N師用菜刀，對吧？

所以這個時(shí)候這里的防控的措施就是萬一出現(xiàn)菜刀傷人的事件，我們可以怎么去做？萬一被刪庫，其實(shí)很多互聯(lián)網(wǎng)公司都經(jīng)歷過，怎么辦呢？

你這個時(shí)候要做的就是你找到你的災(zāi)備機(jī)房的備份，去快速的去啟用去恢復(fù)你的備份的數(shù)據(jù)，當(dāng)然備份恢復(fù)的時(shí)間跟你的技術(shù)能力跟你的數(shù)據(jù)存儲量都有關(guān)系，但通常來說差別基本上在分鐘級別或者小時(shí)級別，最多幾個小時(shí)級別，幾天都還恢復(fù)不了是不可思議的，除非還有更多沒有公開的信息。

還有很多的措施，來防止這些所謂的人為管理的錯誤。

比方說，機(jī)房的部署，一定需要有嚴(yán)格的訪問控制，員工的授權(quán)一定需要分角色。還有有一個在產(chǎn)研團(tuán)隊(duì)的授權(quán)原則，叫最小授權(quán)原則。什么叫最小授權(quán)原則？就是產(chǎn)研團(tuán)隊(duì)授予一個員工的權(quán)限，一定不能大于他工作職責(zé)的需要。

比方說，還有各種各樣在測試環(huán)境里需要經(jīng)常演習(xí)各種人為操作，還不單是攻擊，還要去演習(xí)各種人為操作造成的風(fēng)險(xiǎn)事件，團(tuán)隊(duì)怎么去應(yīng)對。因?yàn)槟悴荒鼙ＷC每個人不失誤，但是當(dāng)出現(xiàn)失誤或者造成一定的后果的時(shí)候，團(tuán)隊(duì)里每個角色他知道該干嘛，他應(yīng)該聽誰的指揮，各種各樣的工作先后順序應(yīng)該是什么，會不會產(chǎn)生二次災(zāi)難？這個時(shí)候如果沒有災(zāi)害演練，沒有預(yù)演，沒有預(yù)案，其實(shí)真的出現(xiàn)問題的時(shí)候，可能邏輯上技術(shù)上好像什么都可以做，但對于團(tuán)隊(duì)來說，可能他們已經(jīng)完全失去了戰(zhàn)斗能力。

當(dāng)然最基礎(chǔ)的還有一些，比方說，主動的預(yù)警跟監(jiān)測，我覺得這些是行業(yè)最基礎(chǔ)的，比方說你進(jìn)入生產(chǎn)網(wǎng)絡(luò)需要有最基本的操作日志，你必須得做到追溯什么人，什么時(shí)候做了什么事情，一旦有異常的操作系統(tǒng)就要自動響應(yīng)。我們運(yùn)維團(tuán)隊(duì)，他們基本上都是7×24小時(shí)在線。多說一句，互聯(lián)網(wǎng)行業(yè)運(yùn)維團(tuán)隊(duì)的工作是非常辛苦的。整個團(tuán)隊(duì)要時(shí)時(shí)刻刻保持在戰(zhàn)備和戰(zhàn)斗的狀態(tài)。

還有一類第五類比較特殊，尤其在我們這樣的交易類的SaaS公司里面特別重要。

因?yàn)樯碳以谟糜匈澫到y(tǒng)，會做各種各樣的在線營銷活動，發(fā)個優(yōu)惠券、發(fā)個代金券、發(fā)個優(yōu)惠卡，而所有的營銷活動它都是有實(shí)際價(jià)值的，都是商家計(jì)劃好的實(shí)實(shí)在在的營銷預(yù)算。對商家來說，它的原意是希望把自己的一些促銷讓利給消費(fèi)者，由此來帶動消費(fèi)者的消費(fèi)意愿，或者擴(kuò)大整個社交的傳播。

但始終在這個行業(yè)里面都會有各種叫黑產(chǎn)和灰產(chǎn)。黑色產(chǎn)業(yè)的人，他們就像禿鷲一樣，永遠(yuǎn)盯著全網(wǎng)各種各樣的營銷活動，有組織有技術(shù)的盯著各種各樣的營銷活動，用技術(shù)的手段來薅羊毛。把各種各樣的營銷活動利益最終流入了這些黑產(chǎn)跟灰產(chǎn)的口袋里。

這個問題涉及的是商家的資產(chǎn)安全，對于有贊來說，我們叫做反作弊。有贊過去在幫助商家反作弊上也投入了非常多的精力跟力量。雖然有時(shí)候在這些活動上的保護(hù)和防控的措施，商家都不一定能感知到，但是我們希望去保證的，除了系統(tǒng)安全，還保證商家的錢用在刀刃上，而不是被這些技術(shù)性的、組織性的、薅羊毛的人薅走。

前面這里大概說了五大類跟安全跟穩(wěn)定相關(guān)的風(fēng)險(xiǎn)點(diǎn)以及常用的一些措施。然后第三部分我想請崔來跟大家分享一下，數(shù)據(jù)庫被刪到底意味著什么？

因?yàn)閷Υ蠹襾碚f，可能覺得好像說數(shù)據(jù)被刪了沒什么概念。所以后面交給崔來跟大家分享一下。

說到刪數(shù)據(jù)庫，我先跟大家解釋一下，互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)大概分為幾部分。

通常來講數(shù)據(jù)分為兩部分來存儲，一部分就是我們叫在線的實(shí)時(shí)數(shù)據(jù)庫，通常意義上大家理解的刪庫的部分。還有一部分的數(shù)據(jù)是存在我們叫離線數(shù)據(jù)系統(tǒng)，也就是大家通常認(rèn)知上大數(shù)據(jù)的系統(tǒng)。

這兩部分?jǐn)?shù)據(jù)有什么差異呢？大數(shù)據(jù)肯定是會包含實(shí)時(shí)的數(shù)據(jù)，但是大數(shù)據(jù)的數(shù)據(jù)會遠(yuǎn)遠(yuǎn)大于實(shí)時(shí)的數(shù)據(jù)。以有贊為例，實(shí)時(shí)數(shù)據(jù)大概只占到整個數(shù)據(jù)體量的5%~7%比例，越大體量的公司比例可能會越低。

為什么會這樣？比如剛剛前面桃子講到的關(guān)于交易訂單，比如說你買一個東西，你下了一個訂單，這個訂單會存在實(shí)時(shí)的數(shù)據(jù)庫系統(tǒng)里面。但是在下單之前，你可能瀏覽了100次，可能瀏覽了100頁，每一頁上面可能還會點(diǎn)擊了，在每一頁上面你還點(diǎn)了三次加在一起就有300次的行為數(shù)據(jù)，數(shù)據(jù)量遠(yuǎn)遠(yuǎn)大于你剛剛下的那一單的數(shù)據(jù)量。

所以大數(shù)據(jù)里面有非常多的關(guān)于行為數(shù)據(jù)，更多明細(xì)的一些數(shù)據(jù)，只有通過這些數(shù)據(jù)可以反推出來一個消費(fèi)者怎么買到這個單，從而可以去優(yōu)化提高購買的轉(zhuǎn)化率，提高營銷的效率，諸如此類的一些東西，這些都在大數(shù)據(jù)的這一層去完成的。

如果是實(shí)時(shí)的那部分?jǐn)?shù)據(jù)庫刪了，它被刪的那一刻開始，接下來在恢復(fù)之前，它都不能交易了。還有你的訂單被刪了，用戶有損失、商家有損失之外，實(shí)際上它帶來最大的損失是履約的損失以及消費(fèi)者的不信任。

這具體會表現(xiàn)在什么？比如說你這條訂單刪了，但是你錢已經(jīng)付了，對吧？但是你再去找這個商家說我這個錢付了，那你這東西給不給我？商家又沒有看到訂單，你說他到底給還是不給，不給得罪消費(fèi)者，給他可能又虧本了。

進(jìn)一步說，你下了一筆訂單應(yīng)該有20個積分，然后這個積分給還是不給，以及這一系列的這些東西，這都會出現(xiàn)很大的風(fēng)險(xiǎn)。所以在系統(tǒng)發(fā)生宕機(jī)故障徹底混亂的時(shí)候，商家和消費(fèi)者之間會的矛盾會集中爆發(fā)，這就是我們認(rèn)為的叫履約風(fēng)險(xiǎn)。就是他消費(fèi)者下了單，但是商家沒有辦法進(jìn)行履約的，整個活動交付，整個的后臺的邏輯都亂。消費(fèi)者跟商家扯皮，不信任商家，就是要商家的命。

還有一個就是大數(shù)據(jù)的這一部分，大數(shù)據(jù)這一部分如果出現(xiàn)了問題的話，它帶來的不僅僅是一個商家履約不成功的后果，它會導(dǎo)致一系列的后臺的問題。

現(xiàn)在大家都在講說大數(shù)據(jù)、人工智能、AI，所有的東西其實(shí)都是以數(shù)據(jù)明細(xì)為起點(diǎn)的。比如說像我們要的精準(zhǔn)營銷，推薦，針對不同人群發(fā)送不同的優(yōu)惠券，都是要靠消費(fèi)者每一次點(diǎn)擊的行為數(shù)據(jù)，通過一種機(jī)器算法來識別的。丟掉的每一條數(shù)據(jù)都會導(dǎo)致識別的準(zhǔn)確度會下降，如果你全丟完了，那就沒有什么人工智能和大數(shù)據(jù)精準(zhǔn)營銷可言了。所以對于一家公司，最重要的可能就是這個部分。

當(dāng)然商家這一端肯定也會面臨一些損失。因?yàn)閺乃麆h庫的那一刻開始的話，他后面所有的生意就中斷了。尤其是像現(xiàn)在疫情期間，大家線下不能做生意，開始把生意往網(wǎng)上轉(zhuǎn)的時(shí)候，基本上像我們的一些商家，一天有幾百萬的交易額。

有贊2019年前三季度GMV是380億，差不多平均一天1.4億。實(shí)際上在疫情期間，一些傳統(tǒng)商家轉(zhuǎn)到線上來，實(shí)際上可能還會比他之前要更好一些。所以疫情以及電商的這種模式，實(shí)際上給商人們開了一個窗戶。然后現(xiàn)在很多地方很多人窗戶又被關(guān)上，所以我們自己也確實(shí)比較憂慮這些商家的生存狀況。他們的線上線下都休克了，這也是我們昨天為什么有在業(yè)務(wù)層面上發(fā)了一個公告的原因。希望能幫上忙。

既然有損失，作為一家公司肯定是要對于商家的損失不能視而不見，所以肯定會牽扯到一些賠付。

有贊的核心服務(wù)，我們都給予102.4倍的服務(wù)期的補(bǔ)償。如果不穩(wěn)定一分鐘補(bǔ)償就是102.4分鐘。通常來講，這個行業(yè)里面的補(bǔ)償是超過某一個期限，比如說大家去看幾乎所有的云廠商，他們通常的算法是這樣的，就是說比如說這個月沒滿足99%，沒有滿足三個9，四個9就是他承諾的期限，然后從它沒滿足的那一刻開始，他給你算錢。

比如說我承諾你四個9，也就是說我承諾你一年宕機(jī)不超過50分鐘，在50分鐘之內(nèi)我是不會賠的。但是有贊只要宕機(jī)一分鐘都是會補(bǔ)償?shù)模詫?shí)際上是我們按照承諾的是按照100%的承諾補(bǔ)償。

所以不穩(wěn)定一天實(shí)際上就會補(bǔ)償商家102.4天，按照我們現(xiàn)在的客單價(jià)來說，相當(dāng)于大概3500塊錢。如果你宕機(jī)一天影響1萬個商家，那就是補(bǔ)償了3500萬，如果是10萬個商家就一天就補(bǔ)償了3.5個億。如果不穩(wěn)定五天，這個賬，沒敢算。

2017年11月27日，為了讓“系統(tǒng)穩(wěn)定高于一切”不斷地做到極致。有贊推出了“護(hù)航計(jì)劃”，并正式宣布：有贊微商城如果出現(xiàn)系統(tǒng)不穩(wěn)定影響了客戶的生意，就按照不可用時(shí)間給予對應(yīng) 102.4 倍的補(bǔ)償。這是整個信息服務(wù)行業(yè)里沒有的最最高規(guī)格的“承諾”。2020年1月1日，有贊零售、有贊美業(yè)也正式加入“有贊護(hù)航”。有贊因技術(shù)故障對商家的每一次影響，我們都公開、自動、動態(tài)顯示在有贊護(hù)航的官網(wǎng)上，符合護(hù)航補(bǔ)償界定范圍的，都有護(hù)航補(bǔ)償公告。因?yàn)橥该鳎孕湃?。因?yàn)樾湃危猿袚?dān)。

也可以一并說說騰訊云、百度云服務(wù)不可用的賠償標(biāo)準(zhǔn)。

騰訊云是低于99.9%但等于或高于99%，賠償相當(dāng)于月度服務(wù)費(fèi)10%的代金券；低于99%但等于或高于95%，賠償相當(dāng)于月度服務(wù)費(fèi)25%的代金券；低于95%，賠償相當(dāng)于月度服務(wù)費(fèi)50%的代金券。而百度云是低于99.99%但是等于或高于99%，賠償相當(dāng)于月度服務(wù)費(fèi)10%的代金券；低于99%但等于或者高于95%，賠償相當(dāng)于月度服務(wù)費(fèi)25%的代金券；低于95%，賠償相當(dāng)于月度服務(wù)費(fèi)100%的代金券。

當(dāng)然，騰訊云和百度云這類IaaS和有贊這樣的SaaS還是有些不一樣。有贊在SaaS行業(yè)3年前就公布了護(hù)航計(jì)劃，堅(jiān)持影響做生意就補(bǔ)償，對自己的嚴(yán)格苛刻，都是源于要讓商家安全、穩(wěn)定、放心地做生意。

這個就是我們我簡單介紹了一下關(guān)于刪庫以及數(shù)據(jù)的基本的一些東西，希望大家能夠理解。

最后其實(shí)我還想就回應(yīng)一個問題，很多人也比較關(guān)心：發(fā)生這樣的事件，大家問我說公有云是不是不安全，是不是應(yīng)該整個行業(yè)或者說整個社會就應(yīng)該回到私有云？

其實(shí)這個問題的回答特別簡單，就是所有在公有云上遇到的風(fēng)險(xiǎn)和問題，在私有云上一模一樣的會遇到。因?yàn)樗械募軜?gòu)、協(xié)作方式，生產(chǎn)流都是一模一樣的。所以，在公有云層面遇到的問題，在私有云層面一模一樣的會遇到，但是在公有云層面，有更多專業(yè)人、專業(yè)的角色一起去解決問題，去維護(hù)穩(wěn)定和安全，私有云的層面只有自己的IT團(tuán)隊(duì)來解決問題，而絕大部分想做私有云的客戶沒有一定的技術(shù)能力，更別提一些安全防護(hù)的能力，要有也是需要極高的代價(jià)（人工）。所以從行業(yè)的角度，我覺得大家完全不用擔(dān)心這個問題。

還想重復(fù)一下最前面說的幾句話。

所有的風(fēng)險(xiǎn)都是伴隨著一定的概率的，風(fēng)控措施就是將風(fēng)險(xiǎn)概率降低到可接受的水平，或者說將風(fēng)險(xiǎn)事件帶來的損失控制在可接受的水平。當(dāng)然所有的措施都是有成本的，也就是錢，每個公司愿意接受什么樣的風(fēng)險(xiǎn)水平，愿意接受風(fēng)險(xiǎn)帶來的損失的程度都是不一樣的，這就導(dǎo)致了每個公司保障系統(tǒng)穩(wěn)定跟安全能力是不一樣的。所以互聯(lián)網(wǎng)公司系統(tǒng)穩(wěn)定安全不僅僅是你行不行的問題，更多的是你愿不愿意的問題。

過去我經(jīng)常也會跟大家溝通的時(shí)候會聊到說，我覺得有贊是一家產(chǎn)品和技術(shù)主導(dǎo)的公司，我們的技術(shù)非常好。過去大家可能沒什么感覺，你們老說自己好，哪里好？

還是打個比方，比方說我們在建房子，系統(tǒng)的穩(wěn)定跟安全就像房子的地基，這個地基其實(shí)大家都是看不到的，大家看到的是說樓有多高，這樓裝修的多漂亮，大家不知道這個地基有多深，但只有在坍塌的時(shí)候知道。所以其實(shí)只有兩個人知道，就是造房子的人和災(zāi)難知道。

所以，我們始終是把系統(tǒng)的穩(wěn)定跟安全放在第一位，這是我們有贊的產(chǎn)研團(tuán)隊(duì)最核心的OKR。在有贊的內(nèi)部，我們會把各種各樣的業(yè)務(wù)項(xiàng)目用P1、P2、P3來分優(yōu)先級，數(shù)字越小就代表這個項(xiàng)目或者說這個事情重要性水平越高。只有兩類事情，無論是什么時(shí)候永遠(yuǎn)是P0級別的，就是我們的系統(tǒng)安全事件和我們的資金安全事件。

今天其實(shí)過去差不多快一個小時(shí)的時(shí)間，跟大家交流的更多的是系統(tǒng)安全的問題，關(guān)于資金相關(guān)的問題，我覺得今天可能沒有時(shí)間跟大家分享，如果大家有興趣，我們可以下次再跟大家分享。

在有贊團(tuán)隊(duì)構(gòu)成上，過去和現(xiàn)在，包括未來也一直會是，我們的產(chǎn)研的團(tuán)隊(duì)一直保持在占總?cè)藬?shù)的一半以上。其實(shí)大家從我們發(fā)布的各種各樣的財(cái)報(bào)和路演資料里面都能看到，我們的目的和希望就是以足夠充足的研發(fā)能力來保證有贊持續(xù)的研發(fā)迭代能力和安全防護(hù)能力。

今天的最后我想再分享給大家一個故事，這個故事就是霸王龍的故事，作為今天的結(jié)尾。

很多人都知道霸王龍是有贊的吉祥物，昨天我們在給大家發(fā)的ConCall的邀請函里面也有一個霸王龍的水印的圖像，很多人可能不理解，為什么你們一個IT公司的吉祥物是一個霸王龍。

在2014年的時(shí)候，那時(shí)候有贊還不到兩歲，我們的系統(tǒng)還不很穩(wěn)定。不可用的時(shí)候，我們的后臺顯示頁面就有一只霸王龍。那時(shí)候我們和我們的商家都知道，一旦頁面出現(xiàn)霸王龍就代表有贊的系統(tǒng)服務(wù)不可用，所以那個時(shí)候只要有商家打電話給我們，或者在微信群里艾特我們說你們霸王龍了，你們趕緊處理，我們就特別緊張，當(dāng)然也特別不安。

所以，霸王龍從過去的歷史上來說，對有贊來說，它代表的就是“不穩(wěn)定”，代表的就是“不可用”，它其實(shí)代表了一種恥辱。

我們?yōu)榱颂嵝堰^去的、現(xiàn)在的、未來的所有有贊人，時(shí)時(shí)刻刻記住這個恥辱，我相信我們是可能是全世界把一個恥辱變成吉祥物的，我們把霸王龍變成了我們的吉祥物，我們把它放在我們辦公室的每個樓層，把它做成各種各樣的鑰匙扣、工牌，然后把它貼在墻上，放在所有大家能想到的能看到的地方。我們就是為了時(shí)時(shí)刻刻提醒大家，系統(tǒng)安全跟穩(wěn)定是互聯(lián)網(wǎng)公司、是有贊的基石，也是永遠(yuǎn)是第一優(yōu)先級的。

我們認(rèn)為，在互聯(lián)網(wǎng)行業(yè)、尤其是SaaS行業(yè)，系統(tǒng)的安全和穩(wěn)定就像一幢大樓的地基，地基不穩(wěn)、大樓遲早坍塌。但是地基是看不見的，牢不牢只有自己知道，只有災(zāi)難知道。

為此，我們始終堅(jiān)持“系統(tǒng)穩(wěn)定高于一切”，為商家保駕護(hù)航，幫助每一位重視產(chǎn)品和服務(wù)的商家成功。

我覺得我們今天的分享時(shí)間也差不多，我們今天分享就到這里，大家如果有更多的問題，隨時(shí)歡迎大家聯(lián)系我們的IR團(tuán)隊(duì)。她們的聯(lián)系方式，她們的郵箱在邀請函里都有，我們今天的分享就到此結(jié)束，非常感謝大家，謝謝！