6800字給你科普:SaaS公司的系統(tǒng)穩(wěn)定與安全機(jī)制

{{item.summary}}
因本周行業(yè)內(nèi)公司出現(xiàn)了嚴(yán)重的系統(tǒng)安全事件,很多投資人和商家都來(lái)詢(xún)問(wèn)有贊,有贊有沒(méi)有這樣的問(wèn)題,有贊是如何做系統(tǒng)穩(wěn)定和安全管理的?花心思做好這個(gè)事情要多少成本?基于大家的疑慮和擔(dān)憂(yōu),我們覺(jué)得有責(zé)任和大家就“系統(tǒng)穩(wěn)定與安全機(jī)制”這個(gè)話(huà)題做一個(gè)交流。有贊CTO崔玉松、有贊CFO俞韜(同時(shí)兼任有贊安全和風(fēng)控團(tuán)隊(duì)負(fù)責(zé)人)與投資者進(jìn)行了分享。
為了讓更多人聽(tīng)懂看懂,我們盡力做到通俗易懂,講出一個(gè)技術(shù)邏輯的時(shí)候,趕緊打一個(gè)生活中常見(jiàn)的比方。希望大家讀完,能有“被科普到”的獲得感。
以下,是本次電話(huà)會(huì)議的實(shí)錄。
大家好,我是有贊的桃子,截至今天為止,我們關(guān)注到的那個(gè)事件應(yīng)該已經(jīng)是中國(guó)互聯(lián)網(wǎng)公司史上持續(xù)時(shí)間最長(zhǎng)的宕機(jī),每多持續(xù)一個(gè)小時(shí),都在創(chuàng)造新的記錄。
我們今天分享的主題是SaaS系統(tǒng)穩(wěn)定和安全。
昨天有朋友問(wèn)我,你一個(gè)CFO能講得清楚系統(tǒng)穩(wěn)定性和安全問(wèn)題?
有贊有句金句叫“真誠(chéng)的友誼來(lái)自不斷的自我介紹”,簡(jiǎn)單自我介紹幾句:我很慶幸,也很幸運(yùn),大概10年前,我開(kāi)始在一家中國(guó)互聯(lián)網(wǎng)巨頭公司工作的時(shí)候,就以一個(gè)財(cái)務(wù)的角色參與過(guò)中國(guó)互聯(lián)網(wǎng)歷史上著名的“全面去IOE項(xiàng)目”(IBM的小型機(jī)、Oracle數(shù)據(jù)庫(kù)、EMC存儲(chǔ)設(shè)備),以自研的系統(tǒng)取而代之。還有災(zāi)備機(jī)房體系的建設(shè)項(xiàng)目,某云計(jì)算的歷史性的登月項(xiàng)目等等;在有贊,可能大家不知道,我在CFO的職責(zé)之外,還全面負(fù)責(zé)有贊的安全和風(fēng)控團(tuán)隊(duì)。從2014年開(kāi)始,我們就在持續(xù)對(duì)抗各種DDoS攻擊、有組織的黑產(chǎn)攻擊、信用卡盜卡、網(wǎng)絡(luò)欺詐等各種安全事件。
今天,我們的分享大致分為3個(gè)部分:
(1)與系統(tǒng)穩(wěn)定和安全相關(guān)的因素、角色有哪些,都是什么概念?
(2)常見(jiàn)的影響系統(tǒng)穩(wěn)定和安全的事件是什么,怎么應(yīng)對(duì)?
(3)刪庫(kù)對(duì)商家來(lái)說(shuō)意味著什么?
系統(tǒng)安全、穩(wěn)定相關(guān)的
概念、角色有哪些?
by 崔玉松
系統(tǒng)穩(wěn)定性
穩(wěn)定性的衡量,我們經(jīng)常聽(tīng)到99.99%可用,或者3個(gè)9,4個(gè)9,什么意思?一年有365天,8760個(gè)小時(shí),525,600分鐘,31,536,000秒。不可用的時(shí)間(秒數(shù))除以31,536,000秒,就是不可用率;100%減去不可用率,就是穩(wěn)定性,就是這么算的。
業(yè)界比較優(yōu)秀的公司一般能做到 99.9%,也就是我們常聽(tīng)到的“3個(gè)9”,最好的能達(dá)到“4個(gè)9”,也就是99.99%,差一點(diǎn)的“2個(gè)9 ”,也就是穩(wěn)定性99%。
99.99%、99.9%、99%,三個(gè)相差不到0.01的數(shù)字,差異其實(shí)是很大的。拿我們上班時(shí)間來(lái)類(lèi)比:
99% ,相當(dāng)于系統(tǒng)正常上班,有雙休、節(jié)假日。
99.9%,相當(dāng)于系統(tǒng)有雙休、沒(méi)有節(jié)假日。
99.99%,相當(dāng)于系統(tǒng)全年無(wú)休,保障隨時(shí)可用。
有贊核心系統(tǒng)可用性已達(dá)到 99.99%,也就是每年僅有 0.01% 的時(shí)間不可用(=52.6分鐘、3156秒)
機(jī)房、服務(wù)器、硬盤(pán)、網(wǎng)絡(luò)(光纖)
硬盤(pán)是基礎(chǔ)存儲(chǔ)單元,硬盤(pán)在服務(wù)器里,服務(wù)器部署在機(jī)房里,公有云機(jī)房由IaaS云服務(wù)商建設(shè)并提供給其他互聯(lián)網(wǎng)公司使用。
IaaS云服務(wù)商
騰訊云、阿里云、華為云、AWS、UCloud都是IaaS,他們建設(shè)物理機(jī)房,虛擬化之后給其他互聯(lián)網(wǎng)公司用。
網(wǎng)絡(luò)運(yùn)維
保障網(wǎng)絡(luò)的質(zhì)量和可用性,管理往來(lái)的交通流量,類(lèi)似現(xiàn)實(shí)生活中的交警。
DBA(數(shù)據(jù)庫(kù)管理員)& 研發(fā)工程師
DBA這個(gè)角色,負(fù)責(zé)管理數(shù)據(jù)倉(cāng)庫(kù),只有他們才有倉(cāng)庫(kù)高級(jí)許可。其他人把需求告訴DBA,DBA來(lái)規(guī)劃、分配數(shù)據(jù)庫(kù),以有限的權(quán)限使用。
研發(fā)工程師這個(gè)角色,負(fù)責(zé)設(shè)計(jì)具體業(yè)務(wù)需要的技術(shù)架構(gòu)和寫(xiě)代碼,需要在DBA分配的數(shù)據(jù)庫(kù)上工作,都有自己和所在技術(shù)業(yè)務(wù)單元的一畝三分地。
生產(chǎn)數(shù)據(jù)庫(kù) & 備份數(shù)據(jù)庫(kù)
不同數(shù)據(jù)庫(kù)有不同管理員,刪除的指令屬于正常需要之一,就像做廚師需要菜刀一樣。但前提要有備份,而且有多個(gè)備份。就算一個(gè)庫(kù)被刪,系統(tǒng)自動(dòng)調(diào)用備份庫(kù),這個(gè)過(guò)程用戶(hù)端應(yīng)該幾乎無(wú)感知。
總結(jié)一下協(xié)作關(guān)系:
舉例來(lái)說(shuō),IaaS云服務(wù)商搭建了一個(gè)辦公空間,再給到有贊這樣的SaaS公司來(lái)租用,需要多少租多少。比如有贊租了其中一層,包含大量工位,我們的DBA相當(dāng)于行政,把這層空間再分割成不同辦公區(qū)域,指派給不同業(yè)務(wù)單元的工程師工作,同時(shí)負(fù)責(zé)辦公區(qū)域的安全。
這個(gè)辦公空間可以是精裝的、也可以是毛坯的,選哪種取決于自己的需求、預(yù)算和技術(shù)能力。比如選精裝的,最省事卻沒(méi)辦法滿(mǎn)足個(gè)性化的需求;選毛坯的可以決定裝修風(fēng)格、用什么家具,這部分“家具”就包括:數(shù)據(jù)庫(kù)管理軟件、防護(hù)措施等。
影響系統(tǒng)安全和穩(wěn)定的事件
與風(fēng)控措施
by 桃子
首先,我想說(shuō)的是,所有的風(fēng)險(xiǎn)都伴隨著一定的概率,風(fēng)控措施就是將風(fēng)險(xiǎn)概率降低到可接受的水平,或者將風(fēng)險(xiǎn)事件發(fā)生時(shí)帶來(lái)的損失控制在可接受的水平。當(dāng)然,所有的風(fēng)控措施都有對(duì)應(yīng)的成本,也就是錢(qián)和資源。
每個(gè)公司對(duì)于“什么是可接受的風(fēng)險(xiǎn)水平”都有自己的判斷,對(duì)降低風(fēng)險(xiǎn)或風(fēng)險(xiǎn)帶來(lái)的損失需要付出的財(cái)務(wù)成本,接受意愿也各不相同,這就導(dǎo)致了不同公司保持系統(tǒng)穩(wěn)定和安全的能力是不一樣的。
我們認(rèn)為,互聯(lián)網(wǎng)公司保持系統(tǒng)穩(wěn)定和安全的能力不僅僅是技術(shù)能力的問(wèn)題,更是態(tài)度和意愿的問(wèn)題。不僅僅是你行不行,更多的是你愿不愿意。
下面我想分享的是行業(yè)普遍存在的幾類(lèi)影響系統(tǒng)安全和穩(wěn)定的事件及應(yīng)對(duì)措施:
災(zāi)害/不可抗力,屬于被動(dòng)的風(fēng)險(xiǎn)事件。
輕一點(diǎn)的,比如大家經(jīng)常會(huì)聽(tīng)到的,機(jī)房斷電了,光纖被施工單位挖斷了;嚴(yán)重一點(diǎn)的,機(jī)房所在區(qū)域遭遇地震/洪水/火災(zāi)了,也就是機(jī)房不可抗拒地被團(tuán)滅。
這種就屬于不可抗的偶發(fā)事件。怎么辦?做“災(zāi)備”。顧名思義,災(zāi)難備份。一個(gè)不夠,備份兩個(gè)。擔(dān)心一個(gè)機(jī)房掛了,數(shù)據(jù)就放在多個(gè)機(jī)房。擔(dān)心一個(gè)IaaS云服務(wù)商掛了,那就用2個(gè)以上的IaaS云服務(wù)商。
有贊的災(zāi)備是怎么做的?
首先,我們?cè)贗aaS層面,有騰訊云和UCloud互為備份,并在每個(gè)服務(wù)商的不同機(jī)房備份。退一萬(wàn)步講,即使一個(gè)云服務(wù)商出現(xiàn)問(wèn)題,我們可以“自動(dòng)”切換到另外一個(gè)機(jī)房,并在5分鐘之內(nèi)恢復(fù)95%的流量,極限情況下,最長(zhǎng)30分鐘是可以完全恢復(fù)的。當(dāng)然這個(gè)預(yù)警速度、切換速度,在切換和調(diào)用備份時(shí)客戶(hù)端的感知和實(shí)際的影響,就因你的技術(shù)能力而異了。
另外,在備份方式上,我們熱備冷備并存?!盁醾浞荨本褪菙?shù)據(jù)的實(shí)時(shí)備份,也就是一邊生產(chǎn)數(shù)據(jù),一邊備份數(shù)據(jù)?!袄鋫浞荨敝傅氖菙?shù)據(jù)的離線(xiàn)備份,比如,每天固定時(shí)間備份過(guò)去一天的數(shù)據(jù)。
因?yàn)椤安豢煽沽Α笔切「怕适录?,并不是很多互?lián)網(wǎng)公司做了“災(zāi)備”??赡苄拇鎯e幸,或者覺(jué)得災(zāi)備的成本太大了,不想做。一個(gè)備份的成本是1,10個(gè)備份的成本就是10,再使用3個(gè)云服務(wù)商,那備份成本就是30。所以安全性和成本是相關(guān)的。當(dāng)然,技術(shù)能力可以?xún)?yōu)化成本和備份數(shù)之間的線(xiàn)性關(guān)系。無(wú)論如何,技術(shù)是有成本的;想做好,就一定要重視,要愿意花成本。
網(wǎng)絡(luò)攻擊,屬于主動(dòng)的風(fēng)險(xiǎn)事件。
最常見(jiàn)的網(wǎng)絡(luò)攻擊之一就是DDoS。
DDoS是什么?Distributed Denial of Service的縮寫(xiě),即分布式阻斷服務(wù),黑客利用DDoS攻擊器控制大量機(jī)器同時(shí)攻擊,來(lái)達(dá)到“妨礙正常使用者使用服務(wù)”的目的。
翻譯一下:如果將我們的系統(tǒng)服務(wù)比喻成一個(gè)城市交通網(wǎng)絡(luò)。正常使用者的需求,就是在城市里正常通行,而DDoS就是人為用車(chē)在各種立交橋、高架、隧道設(shè)置路障,人為造成交通擁堵甚至交通癱瘓,那想要正常出行的人就沒(méi)法通行了。DDoS的顯著特點(diǎn)是:第一,一定是人為的;第二,攻擊方也是有成本的,因?yàn)橄胍室庠斐山煌ǘ氯残枰罅康能?chē),租車(chē)是需要錢(qián)的。所以DDoS就是花自己的錢(qián)讓別人不爽。
我們偶爾也會(huì)被DDoS,這事攻擊方要花費(fèi)成本,我們也需要花費(fèi)成本來(lái)應(yīng)對(duì)。
另外一種網(wǎng)絡(luò)攻擊,叫做“拖庫(kù)”。
大白話(huà)說(shuō),就是找黑客溜進(jìn)技術(shù)系統(tǒng),拿走或者復(fù)制走他想要的東西,比如數(shù)據(jù)。常見(jiàn)的大家新聞里能聽(tīng)到的就是用戶(hù)數(shù)據(jù)被泄露,或者酒店的開(kāi)房記錄被泄露之類(lèi)的。
這種事情又要怎么防呢?
最基礎(chǔ)的,生產(chǎn)網(wǎng)絡(luò)和辦公網(wǎng)絡(luò)要完全隔離,測(cè)試網(wǎng)絡(luò)和真實(shí)網(wǎng)絡(luò)要分別部署堡壘。想一下,我們是怎么防止小偷入室盜竊的?就是在家里裝防盜窗、防盜門(mén),建圍墻,圍墻上加電網(wǎng),用鋼板加固墻體,裝非法入侵的紅外報(bào)警裝置,準(zhǔn)備武器對(duì)抗入侵。這些也還只是防御措施。
除此之外,我們還會(huì)組織模擬攻擊。比如,每個(gè)月組織內(nèi)部團(tuán)隊(duì)進(jìn)行模擬網(wǎng)絡(luò)安全滲透,讓自己內(nèi)部的資深工程師攻擊自己,以己之矛攻己之盾。目的當(dāng)然不是測(cè)試矛,而是測(cè)試盾,最希望看到的結(jié)果是矛都折了而盾還完好。
每個(gè)季度,我們還會(huì)做第三方安全眾測(cè),邀請(qǐng)第三方頂尖的“白帽子“來(lái)模擬攻擊我們。我們按照他們找到的漏洞來(lái)優(yōu)化升級(jí)我們的系統(tǒng)。這類(lèi)措施有點(diǎn)像用極端真實(shí)的軍事演習(xí)來(lái)模擬戰(zhàn)斗能力和防護(hù)能力。技術(shù)能力是沒(méi)有極限的,需要時(shí)刻保持“魔高一尺道高一丈“,與時(shí)俱進(jìn)。
最最關(guān)鍵的是,我們堅(jiān)定認(rèn)為,系統(tǒng)的安全靠喊是喊不出來(lái)的,是靠做出來(lái),靠打出來(lái)的。
補(bǔ)充一下,有贊在系統(tǒng)安全和穩(wěn)定方面,還獲得國(guó)際頂尖認(rèn)證:
有贊主體的SaaS業(yè)務(wù)擁有ISO27001信息安全管理體系認(rèn)證、CSA C*STAR云計(jì)算安全國(guó)際認(rèn)證、信息安全等級(jí)保護(hù)(三級(jí))等認(rèn)證;持牌公司“高匯通”的支付業(yè)務(wù)通過(guò) UPDSS銀聯(lián)卡支付信息安全管理標(biāo)準(zhǔn),信息安全等級(jí)保護(hù)三級(jí) ,監(jiān)督保護(hù)級(jí)等認(rèn)證。這些認(rèn)證的證書(shū),我們一直公示在有贊官網(wǎng)的“權(quán)威認(rèn)證”頁(yè)面。
這些認(rèn)證信息的一句話(huà)白話(huà)版:有贊的安全防護(hù)水平是銀行級(jí)別的。
服務(wù)器瞬時(shí)峰值超載,
屬于常規(guī)原因?qū)е碌牟环€(wěn)定。
在雙十一大促的時(shí)候,在商家搞周年大促的時(shí)候,都有可能出現(xiàn)這個(gè)情況。簡(jiǎn)單來(lái)說(shuō),就是瞬時(shí)的使用峰值超過(guò)了系統(tǒng)能夠承載的最大值。比如,高速公路平時(shí)都不太堵車(chē),放長(zhǎng)假大家都涌過(guò)去,尤其在同一個(gè)時(shí)點(diǎn),就交通堵塞了。比如,上下班高峰也會(huì)堵車(chē)。
為了應(yīng)對(duì)這個(gè)情況,我們不斷在優(yōu)化系統(tǒng)性能。打個(gè)比方,汽車(chē)在高速路上行駛,路還是這條路,但是突然車(chē)子特別多起來(lái),我們可以通過(guò)技術(shù)優(yōu)化,保證每輛車(chē)子都快速順暢通行,比如優(yōu)化信號(hào)燈、擴(kuò)建交通要道的通行能力,按照需要靈活臨時(shí)擴(kuò)充車(chē)道,優(yōu)化路面等等。
我們?cè)?019年雙11期間,訂單和訪(fǎng)問(wèn)的峰值是平時(shí)的10倍以上,系統(tǒng)完全沒(méi)有波動(dòng)。通過(guò)技術(shù)調(diào)度系統(tǒng),動(dòng)態(tài)調(diào)整峰值,既滿(mǎn)足商家穩(wěn)定做活動(dòng),又能節(jié)約成本。
從技術(shù)性能上,有贊系統(tǒng)支持每秒6萬(wàn)筆交易,頁(yè)面打開(kāi)僅需1秒。有贊云開(kāi)放接口數(shù)量1000+,日調(diào)用量超5億,吞吐自如。
人為操作錯(cuò)誤/失誤/破壞,
屬于內(nèi)部管理因素。
刪庫(kù)是什么意思?就是數(shù)據(jù)庫(kù)被刪除了。所有的代碼都是人寫(xiě)的,所有的系統(tǒng)都需要人維護(hù),有人的地方就一定有風(fēng)險(xiǎn)。
那大家可能會(huì)問(wèn),這不是無(wú)解嗎?其實(shí)也不是。尤其是資本市場(chǎng)的朋友,大家一定很熟悉一個(gè)非常簡(jiǎn)單有效的詞:內(nèi)控。
有贊具體是如何做的?
一是需要做流程管理,就像前面說(shuō)的DBA和工程師角色分離,網(wǎng)絡(luò)運(yùn)維和數(shù)據(jù)運(yùn)維分離,有些公司為了節(jié)省成本,讓一個(gè)人干多個(gè)角色就會(huì)大大增加這種風(fēng)險(xiǎn);二是要做權(quán)限隔離。生產(chǎn)數(shù)據(jù)庫(kù)和備份數(shù)據(jù)庫(kù)在不同的人手上管理,不同的備份在不同的DBA手里管理,就像公司銀行賬戶(hù)需要有兩個(gè)以上的Ukey才能完成支付一個(gè)道理。
在有贊,連我們CTO都沒(méi)有權(quán)限用一臺(tái)電腦、一套賬號(hào)密碼完成刪庫(kù)的動(dòng)作。
退一萬(wàn)步來(lái)講,哪怕真有人刪了一個(gè)數(shù)據(jù)庫(kù)。行業(yè)內(nèi)有技術(shù)底子和持續(xù)技術(shù)積累的公司,都可以做到隨時(shí)啟用恢復(fù)在任一災(zāi)備機(jī)房的任一備份數(shù)據(jù)庫(kù)。通過(guò)備份數(shù)據(jù)庫(kù)來(lái)做恢復(fù),恢復(fù)的時(shí)間和團(tuán)隊(duì)技術(shù)能力、數(shù)據(jù)存儲(chǔ)量是強(qiáng)關(guān)聯(lián)的,但這也僅僅是分鐘級(jí)、小時(shí)級(jí)、數(shù)小時(shí)級(jí)別的差異。需要耗費(fèi)幾天,絕對(duì)是不可思議的,除非還有更多沒(méi)有公開(kāi)的信息。
還有很多其他措施,也可以說(shuō)說(shuō):
機(jī)房部署嚴(yán)格的訪(fǎng)問(wèn)控制。嚴(yán)格分員工分角色,授予產(chǎn)研團(tuán)隊(duì)員工使用權(quán)限時(shí)做到最小授予。什么是“最小授予原則”?就是授予的權(quán)限不大于他的工作職責(zé)需要。
人員安全和風(fēng)險(xiǎn)管理。經(jīng)常在測(cè)試環(huán)境演習(xí)各種人為操作造成的風(fēng)險(xiǎn)事件以及應(yīng)對(duì)措施,打磨好生產(chǎn)環(huán)境快速恢復(fù)流程。要不然真出事的時(shí)候,團(tuán)隊(duì)每個(gè)人都不知道該干嘛,該聽(tīng)誰(shuí)的指揮,各項(xiàng)工作先后順序是什么,二次災(zāi)難怎么預(yù)防。
主動(dòng)預(yù)警和監(jiān)測(cè)。通過(guò)日志管理,形成進(jìn)入生產(chǎn)網(wǎng)絡(luò)完整的用戶(hù)登錄、操作日志,可追溯何時(shí)、何人、做了何種操作,異常操作實(shí)時(shí)報(bào)警,系統(tǒng)自動(dòng)響應(yīng),高危操作多重審批。運(yùn)維人員7*24小時(shí)有人在線(xiàn)。有時(shí)候看到我們運(yùn)維的同事下午才來(lái)上班,可能就是昨晚在應(yīng)急響應(yīng)。他們的工作非常辛苦,整個(gè)團(tuán)隊(duì)要保持時(shí)時(shí)刻刻的戰(zhàn)備和戰(zhàn)斗狀態(tài)。
反作弊,對(duì)抗黑灰產(chǎn)薅羊毛
這類(lèi)事件在交易類(lèi)SaaS中尤其危險(xiǎn)。商家進(jìn)行各類(lèi)營(yíng)銷(xiāo)活動(dòng),比如發(fā)放優(yōu)惠券、代金券、抵扣券、折扣卡... 這些都是有實(shí)際價(jià)值和成本的,都是實(shí)實(shí)在在的營(yíng)銷(xiāo)預(yù)算。商家原意是讓利給消費(fèi)者,刺激消費(fèi)和社交傳播。但始終有黑產(chǎn)、灰產(chǎn)的人像禿鷲一樣盯著這類(lèi)活動(dòng),有組織、有技術(shù)地“薅羊毛”。這個(gè)問(wèn)題涉及商家資產(chǎn)安全,為此有贊在幫助商家反作弊上投入了非常多精力和資源,保障商家的錢(qián)都用在刀刃上,而不是被“薅羊毛"。
“刪庫(kù)”會(huì)給商家?guī)?lái)哪些影響?
by 崔玉松
從單個(gè)商家角度看,部分?jǐn)?shù)據(jù)丟失意味著商家不知道訂單是否支付、商品是否發(fā)貨、進(jìn)店消費(fèi)的人是否應(yīng)該享受會(huì)員折扣、老顧客積分還有多少、儲(chǔ)值卡里還有多少錢(qián)等等。由此引發(fā)系統(tǒng)混亂,商家和消費(fèi)者之間的矛盾會(huì)集中爆發(fā)。消費(fèi)者跟商家扯皮,不信任商家,就是要商家的命。
從大數(shù)據(jù)的角度看,消費(fèi)者是商家最重要的資產(chǎn),大數(shù)據(jù)的丟失,會(huì)造成包括消費(fèi)者性別、年齡、偏好等畫(huà)像標(biāo)簽的丟失。失去這些標(biāo)簽就是直接毀滅了精準(zhǔn)營(yíng)銷(xiāo)的基層邏輯,精準(zhǔn)營(yíng)銷(xiāo)將無(wú)法精準(zhǔn)。
造成商家直接財(cái)務(wù)損失。以有贊為例,2019前三季度有贊商家的GMV是380億人民幣,平均每天1.4億交易額。如果刪庫(kù)造成業(yè)務(wù)停擺,每一秒鐘都是商家流失的收入。
尤其是現(xiàn)在特殊時(shí)期,線(xiàn)下商業(yè)被按了暫停鍵,線(xiàn)上是商家開(kāi)門(mén)做生意的唯一窗口。電商業(yè)務(wù)為很多商家開(kāi)了一扇窗,現(xiàn)在某些地方商家的這扇窗又被人為地關(guān)上了。我們非常憂(yōu)慮,憂(yōu)慮這些商家的生存狀態(tài)。我們這幾天也收到了很多商家的求助,他們的生意線(xiàn)上線(xiàn)下都休克了。我們希望幫助到這些商家,這也是有贊在業(yè)務(wù)層面發(fā)了江湖救急公告的原因。希望能幫上忙。
牽扯后續(xù)賠付、補(bǔ)償。有贊護(hù)航承諾,核心服務(wù)終端我們將給予102.4倍服務(wù)期補(bǔ)償。不穩(wěn)定一分鐘,補(bǔ)償102.4分鐘。如果不穩(wěn)定一天,一個(gè)商家補(bǔ)償102.4天,按我們的客單來(lái)算,相當(dāng)于3500元。1萬(wàn)個(gè)商家就是3500萬(wàn)元、10萬(wàn)個(gè)商家就是3.5億。如果不穩(wěn)定五天,這個(gè)賬,沒(méi)敢算。
2017年11月27日,為了讓“系統(tǒng)穩(wěn)定高于一切”不斷地做到極致。有贊推出了“護(hù)航計(jì)劃”,并正式宣布:有贊微商城如果出現(xiàn)系統(tǒng)不穩(wěn)定影響了客戶(hù)的生意,就按照不可用時(shí)間給予對(duì)應(yīng) 102.4 倍的補(bǔ)償。這是整個(gè)信息服務(wù)行業(yè)里沒(méi)有的最最高規(guī)格的“承諾”。2020年1月1日,有贊零售、有贊美業(yè)也正式加入“有贊護(hù)航”。有贊因技術(shù)故障對(duì)商家的每一次影響,我們都公開(kāi)、自動(dòng)、動(dòng)態(tài)顯示在有贊護(hù)航的官網(wǎng)上,符合護(hù)航補(bǔ)償界定范圍的,都有護(hù)航補(bǔ)償公告。因?yàn)橥该?,所以信任。因?yàn)樾湃?,所以承?dān)。
也可以一并說(shuō)說(shuō)騰訊云、百度云服務(wù)不可用的賠償標(biāo)準(zhǔn)。騰訊云是低于99.9%但等于或高于99%,賠償相當(dāng)于月度服務(wù)費(fèi)10%的代金券;低于99%但等于或高于95%,賠償相當(dāng)于月度服務(wù)費(fèi)25%的代金券;低于95%,賠償相當(dāng)于月度服務(wù)費(fèi)50%的代金券。而百度云是低于99.99%但是等于或高于99%,賠償相當(dāng)于月度服務(wù)費(fèi)10%的代金券;低于99%但等于或者高于95%,賠償相當(dāng)于月度服務(wù)費(fèi)25%的代金券;低于95%,賠償相當(dāng)于月度服務(wù)費(fèi)100%的代金券。
當(dāng)然,騰訊云和百度云這類(lèi)IaaS和有贊這樣的SaaS還是有些不一樣。有贊在SaaS行業(yè)3年前就公布了護(hù)航計(jì)劃,堅(jiān)持影響做生意就補(bǔ)償,對(duì)自己的嚴(yán)格苛刻,都是源于要讓商家安全、穩(wěn)定、放心地做生意。
出了問(wèn)題,就應(yīng)該給商家補(bǔ)償,這是道義。如果要補(bǔ)償,就應(yīng)該公布補(bǔ)償方案,讓大家監(jiān)督,讓大家看到擔(dān)當(dāng),這樣大家才會(huì)信任你。藏著掖著,是糊弄不過(guò)去的。這個(gè)道理非常淺顯。
我們不得不再次強(qiáng)調(diào)一下:
所有風(fēng)險(xiǎn)都伴隨著一定的發(fā)生概率,風(fēng)控措施就是將風(fēng)險(xiǎn)概率降到可接受的水平,或者將風(fēng)險(xiǎn)事件發(fā)生時(shí)帶來(lái)的損失控制在可接受的水平。當(dāng)然,所有風(fēng)控措施都有對(duì)應(yīng)的成本,也就是錢(qián)和資源。各個(gè)公司可接受的風(fēng)險(xiǎn)水平不同,愿意為之付出的財(cái)務(wù)成本也不一樣,這就導(dǎo)致了大家保持系統(tǒng)安全穩(wěn)定的能力也不同。
“保證系統(tǒng)穩(wěn)定和安全”一直以來(lái)都是有贊產(chǎn)研團(tuán)隊(duì)的核心OKR。有贊內(nèi)部把各種項(xiàng)目用P1、P2、P3來(lái)分優(yōu)先級(jí),數(shù)字越小重要性越高。有兩類(lèi)項(xiàng)目永遠(yuǎn)是P0級(jí)別的,就是保障系統(tǒng)安全的項(xiàng)目和保障資金安全的項(xiàng)目。在團(tuán)隊(duì)構(gòu)成上,有贊產(chǎn)研團(tuán)隊(duì)一直保持在全員一半左右的比例,以此保證研發(fā)迭代能力和安全防護(hù)能力。
有贊吉祥物霸王龍的故事,也與系統(tǒng)穩(wěn)定安全密切相關(guān)。
霸王龍的由來(lái)
有贊早期系統(tǒng)宕機(jī)服務(wù)不可用時(shí),會(huì)出現(xiàn)一個(gè)有霸王龍的出錯(cuò)頁(yè)面,久而久之這個(gè)霸王龍就變成了代名詞,一旦出問(wèn)題,商家就喊“霸王龍來(lái)了”。為了讓小伙伴牢記這個(gè)恥辱,我們把霸王龍定為公司吉祥物,后來(lái)還請(qǐng)世界著名的漫畫(huà)大師宮西達(dá)也為我們定制了一個(gè)霸王龍形象,做成各種玩偶、擺在公司各個(gè)角落,用來(lái)提醒大家時(shí)刻關(guān)注系統(tǒng)穩(wěn)定性,不要再讓霸王龍出現(xiàn)。
我們認(rèn)為,互聯(lián)網(wǎng)公司保持系統(tǒng)穩(wěn)定和安全的能力,不僅僅是技術(shù)問(wèn)題,更是態(tài)度和意愿問(wèn)題。不僅僅是你行不行,更多的是你愿不愿意,用心不用心。
我們認(rèn)為,在互聯(lián)網(wǎng)行業(yè)、尤其是SaaS行業(yè),系統(tǒng)的安全和穩(wěn)定就像一幢大樓的地基,地基不穩(wěn)、大樓遲早坍塌。但是地基是看不見(jiàn)的,牢不牢只有自己知道,只有災(zāi)難知道。
為此,我們始終堅(jiān)持“系統(tǒng)穩(wěn)定高于一切”,為商家保駕護(hù)航,幫助每一位重視產(chǎn)品和服務(wù)的商家成功。
任重道遠(yuǎn),未來(lái)可期!
推薦經(jīng)營(yíng)方案


打開(kāi)微信掃一掃即可獲取


-
1000+最佳實(shí)踐
-
500+行業(yè)社群
-
50+行業(yè)專(zhuān)家問(wèn)診
-
全國(guó)30+場(chǎng)增長(zhǎng)大會(huì)
請(qǐng)?jiān)谑謾C(jī)上確認(rèn)登錄