千尋CORS如何做到“每秒服務(wù)百萬用戶”

摘要：千尋CORS特別“穩(wěn)”，用過的人都知道。撐起千尋服務(wù)穩(wěn)定性的，是一項名為“高并發(fā)”的技術(shù)能力。2021年，千尋位置高精度位置服務(wù)平臺的高并發(fā)能力已經(jīng)達到了每秒百萬級，也就是說每秒鐘能夠為超過百萬級的用戶來同時提供高精度定位的服務(wù)。

千尋CORS特別“穩(wěn)”，用過的人都知道。撐起千尋服務(wù)穩(wěn)定性的，是一項名為“高并發(fā)”的技術(shù)能力。

什么是“高并發(fā)”？“高并發(fā)”是指大量用戶（終端）的快速接入。對于網(wǎng)絡(luò)平臺而言，如果不具備良好的高并發(fā)處理能力，輕則引發(fā)服務(wù)中斷，重則引起服務(wù)器宕機。

2021年，千尋位置高精度位置服務(wù)平臺的高并發(fā)能力已經(jīng)達到了每秒百萬級，也就是說每秒鐘能夠為超過百萬級的用戶來同時提供高精度定位的服務(wù)。

這不僅是行業(yè)里面的優(yōu)先，對標整個互聯(lián)網(wǎng)也是一個高水平能力。這是如何做到的呢？下面小編將從系統(tǒng)能力、運維能力兩個層面，分析其中的技術(shù)要點。

系統(tǒng)能力｜水平擴展

基于分布式服務(wù)架構(gòu)設(shè)計的千尋位置高精度位置服務(wù)平臺，具有“海量用戶”的服務(wù)擴展能力，增加服務(wù)器就可以服務(wù)更多用戶。在具體的實現(xiàn)路徑上，主要分為4步：

第1步：自研SpaceX高性能分布式框架

千尋位置的服務(wù)具有覆蓋廣、規(guī)模大、實時性要求高等特點，需要千尋位置高精度位置服務(wù)平臺以高度的靈活性，實現(xiàn)效率比較大化。針對這樣的情況，2015開始，千尋位置自主研發(fā)了內(nèi)部代號為SpaceX的高性能分布式應(yīng)用框架。

SpaceX框架：可以將一個龐大的計算任務(wù)劃分為若干個小任務(wù)，并分配給每臺計算機。計算機集群通過并行處理提高了效率，在統(tǒng)一管理控制下，完成大規(guī)模信息處理任務(wù)。國家北斗地基增強系統(tǒng)“全國一張網(wǎng)”的解算，就是通過SpaceX框架，分成幾千個小網(wǎng)任務(wù)，分布在上百臺機器同時進行解算。

第二步：快速復制數(shù)據(jù)的擴展塢程序Switch千尋位置針對快速復制國家北斗地基增強系統(tǒng)“全國一張網(wǎng)”能力，研發(fā)了一個擴展塢程序，它被命名為Switch。Switch將算法產(chǎn)生的網(wǎng)格數(shù)據(jù)復制多份，再將復制的數(shù)據(jù)分發(fā)給下游用戶。

第三步：提高效率，集中處理

為提升處理性能，千尋位置高精度位置服務(wù)平臺中熱點識別應(yīng)用會將用戶分布較多的區(qū)域識別出來，將相同地區(qū)用戶集中到一塊處理，大大提升性能，降低服務(wù)器壓力，達到降本增效效果。

第四步：用戶均勻分布，降低平均排隊時間

用戶連接服務(wù)時，千尋位置高精度位置服務(wù)平臺會有專門的負載均衡SLB應(yīng)用來指導用戶應(yīng)該去哪個服務(wù)器處理。這樣每個服務(wù)器的壓力均衡，用戶平均等待時間就降低了。

系統(tǒng)能力｜服務(wù)高可用

千尋位置高精度位置服務(wù)平臺除了要去支撐用戶，還要保證服務(wù)的高可用。千尋位置做了多套服務(wù)冗余備份，在數(shù)據(jù)中心之下分為6個可用區(qū)和3個隔離集群。

·6個可用區(qū)，比較主要就是防止單機房故障，可用區(qū)的概念有點像當?shù)氐臋C房；

·3個隔離區(qū)群，是按照千尋位置的業(yè)務(wù)群體進行劃分的。由于不同行業(yè)（智能電子設(shè)備、汽車、測繪RTK）對于高精度位置服務(wù)的要求和標準不同，隔離區(qū)群能夠做到互補干擾。

系統(tǒng)能力｜自我保護

千尋位置高精度位置服務(wù)平臺在流量突增的時候擁有自我保護機制，主要是精準流控和熔斷機制。

一、精準流控有6種影響因素，主要包括算法A/B群灰度、鏈路規(guī)則、用戶應(yīng)用、產(chǎn)品、區(qū)域、百分比，按照這6種因素不同的排列組合，可以形成適合不同用戶的策略。比如有一種策略，只適合廣東地區(qū)電力，那有這種路線規(guī)劃的話就可以把這個服務(wù)精準的去推到這個客戶上面。

二、熔斷機制的建設(shè)。千尋位置的服務(wù)其實是有容量的，比如說現(xiàn)在容量是1億，那突然來了2億流量，千尋位置的高精度位置服務(wù)平臺能去做到一個自我保護，優(yōu)先保證服務(wù)好前1億用戶。隨著服務(wù)器擴展，逐漸去支持到后來涌入的2億流量。

運維能力｜快速診斷

基于系統(tǒng)可視化和智能化定位能力，千尋位置高精度位置服務(wù)平臺可以進行問題的快速定位。

·系統(tǒng)可視化能力由業(yè)務(wù)監(jiān)控大屏、應(yīng)用處理能力監(jiān)控大屏、云資源服務(wù)狀態(tài)監(jiān)控大屏組成。從這三個維度，系統(tǒng)就完完全全變成一個透明化。

·業(yè)務(wù)監(jiān)控大屏實時呈現(xiàn)用戶在線數(shù)量、整體分布、定位狀態(tài)、特定用戶群體以及在線的工具（測距、定位、回放）；

·應(yīng)用處理能力監(jiān)控大屏核心呈現(xiàn)用戶實時連接數(shù)、每秒新增連接數(shù)、每秒下線連接數(shù)；

·云資源服務(wù)狀態(tài)監(jiān)控則能查看CPU使用情況、內(nèi)存使用情況、TCP網(wǎng)絡(luò)連接狀態(tài)等。

·智能化定位能力由系統(tǒng)控制臺、網(wǎng)格異常分析、基站異常分析構(gòu)成，能夠主動判斷用戶服務(wù)是否正常、問題是否由基站引起以及是否由周邊環(huán)境影響。

運維能力｜快速恢復

千尋位置高精度位置平臺具有從問題中快速恢復的能力，在實施層面分為快速響應(yīng)、記錄通知、啟動預(yù)案、工具化處理4個步驟。

首先，千尋位置設(shè)置了7*24小時值守的應(yīng)用監(jiān)控室，及時響應(yīng)問題；

其次，千尋位置應(yīng)急響應(yīng)平臺記錄事件，并通過電話、軟件系統(tǒng)通知相關(guān)運維、開發(fā)等處理人員；

再次，日常處理預(yù)案留有記錄，運維人員結(jié)合系統(tǒng)流程+工具，自動化操作減少失誤，達到快速恢復的能力；

比較后，將日常標準流程歸納提煉之后，都升級為工具化執(zhí)行，不需要人工干預(yù)，在提高效率的同時，也避免了因人為導致的不可控因素。

運維能力｜故障演練

混沌工程是在分布式系統(tǒng)上進行實驗的學科。模擬功能性測試、性能測試、極端場景測試，通過長時間測試，發(fā)現(xiàn)系統(tǒng)以常規(guī)測試手段難以模擬和測試的BUG。

混沌工程比較主要解決極端的情況，比如說網(wǎng)絡(luò)中斷、服務(wù)器宕機等，它通過長時間測試，頻繁的去驗證，訓練出系統(tǒng)級的反應(yīng)能力并加以鞏固，在真正遇到問題的時候給予反應(yīng)。