在海量的大數(shù)據(jù)網(wǎng)絡(luò)安全實(shí)施經(jīng)驗(yàn)的基礎(chǔ)上，BaaS優(yōu)化了默認(rèn)的索引劃分方式。將海量的日志數(shù)據(jù)根據(jù)威脅等級(jí)等屬性進(jìn)行劃分，統(tǒng)一保存在日志類(lèi)型相關(guān)的索引中；將異常記錄、原始告警、統(tǒng)計(jì)指標(biāo)等其他類(lèi)型數(shù)據(jù)按較長(zhǎng)的時(shí)間周期劃分，例如月、半年、一年或不劃分，并且將劃分方式與具體的安全模型或業(yè)務(wù)解耦，將這類(lèi)數(shù)據(jù)全部統(tǒng)一打上相應(yīng)的標(biāo)簽標(biāo)識(shí)所屬業(yè)務(wù)，實(shí)現(xiàn)對(duì)入庫(kù)數(shù)據(jù)的差異化。

BaaS通過(guò)合理的細(xì)化管理，優(yōu)化索引種類(lèi)、數(shù)量、分片數(shù)，在兼顧業(yè)務(wù)的同時(shí)極大地減少了維護(hù)成本與ES集群的壓力。

另外，不同于之前硬編碼強(qiáng)耦合的方式，BaaS支持動(dòng)態(tài)的配置調(diào)整索引的名稱(chēng)、劃分周期及業(yè)務(wù)含義等，對(duì)于不同的網(wǎng)絡(luò)安全場(chǎng)景，都可以僅通過(guò)配置動(dòng)態(tài)定制自己的入庫(kù)策略與索引劃分方式。

如果索引劃分的邏輯變更了，或者根據(jù)客戶要求通過(guò)BaaS修改了索引的名稱(chēng)、劃分周期，那么之前相關(guān)聯(lián)的其他業(yè)務(wù)模塊不是也都要跟著改一遍嗎？

No，No，No！

BaaS引入了ES的別名機(jī)制，使得與ES相關(guān)的其他業(yè)務(wù)能夠和BaaS的ES索引管理的策略解耦。索引別名可以指向一個(gè)或多個(gè)索引，并且可以在任何需要索引名稱(chēng)的API中使用。別名為我們提供了極大的靈活性，它允許我們?cè)谡谶\(yùn)行的集群上的一個(gè)索引和另一個(gè)索引之間切換，或?qū)Χ鄠€(gè)索引進(jìn)行分組組合，而這些對(duì)于業(yè)務(wù)的調(diào)用方是透明的。例如：為兼容舊版本業(yè)務(wù)，默認(rèn)情況下每種索引都會(huì)有一個(gè)與過(guò)去版本同類(lèi)型索引名對(duì)應(yīng)的別名，使得其他業(yè)務(wù)能夠依然正常使用。

另外，對(duì)于每個(gè)索引，可以配置多個(gè)別名，適配多種安全大數(shù)據(jù)分析場(chǎng)景。

以上這些，都可以通過(guò)BaaS動(dòng)態(tài)配置管理實(shí)現(xiàn)，這就達(dá)到了解耦上層業(yè)務(wù)的目的。

BaaS在海量大數(shù)據(jù)存儲(chǔ)與安全分析的業(yè)務(wù)中引入了索引模板的管理。對(duì)于每一種劃分的索引，都首先為其新建模板，然后在新建索引以應(yīng)用模板中的設(shè)置。

在索引的模板中，可以配置索引的別名、索引的配置（settings）、字段映射（mappings）等信息，明確地設(shè)定索引的分片數(shù)、副本數(shù)及其他可優(yōu)化性能的配置。

同時(shí)，基于BaaS統(tǒng)一的數(shù)據(jù)字典管理功能，我們根據(jù)分析團(tuán)隊(duì)及客戶提供的數(shù)據(jù)字典，動(dòng)態(tài)的生成索引mapping，規(guī)范數(shù)據(jù)的寫(xiě)入，使得海量的異構(gòu)數(shù)據(jù)遵循統(tǒng)一的數(shù)據(jù)字典標(biāo)準(zhǔn)。另外，動(dòng)態(tài)mapping的支持使得安恒的大數(shù)據(jù)安全平臺(tái)具備了動(dòng)態(tài)拓展能力，也能支持客戶現(xiàn)場(chǎng)多樣的不在字典中的非標(biāo)字段。

我們還將索引的模板配置開(kāi)放到了BaaS自己的前端界面，便于運(yùn)維與監(jiān)控。例如：在修改了某一類(lèi)索引的模板內(nèi)容后，BaaS將自動(dòng)修改ES集群中模板的內(nèi)容，并新建一個(gè)新的索引以應(yīng)用最新的模板配置，并將可寫(xiě)的別名指向這個(gè)新建的索引。整個(gè)操作對(duì)于業(yè)務(wù)方式完全透明的，但在后端實(shí)質(zhì)上已經(jīng)實(shí)現(xiàn)了索引配置的實(shí)時(shí)更新。

ES的索引生命周期，可以隨時(shí)間的推移管理索引。對(duì)于時(shí)間序列的索引，索引生命周期有四個(gè)階段：hot——索引積極地更新和查詢、warm——索引不再更新，但仍在查詢中、cold——索引不再更新并且很少被查詢。信息仍然可搜索，可以接受較慢的查詢速度、delete——不再需要索引，可以安全地刪除它。

BaaS引入了ES的索引生命周期管理機(jī)制，對(duì)每一種索引都配置了相應(yīng)的生命周期。它與索引的別名管理、模板管理，三者之間是緊密聯(lián)系，三位一體的。

特別是，在hot階段，我們配置了索引滾動(dòng)（rollover）。這一功能使得我們可以設(shè)置一個(gè)存儲(chǔ)空間或數(shù)據(jù)條數(shù)的閾值，當(dāng)數(shù)據(jù)持續(xù)寫(xiě)入時(shí)，一旦超過(guò)這一閾值，ES將進(jìn)行索引滾動(dòng)，新建一個(gè)索引并使得原有索引的寫(xiě)別名指向這個(gè)索引，同時(shí)還會(huì)將原索引標(biāo)記為只讀。而又由于BaaS為每一種索引都設(shè)置了對(duì)應(yīng)的模板，新生成的索引仍將應(yīng)用我們配置好的索引，整個(gè)系統(tǒng)能夠持續(xù)穩(wěn)定運(yùn)行。這就解決了常見(jiàn)的數(shù)據(jù)不均衡導(dǎo)致的個(gè)別索引過(guò)大問(wèn)題。

除此之外，在warm、cold階段，通過(guò)BaaS也可以相應(yīng)地設(shè)置索引收縮、冷凍等操作，以減輕大數(shù)據(jù)安全分析集群存儲(chǔ)和運(yùn)行時(shí)的壓力。

由于ES6.8版本本身對(duì)于生命周期的實(shí)現(xiàn)還有很多需要改進(jìn)之處，BaaS平臺(tái)為實(shí)現(xiàn)集群的長(zhǎng)時(shí)間穩(wěn)定運(yùn)行，對(duì)于常見(jiàn)的異常情況都配置了相應(yīng)的定時(shí)任務(wù)，在ES本身機(jī)制之外提供了“雙保險(xiǎn)”，保證著模板管理、別名管理、生命周期管理這三者的持續(xù)可用，保證著整個(gè)集群長(zhǎng)期可持續(xù)穩(wěn)定運(yùn)行。

鑒于《中華人民共和國(guó)網(wǎng)絡(luò)安全法》國(guó)家網(wǎng)絡(luò)安全法中要求網(wǎng)絡(luò)日志保存6個(gè)月以上的規(guī)定，針對(duì)海量的網(wǎng)絡(luò)安全大數(shù)據(jù)存儲(chǔ)業(yè)務(wù)，BaaS配置了相關(guān)的磁盤(pán)清理、定時(shí)檢查等任務(wù)，保證數(shù)據(jù)在ES索引中的安全性的同時(shí)也將及時(shí)清理重要級(jí)別較低的數(shù)據(jù)，使集群能夠長(zhǎng)期穩(wěn)定運(yùn)行。

基于應(yīng)用場(chǎng)景數(shù)據(jù)量、成本等因素，安全大數(shù)據(jù)產(chǎn)品一般需要支持多變得機(jī)器資源環(huán)境配置，例如有單臺(tái)、雙臺(tái)、多臺(tái)等，或是ARM版、mini版、敏捷版等不同分類(lèi)，更有各類(lèi)定制項(xiàng)目。而不管是哪個(gè)版，能夠分配給BaaS、分配給ES的資源總是屈指可數(shù)。在不同環(huán)境中如果都使用一套配置那顯然是不現(xiàn)實(shí)的。

BaaS有一套動(dòng)態(tài)的機(jī)制，可以根據(jù)ES集群的節(jié)點(diǎn)數(shù)，動(dòng)態(tài)的配置模板中的分片數(shù)、索引生命周期中的索引滾動(dòng)閾值等，實(shí)現(xiàn)自適應(yīng)的ES索引的管理。