所謂流式處理技術(shù),是針對(duì)流式數(shù)據(jù)的一種分布式、高可用、低延時(shí)、具有自身容錯(cuò)性的實(shí)時(shí)計(jì)算技術(shù)。它是根據(jù)一組處理規(guī)則來(lái)工作的工具。通過(guò)提取和分析來(lái)自各個(gè)系統(tǒng)的信息,解決企業(yè)監(jiān)控和管理的各種問(wèn)題。
目前,主流的流數(shù)據(jù)處理技術(shù)主要有Storm、Spark、Streaming等,它們的基本原理是類似的,均對(duì)來(lái)自各個(gè)系統(tǒng)的高頻度事件流進(jìn)行分析,根據(jù)既定的一些分析規(guī)則,對(duì)每個(gè)獨(dú)立事件進(jìn)行處理分析,計(jì)算得出所需要的服務(wù)信息,用于時(shí)效要求的服務(wù)場(chǎng)景。
典型的流數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)思路如圖12-3所示。