ACM SIGKDD（國(guó)際數據挖掘與知識發現大會，簡稱KDD）是數據挖掘領域的頂級國(guó)際學(xué)術會議，由美國(guó)計算機學(xué)會（ACM）數據挖掘及知識發現專委會（SIGKDD）主辦(bàn)，被中(zhōng)國(guó)計算機學(xué)會（CCF）推薦為(wèi)A類國(guó)際學(xué)術會議。自1995年以來，KDD已連續成功舉辦(bàn)了26屆，應運而生的KDD Cup更是數據挖掘領域最有(yǒu)影響力的賽事。


8月14日-18日，KDD 2021盛會于新(xīn)加坡拉開帷幕。深蘭科(kē)技(jì )DeepBlueAI（DBAI）團隊積極參與今年賽事，并成為(wèi)賽事焦點，成績表現出色，在Multi-dataset Time Series Anomaly Detection競賽中(zhōng)獲得冠軍。值得一提的是，前7名(míng)還包括華為(wèi)諾亞方舟實驗室、阿裏達摩院、海康威視、日立、三菱電(diàn)機、日本産(chǎn)業技(jì )術綜合研究所和柏林洪堡大學(xué)等知名(míng)公(gōng)司和高校的隊伍。比賽競争非常激烈，吸引了超過500支隊伍積極參與，并接收了将近2000次有(yǒu)效結果提交。



賽事介紹

Multi-dataset Time Series Anomaly Detection

Multi-dataset Time Series Anomaly Detection競賽提供了250條時間序列，并且每條時間序列都包括一個異常點。主辦(bàn)方希望選手們利用(yòng)無監督或自監督的方法找到這些異常點的位置。

時序異常檢測旨在檢測數據中(zhōng)的意外或罕見事件項。它常用(yòng)于許多(duō)工(gōng)業應用(yòng)，如運維、行業監控、産(chǎn)品價格在線(xiàn)監控等。

團隊成績



深蘭團隊名(míng)列首位


數據分(fēn)析

這些時間序列中(zhōng)異常點的種類繁多(duō)，可(kě)能(néng)是點異常，也可(kě)能(néng)是群體(tǐ)異常，如下圖。單一方法很(hěn)難找到所有(yǒu)文(wén)件的異常點，因此需要一個适用(yòng)的框架或者好的集成方法。



圖表 1不同異常類型


競賽方案

針對這一競賽，DeepBlueAI團隊自主開發了一套高泛化性和靈活性的異常檢測框架TsaDetect。具(jù)體(tǐ)來說，每個時序會經過周期分(fēn)析，多(duō)模型預測，評估和集成三個模塊。




圖表 2 TsaDetect 時序異常檢測框架

首先，分(fēn)析輸入時間序列以提取基本信息和周期，這對于需要窗口大小(xiǎo)的算法很(hěn)重要。然後，時間序列信号通過不同的模型進行處理(lǐ)。所有(yǒu)模型都會生成時間序列殘差，這些殘差被傳遞到評估和集成模塊中(zhōng)。這些殘差被标準化為(wèi)可(kě)比較并加權求和以産(chǎn)生最終的殘差。這一步中(zhōng)的權重由置信度決定，它表示模型在檢測該信号中(zhōng)的異常時的置信度。最後，異常位置由這個最終的殘差決定。


在檢測模型的選擇和開發上，主要專注于快速和穩定。我們最終采用(yòng)了基于傅裏葉變換的方法，matrix profile方法，以及改進的基于回歸的方法。每種方法都有(yǒu)自己的适用(yòng)的異常類型，通過上述的框架整合起來，就得到了一個魯棒性，泛化性更強的檢測器。


總  結

2019年，深蘭團隊就在KDD Cup 2019 AutoML Track 挑戰賽中(zhōng)取得第一名(míng)的佳績，此次深蘭的再次奪冠證明深蘭秉承“技(jì )術先行，深耕基礎研究”的理(lǐ)念，在數據挖掘領域占據領先地位。而其自主研發的時序異常檢測框架，也為(wèi)AI運維，AI時序監控等領域的實踐和落地開闊了思路。