專家警告：AI系統(tǒng)的可解釋性存在欺騙可能

德國人工智能研究中心（DFKI）研究團隊在日前召開的國際機器學習大會上報告稱，在可解釋人工智能（AI）領域，“X-hacking”是一個此前被普遍忽視的風險，并呼吁批判性和反思性地使用自動化機器學習（AutoML）工具。

圖片來源：princeea網(wǎng)站

　　如果AI系統(tǒng)作出了正確預測，但卻以完全不同的方式解釋其得出的這些結(jié)果，會發(fā)生什么？DFKI數(shù)據(jù)科學團隊介紹了“X-hacking”給AI可信度帶來結(jié)構(gòu)性風險的研究成果。

　　X-hacking一詞源于統(tǒng)計學中的P-hacking。所謂P-hacking指的是研究人員可通過一些數(shù)據(jù)操作技巧，在統(tǒng)計學上得出一個有顯著意義的結(jié)果，即使這個結(jié)果實際上并無意義。這相當于一種數(shù)據(jù)篡改，可能會導致發(fā)布假陽性結(jié)果。

　　相應的X-hacking描述了兩種核心機制：一是Cherry-picking，即從眾多同樣優(yōu)秀的模型中，精心挑選出解釋能力最強、最能支持預期結(jié)果的模型；二是定向搜索，AutoML系統(tǒng)不僅能優(yōu)化預測性能，還能精準地找到具有特定解釋模式的模型。但這里面存在的風險往往被低估。

　　即使模型得出的結(jié)果幾乎相同，所謂的特征重要性也可能存在巨大差異。這在醫(yī)學研究或社會科學等應用領域尤為敏感，因為在這些領域，可解釋的模型通常構(gòu)成關(guān)鍵決策的基礎。

　　AutoML代表了開發(fā)、選擇和優(yōu)化機器學習模型的自動化流程。軟件工具接管了許多以前只有經(jīng)驗豐富的機器學習工程師才能完成的任務，例如選擇合適的模型架構(gòu)、數(shù)據(jù)預處理和超參數(shù)優(yōu)化等。在醫(yī)學、工業(yè)或社會研究等數(shù)據(jù)密集型領域，AutoML有望實現(xiàn)更快的開發(fā)速度、更低的進入門檻和可重復的結(jié)果。

　　然而，這種自動化使得人們難以理解模型決策的制定方式，這是可解釋AI的一個關(guān)鍵問題。因此，DFKI研究團隊建議，使用AutoML的學科應該意識到方法的風險，而不僅僅只是信任軟件。