可解釋的AI是指試圖為傳統(tǒng)上不透明的AI模型及其預測帶來透明度的技術(shù)，是機器學習研究的新興子領域。這也就不足為奇了-模型有時會學習一些不良技巧，以實現(xiàn)訓練數(shù)據(jù)上的目標，或者模型產(chǎn)生偏見，如果不加以解決，就有可能造成傷害。

因此，克里希納·加德(Krishna Gade)和阿米特·帕卡(Amit Paka)創(chuàng)立了Fiddler，這是一家位于加利福尼亞州山景城的初創(chuàng)公司，致力于開發(fā)“可解釋的”引擎，該引擎旨在分析，驗證和管理AI解決方案。一年多一點之后，它吸引了1,020萬美元的A輪融資，共同牽頭的Lightspeed Venture Partners和Lux Capital參與了Haystack Ventures和Bloomberg Beta的參與。

首席執(zhí)行官加德說：“企業(yè)了解人工智能所提供的價值，但他們在使用傳統(tǒng)黑匣子人工智能時會遇到“為什么”和“如何”的問題。”他補充說，新資金使Fiddler的總?cè)谫Y額達到了1,320萬美元。“企業(yè)需要降低其AI投資的風險，但是當今大多數(shù)應用程序都沒有能力幫助他們做到這一點。我們的AI引擎基于可解釋性，因此那些受技術(shù)影響的人可以理解為什么要做出決定并根據(jù)需要做出正確的路線，以確保AI輸出是合乎道德，負責任和公平的。”

提琴手的起源是在蓋德(Gade)在Facebook擔任工程經(jīng)理的工作中，在那里他和一個團隊開發(fā)了一個系統(tǒng)，該系統(tǒng)解釋了為什么某些故事出現(xiàn)在新聞Feed中。為了尋找使AI模型具有可解釋性的通用方法，Gade與前同事和同學Paka重新聯(lián)系，后者在三星的帶領下努力從公司購物應用程序的建議中獲取見解。他們與來自Microsoft，Twitter，Pinterest和其他科技巨頭的團隊一起開發(fā)了原型，成為Fiddler的產(chǎn)品。

Fiddler的可解釋引擎預計將在明年全面上市，它解釋了模型如何以及為何做出預測，并授權(quán)人類審計師確保所述預測與預期保持一致。性能組件使用戶可以查看特定數(shù)據(jù)區(qū)域如何影響模型并調(diào)整輸入以最小化(或最大化)其影響，同時跟蹤模塊連續(xù)監(jiān)視模型以發(fā)現(xiàn)異常值，數(shù)據(jù)漂移和錯誤并警告適當?shù)娜藛T。

Fiddler表示，它正在與多家財富500強企業(yè)合作，涉及銀行和金融，金融技術(shù)，AI模型風險管理以及對主動概念證明的信任和合規(guī)性，但它有很多競爭方式。8月，IBM Research推出了AI Explainability 360，這是一個開放算法的開源集合，該算法利用多種技術(shù)來解釋AI模型決策。Kyndi，啟動開發(fā)其描述為一個可以解釋的自然語言處理平臺，在七月提出的2000萬$。微軟和谷歌最近開源lnterpretML和假設分析工具Tensorboard，分別用于解釋暗箱AI一對工具包。和Facebook表示已開發(fā)出一種工具來檢測和緩解其AI系統(tǒng)中的偏見。

但是Lux Capital的合伙人比拉勒·祖貝里(Bilal Zuberi)相信，提琴手可以為自己開辟一個利基市場。

“我們立即看到了Fiddler Labs向行業(yè)展示的價值，”打算加入Fiddler董事會的Zuberi說。“我們看到越來越多的公司為我們提供商業(yè)模型，這些商業(yè)模型基于從推薦引擎和業(yè)務分析到醫(yī)療診斷和自動駕駛汽車的各種算法。您如何在沒有解釋性和透明性的情況下做出重要的，關(guān)鍵任務決策?我們對Fiddler的市場和潛力感到興奮。”