作者：紅帽亞太區(qū)首席技術(shù)官Vincent Caldeira
隨著AI系統(tǒng)從獨(dú)立模型向自主、代理式系統(tǒng)轉(zhuǎn)型，對(duì)信任、透明度和風(fēng)險(xiǎn)感知設(shè)計(jì)的需求從未如此迫切。這些由大語(yǔ)言模型（LLM）和多代理編排技術(shù)驅(qū)動(dòng)的智能代理，正越來(lái)越多地做出影響企業(yè)、個(gè)人及整個(gè)社會(huì)的決策。然而，我們不能假定這些系統(tǒng)的可信度：它必須在系統(tǒng)層面進(jìn)行設(shè)計(jì)、測(cè)量和持續(xù)強(qiáng)化，而不僅僅是模型層面。
AI可信度的關(guān)鍵驅(qū)動(dòng)力之一是模型供應(yīng)鏈透明度——一個(gè)允許企業(yè)評(píng)估和驗(yàn)證復(fù)雜系統(tǒng)中使用的AI組件的來(lái)源、安全性和一致性的框架。如果無(wú)法清晰了解AI模型是如何構(gòu)建、訓(xùn)練和部署的，就幾乎不可能對(duì)系統(tǒng)需求進(jìn)行風(fēng)險(xiǎn)分析。本文探討了模型供應(yīng)鏈透明度為何至關(guān)重要，它如何支持代理式AI中的風(fēng)險(xiǎn)對(duì)齊，以及設(shè)計(jì)可信AI生態(tài)系統(tǒng)的最佳實(shí)踐。
AI供應(yīng)鏈日益增長(zhǎng)的復(fù)雜性
現(xiàn)代AI系統(tǒng)不再是一個(gè)單一體，而是由多個(gè)相互關(guān)聯(lián)的模型、API和組件（包括外部數(shù)據(jù)源和工具）組成。這種復(fù)雜性引入了新的風(fēng)險(xiǎn)因素，包括：
·數(shù)據(jù)來(lái)源不確定性：訓(xùn)練數(shù)據(jù)來(lái)自哪里？是否存在偏見(jiàn)或不完整？
·第三方模型風(fēng)險(xiǎn)：外部AI模型是否符合倫理和監(jiān)管標(biāo)準(zhǔn)？
·API依賴關(guān)系：如果函數(shù)調(diào)用返回不可靠或不安全的輸出，會(huì)發(fā)生什么？
·自動(dòng)化決策不透明性：利益相關(guān)者能否審計(jì)并干預(yù)AI驅(qū)動(dòng)的決策？
這些挑戰(zhàn)凸顯了模型供應(yīng)鏈透明度的重要性。這就是為什么行業(yè)需要標(biāo)準(zhǔn)化AI供應(yīng)鏈可見(jiàn)性，確保模型在構(gòu)建時(shí)考慮了問(wèn)責(zé)制和風(fēng)險(xiǎn)對(duì)齊。
為什么風(fēng)險(xiǎn)分析對(duì)代理式AI至關(guān)重要
與傳統(tǒng)AI模型按要求提供輸出不同，代理式AI系統(tǒng)基于高級(jí)目標(biāo)自主行動(dòng)。這種從反應(yīng)式到主動(dòng)式AI的轉(zhuǎn)變要求新的風(fēng)險(xiǎn)評(píng)估方法。部署多代理編排和函數(shù)調(diào)用框架的企業(yè)必須評(píng)估：
1.可預(yù)測(cè)性與可靠性——系統(tǒng)能否產(chǎn)生一致且可解釋的結(jié)果？
2.人機(jī)回圈控制——是否存在人類干預(yù)和對(duì)齊的機(jī)制？
3.倫理護(hù)欄——系統(tǒng)如何與人類價(jià)值觀和政策對(duì)齊？
4.自適應(yīng)風(fēng)險(xiǎn)緩解——AI能否根據(jù)不斷變化的風(fēng)險(xiǎn)調(diào)整其行為？
風(fēng)險(xiǎn)對(duì)齊的AI系統(tǒng)不僅簡(jiǎn)單地執(zhí)行功能——它理解自己的局限性，溝通不確定性，并在必要時(shí)允許人類監(jiān)督。
為確保AI系統(tǒng)可信，企業(yè)必須在AI生命周期的每個(gè)階段嵌入安全措施。以下最佳實(shí)踐可提供幫助：
1.模型沿襲（model lineage）與可解釋性：模型沿襲通過(guò)追蹤AI模型的整個(gè)生命周期（從數(shù)據(jù)源到部署）確保透明度，支持偏見(jiàn)檢測(cè)與問(wèn)責(zé)制�？山忉屝詾锳I決策提供清晰可理解的洞察，幫助用戶理解并信任系統(tǒng)輸出。
2.風(fēng)險(xiǎn)感知的代理式編排：為防止意外行為，代理式AI系統(tǒng)必須包含安全措施，如提示調(diào)解（驗(yàn)證輸入）、輸出調(diào)解（過(guò)濾響應(yīng)）和任務(wù)錨定（確保AI保持在一定范圍之內(nèi)）。這些機(jī)制有助于將AI行為與人類期望和安全標(biāo)準(zhǔn)對(duì)齊。
3.人機(jī)回圈治理：即使在自主AI中，人類監(jiān)督對(duì)于防止錯(cuò)誤和意外后果也至關(guān)重要。實(shí)施實(shí)時(shí)干預(yù)控制和故障安全機(jī)制，確保AI行為可被監(jiān)控、糾正或在必要時(shí)覆蓋。
4.透明的AI供應(yīng)鏈：AI系統(tǒng)應(yīng)基于可驗(yàn)證、可審計(jì)的組件構(gòu)建，以確保信任和問(wèn)責(zé)制。企業(yè)必須追蹤模型來(lái)源、評(píng)估第三方AI風(fēng)險(xiǎn)，并使用開(kāi)源框架提升AI開(kāi)發(fā)和部署的透明度。
通過(guò)整合這些實(shí)踐，企業(yè)可以主動(dòng)設(shè)計(jì)信任機(jī)制，而非在部署后補(bǔ)救安全功能。從已建立的實(shí)施模式來(lái)看（例如ThoughtWorks的Martin Fowler和Bharani Subramaniam的《構(gòu)建生成式AI產(chǎn)品的新興模式》），在未來(lái)幾年中，將信任設(shè)計(jì)元素融入其中并采用相關(guān)最佳實(shí)踐，對(duì)于在企業(yè)規(guī)模成功部署AI而言，將會(huì)變得愈發(fā)重要。
結(jié)論：信任是系統(tǒng)級(jí)重要任務(wù)
隨著AI從模型向系統(tǒng)過(guò)渡，企業(yè)必須采用整體方法來(lái)處理信任和透明度。這需要：
·模型供應(yīng)鏈透明度，以評(píng)估和驗(yàn)證AI組件。
·系統(tǒng)風(fēng)險(xiǎn)分析，以預(yù)見(jiàn)故障并緩解偏見(jiàn)。
·主動(dòng)設(shè)計(jì)模式，以落實(shí)安全、公平和問(wèn)責(zé)制。
歸根結(jié)底，信任不是功能，而是基礎(chǔ)。為了確保AI系統(tǒng)安全、有效并與人類價(jià)值觀對(duì)齊，我們必須在每個(gè)層面為信任展開(kāi)設(shè)計(jì)——從數(shù)據(jù)和模型到?jīng)Q策和部署。
