課程
Trace 觀測與失敗定位
使用本機合成 Agent trace,逐步讀取 span 階層、定位首個失敗、建立可評分案例,並整理回歸評測交付資料。
課程資訊
開放時間待公布
本課程目前沒有公開試看影片。
課程成果
完成後的操作成果
- 讀取 trace 與 span 階層、狀態及耗時。
- 依證據定位第一個錯誤 span,並分類失敗原因。
- 建立可追溯、可重播的評測案例與回歸交付資料。
課程準備
適合對象與課前準備
適合對象
- 已熟悉 Agent、模型與工具呼叫的產品工程、QA 與開發團隊成員,並能閱讀 JSON、Node.js 指令與終端機輸出。
先備知識:課程頁尚未列出先備知識資訊。
上機環境:課程頁尚未列出上機環境需求。
課程路徑
完整課綱
課程單元依學習順序排列。
課程內容
- EP 01MOKOVERSITY · 影片單元
影片單元
2:30讀取一次 Agent workflow trace
- EP 02MOKOVERSITY · 影片單元
影片單元
2:47辨認 run、model call 與 tool call
- EP 03MOKOVERSITY · 影片單元
影片單元
1:37將最終答案連回工具輸入與結果
- EP 04MOKOVERSITY · 影片單元
影片單元
1:39定位錯誤發生的第一個 span
- EP 05MOKOVERSITY · 影片單元
影片單元
1:39將失敗分為規格、模型、工具或資料問題
- EP 06MOKOVERSITY · 影片單元
影片單元
1:21為 trace 加上可評分標籤
- EP 07MOKOVERSITY · 影片單元
影片單元
1:24從代表性 trace 建立新案例
- EP 08MOKOVERSITY · 影片單元
影片單元
1:12保護敏感欄位與縮減 trace 留存內容
- EP 09MOKOVERSITY · 影片單元
影片單元
1:42以案例重播已定位的失敗
- EP 10MOKOVERSITY · 影片單元
影片單元
1:37將失敗證據交給回歸評測流程
AI Agent 上線品質工程
同主題課程
第 3 / 5 門
- 01 Agent 任務契約與品質基準
- 02 評測資料集與評分器實作
- 03 Trace 觀測與失敗定位
- 04 回歸評測與品質門檻
- 05 上線驗收、監控與回復