課程
評測資料集與評分器實作
以合成客服 Agent 為範例,建立可重複執行的評測資料集、確定性檢查、人工 rubric 與評測摘要。
課程資訊
免費加入
本課程目前沒有公開試看影片。
課程成果
完成後的操作成果
- 將固定案例整理成欄位清楚的評測資料集。
- 加入案例 ID、情境標籤和版本資訊。
- 建立正常、邊界、工具錯誤及復原案例。
- 實作確定性檢查並撰寫人工 rubric。
- 檢查評分器誤判並產生可查核摘要。
課程準備
適合對象與課前準備
適合對象
- 已使用 Codex 或建立過 LLM/Agent 工作流程的產品工程師、技術主管與 QA 工程師。
先備知識:課程頁尚未列出先備知識資訊。
上機環境:課程頁尚未列出上機環境需求。
課程路徑
完整課綱
課程單元依學習順序排列。
課程內容
EP 01MOKOVERSITY · 影片單元影片單元
2:59將評測案例整理成可評分資料集
EP 02MOKOVERSITY · 影片單元影片單元
2:54為評測案例加入 ID、標籤與資料版本
重點項目
- 在本機合成案例資料中加入唯一案例 ID、情境標籤與資料版本,執行 metadata 驗收並新增格式錯誤案例。
EP 03MOKOVERSITY · 影片單元影片單元
2:09建立正常路徑案例
重點項目
- 新增正常訂單案例,核對輸入、預期結果、資料來源與評分條件。
EP 04MOKOVERSITY · 影片單元影片單元
2:00建立缺資料與歧義案例
重點項目
- 增加缺少訂單編號與模糊訂單前綴案例,驗證澄清狀態與下一步。
EP 05MOKOVERSITY · 影片單元影片單元
2:09建立工具錯誤與恢復案例
重點項目
- 以固定工具回應重現重試成功與逾時耗盡,驗證結果狀態、資料來源與呼叫次數。
EP 06MOKOVERSITY · 影片單元影片單元
2:08實作確定性輸出檢查器
重點項目
- 以七筆合成案例建立逐欄比對器,驗證七筆基準輸出,並由受控差異定位失敗欄位。
EP 07MOKOVERSITY · 影片單元影片單元
2:03為客服回覆建立人工評分 rubric
重點項目
- 以合成客服回覆建立資料依據、不確定性與安全下一步三項人工評分錨點。
EP 08MOKOVERSITY · 影片單元影片單元
2:42檢查評分器的誤判
重點項目
- 用四筆合成案例檢查關鍵字評分器,計算 TP、FP、TN、FN 及 FPR、FNR,並確認受控修改後可還原基準。
EP 09MOKOVERSITY · 影片單元影片單元
2:09以固定資料集產生評測摘要
重點項目
- 以七筆固定案例產生版本化 JSON 評測摘要,並比較基準與受控差異欄位。
EP 10MOKOVERSITY · 影片單元影片單元
1:58整合評測資料集與基準案例
重點項目
- 整合四筆基準案例與七筆擴充案例,以穩定去重鍵產生九筆唯一資料,並驗證來源與輸出 SHA-256。
AI Agent 上線品質工程
同主題課程
第 2 / 2 門
- 01 Agent 任務契約與品質基準
- 02 評測資料集與評分器實作