課程

評測資料集與評分器實作

以合成客服 Agent 為範例,建立可重複執行的評測資料集、確定性檢查、人工 rubric 與評測摘要。

課程資訊

免費加入

本課程目前沒有公開試看影片。

課程成果

完成後的操作成果

課程準備

適合對象與課前準備

適合對象

  • 已使用 Codex 或建立過 LLM/Agent 工作流程的產品工程師、技術主管與 QA 工程師。

先備知識:課程頁尚未列出先備知識資訊。

上機環境:課程頁尚未列出上機環境需求。

課程路徑

完整課綱

課程單元依學習順序排列。

課程內容

  1. 課程單元封面:評測資料集與評分器實作,EP01「將評測案例整理成可評分資料集」。EP 01MOKOVERSITY · 影片單元

    影片單元

    2:59

    將評測案例整理成可評分資料集

  2. 課程單元封面:評測資料集與評分器實作,EP02「為評測案例加入 ID、標籤與資料版本」。EP 02MOKOVERSITY · 影片單元

    影片單元

    2:54

    為評測案例加入 ID、標籤與資料版本

    重點項目

    • 在本機合成案例資料中加入唯一案例 ID、情境標籤與資料版本,執行 metadata 驗收並新增格式錯誤案例。
  3. 課程單元封面:評測資料集與評分器實作,EP03「建立正常路徑案例」。EP 03MOKOVERSITY · 影片單元

    影片單元

    2:09

    建立正常路徑案例

    重點項目

    • 新增正常訂單案例,核對輸入、預期結果、資料來源與評分條件。
  4. 課程單元封面:評測資料集與評分器實作,EP04「建立缺資料與歧義案例」。EP 04MOKOVERSITY · 影片單元

    影片單元

    2:00

    建立缺資料與歧義案例

    重點項目

    • 增加缺少訂單編號與模糊訂單前綴案例,驗證澄清狀態與下一步。
  5. 課程單元封面:評測資料集與評分器實作,EP05「建立工具錯誤與恢復案例」。EP 05MOKOVERSITY · 影片單元

    影片單元

    2:09

    建立工具錯誤與恢復案例

    重點項目

    • 以固定工具回應重現重試成功與逾時耗盡,驗證結果狀態、資料來源與呼叫次數。
  6. 課程單元封面:評測資料集與評分器實作,EP06「實作確定性輸出檢查器」。EP 06MOKOVERSITY · 影片單元

    影片單元

    2:08

    實作確定性輸出檢查器

    重點項目

    • 以七筆合成案例建立逐欄比對器,驗證七筆基準輸出,並由受控差異定位失敗欄位。
  7. 課程單元封面:評測資料集與評分器實作,EP07「為客服回覆建立人工評分 rubric」。EP 07MOKOVERSITY · 影片單元

    影片單元

    2:03

    為客服回覆建立人工評分 rubric

    重點項目

    • 以合成客服回覆建立資料依據、不確定性與安全下一步三項人工評分錨點。
  8. 課程單元封面:評測資料集與評分器實作,EP08「檢查評分器的誤判」。EP 08MOKOVERSITY · 影片單元

    影片單元

    2:42

    檢查評分器的誤判

    重點項目

    • 用四筆合成案例檢查關鍵字評分器,計算 TP、FP、TN、FN 及 FPR、FNR,並確認受控修改後可還原基準。
  9. 課程單元封面:評測資料集與評分器實作,EP09「以固定資料集產生評測摘要」。EP 09MOKOVERSITY · 影片單元

    影片單元

    2:09

    以固定資料集產生評測摘要

    重點項目

    • 以七筆固定案例產生版本化 JSON 評測摘要,並比較基準與受控差異欄位。
  10. 課程單元封面:評測資料集與評分器實作,EP10「整合評測資料集與基準案例」。EP 10MOKOVERSITY · 影片單元

    影片單元

    1:58

    整合評測資料集與基準案例

    重點項目

    • 整合四筆基準案例與七筆擴充案例,以穩定去重鍵產生九筆唯一資料,並驗證來源與輸出 SHA-256。

AI Agent 上線品質工程

同主題課程

第 2 / 2 門

  1. 01 Agent 任務契約與品質基準
  2. 02 評測資料集與評分器實作