Midscene.js 是一款由人工智能驅動的自動化 SDK，旨在簡化 UI 自動化測試流程，提升測試效率和質量。它通過自然語言交互、多模態(tài)大語言模型（LLM）和可視化工具等核心功能，為開發(fā)者提供了一種高效、直觀的自動化測試解決方案。

Midscene.js官網(wǎng)入口網(wǎng)址：https://midscenejs.com/zh/index.html

Midscene.js開源項目地址：https://github.com/web-infra-dev/midscene

核心功能與特點

• 自然語言交互：用戶可以通過自然語言描述操作步驟，Midscene.js 將自動規(guī)劃并控制用戶界面。例如，用戶可以輸入“點擊登錄按鈕”，Midscene.js 會根據(jù)頁面內容自動執(zhí)行點擊操作。支持對數(shù)據(jù)格式的提示，用戶可以要求以 JSON 格式返回預期結果，從而實現(xiàn)更精確的數(shù)據(jù)提取和斷言。
• 多模態(tài)大語言模型支持：Midscene.js 支持使用公共多模態(tài) LLM（如 GPT-4）和開源模型（如 UI-TARS），無需自定義訓練即可快速上手。這種設計降低了使用門檻，使得非技術背景人員也能輕松參與測試工作。
• 直觀斷言：用戶可以用自然語言表達斷言，Midscene.js 基于 AI 理解并執(zhí)行這些斷言，減少了編寫復雜斷言邏輯的需求，提高了測試的準確性和可靠性。
• 可視化報告與調試工具：Midscene.js 提供詳細的可視化報告，幫助用戶輕松理解和調試整個測試過程。報告中包含每個步驟的執(zhí)行情況和結果，便于快速定位問題。內置 Playground 功能允許用戶在不重新加載頁面的情況下調整測試腳本，進一步提升了調試效率。
• 高集成性與靈活性：Midscene.js 支持與多種工具集成，包括 Puppeteer、Playwright 和 YAML 腳本等，適用于多種自動化測試場景。用戶可以選擇公共或私有部署模式，確保數(shù)據(jù)安全性和隱私保護。
• 開源與社區(qū)支持：Midscene.js 是一個開源項目，用戶可以在 GitHub 上獲取源碼并參與貢獻。官方網(wǎng)站提供了快速體驗指南、API 參考文檔和可視化工具，幫助用戶快速上手。

應用場景

Midscene.js 適用于多種自動化測試場景，包括但不限于：

• 自動化測試：通過自然語言描述測試步驟，Midscene.js 自動執(zhí)行操作并生成測試報告。
• 數(shù)據(jù)抓取：從網(wǎng)頁中提取關鍵信息并以結構化格式輸出。
• 性能監(jiān)控：實時監(jiān)控網(wǎng)頁性能指標，及時發(fā)現(xiàn)潛在問題。
• 界面一致性檢查：確保網(wǎng)頁界面在不同設備和瀏覽器上的表現(xiàn)一致。

技術原理

Midscene.js 的技術原理基于自然語言處理（NLP）、界面理解技術和多模態(tài)大語言模型（LLM）。通過解析用戶的自然語言指令，Midscene.js 能夠理解用戶意圖并生成相應的操作步驟。這一過程涉及以下幾個關鍵步驟：

• 自然語言解析：將用戶的自然語言描述轉換為具體的操作指令。
• 界面理解：通過 AI 技術分析網(wǎng)頁內容，確定操作目標。
• 數(shù)據(jù)提取與斷言：根據(jù)用戶需求提取數(shù)據(jù)，并生成斷言以驗證測試結果。

使用方法

1. 安裝 Chrome 插件：用戶可以通過訪問 Midscene.js 官網(wǎng)下載并安裝 Chrome 插件。
2. 編寫測試腳本：在插件中輸入自然語言描述的操作步驟，Midscene.js 將自動執(zhí)行并生成測試報告。
3. 調試與優(yōu)化：利用可視化報告和 Playground 功能，用戶可以輕松調試和優(yōu)化測試腳本。

Midscene.js 是一款革命性的 UI 自動化測試工具，通過 AI 技術簡化了測試流程，降低了學習曲線。它不僅提升了測試效率和準確性，還為非技術背景人員提供了參與測試的可能性。無論是自動化測試、數(shù)據(jù)抓取還是性能監(jiān)控，Midscene.js 都能提供強大的支持。通過開源社區(qū)的支持和豐富的集成選項，Midscene.js 成為了開發(fā)者和測試工程師的理想選擇。