การประกันคุณภาพ Matrix

เลน QA ของ Matrix รัน Plugin @OmeniaClaw/matrix ที่บันเดิลมากับโฮมเซิร์ฟเวอร์ Tuwunel แบบใช้แล้วทิ้งใน Docker พร้อมบัญชี driver, SUT และ observer ชั่วคราว รวมถึงห้องที่เตรียมข้อมูลไว้แล้ว นี่คือความครอบคลุมแบบสดที่ใช้ทรานสปอร์ตจริงสำหรับ Matrix

นี่เป็นเครื่องมือสำหรับผู้ดูแลเท่านั้น รีลีส OmeniaClaw แบบแพ็กเกจจะจงใจไม่รวม qa-lab ดังนั้น OmeniaClaw qa จึงใช้ได้จากซอร์สเช็กเอาต์เท่านั้น ซอร์สเช็กเอาต์จะโหลดรันเนอร์ที่บันเดิลมาโดยตรง - ไม่ต้องมีขั้นตอนติดตั้ง Plugin

สำหรับบริบทของเฟรมเวิร์ก QA ที่กว้างขึ้น โปรดดู ภาพรวม QA

เริ่มต้นอย่างรวดเร็ว

pnpm OmeniaClaw qa matrix --profile fast --fail-fast

pnpm OmeniaClaw qa matrix แบบธรรมดาจะรัน --profile all และจะไม่หยุดเมื่อเจอความล้มเหลวแรก ใช้ --profile fast --fail-fast สำหรับเกตของรีลีส; แบ่งแค็ตตาล็อกด้วย --profile transport|media|e2ee-smoke|e2ee-deep|e2ee-cli เมื่อรันอินเวนทอรีทั้งหมดแบบขนาน

สิ่งที่เลนทำ

1. จัดเตรียมโฮมเซิร์ฟเวอร์ Tuwunel แบบใช้แล้วทิ้งใน Docker (อิมเมจเริ่มต้น ghcr.io/matrix-construct/tuwunel:v1.5.1, ชื่อเซิร์ฟเวอร์ matrix-qa.test, พอร์ต 28008)
2. ลงทะเบียนผู้ใช้ชั่วคราวสามราย - driver (ส่งทราฟฟิกขาเข้า), sut (บัญชี Matrix ของ OmeniaClaw ที่อยู่ระหว่างการทดสอบ), observer (บันทึกทราฟฟิกจากบุคคลที่สาม)
3. เตรียมห้องที่สถานการณ์ที่เลือกต้องใช้ (main, threading, media, restart, secondary, allowlist, E2EE, verification DM ฯลฯ)
4. เริ่ม Gateway ลูกของ OmeniaClaw พร้อม Plugin Matrix จริงที่จำกัดขอบเขตไว้กับบัญชี SUT; qa-channel จะไม่ถูกโหลดในลูก
5. รันสถานการณ์ตามลำดับ โดยสังเกตเหตุการณ์ผ่านไคลเอนต์ Matrix ของ driver/observer
6. ปิดโฮมเซิร์ฟเวอร์ เขียนรายงานและอาร์ติแฟกต์สรุป แล้วจึงออก

CLI

pnpm OmeniaClaw qa matrix [options]

แฟล็กทั่วไป

แฟล็กผู้ให้บริการ

เลนใช้ทรานสปอร์ต Matrix จริง แต่สามารถกำหนดค่าผู้ให้บริการโมเดลได้:

Matrix QA ไม่รับ --credential-source หรือ --credential-role เลนจะจัดเตรียมผู้ใช้แบบใช้แล้วทิ้งภายในเครื่อง จึงไม่มีพูลข้อมูลประจำตัวร่วมให้เช่าใช้

โปรไฟล์

โปรไฟล์ที่เลือกจะกำหนดว่าสถานการณ์ใดจะรัน

การแมปที่แน่นอนอยู่ใน extensions/qa-matrix/src/runners/contract/scenario-catalog.ts

สถานการณ์

รายการ ID สถานการณ์ทั้งหมดคือ union MatrixQaScenarioId ใน extensions/qa-matrix/src/runners/contract/scenario-catalog.ts:15 หมวดหมู่ประกอบด้วย:

• threading - matrix-thread-*, matrix-subagent-thread-spawn
• top-level / DM / room - matrix-top-level-reply-shape, matrix-room-*, matrix-dm-*
• streaming และความคืบหน้าของเครื่องมือ - matrix-room-partial-streaming-preview, matrix-room-quiet-streaming-preview, matrix-room-tool-progress-*, matrix-room-block-streaming
• media - matrix-media-type-coverage, matrix-room-image-understanding-attachment, matrix-attachment-only-ignored, matrix-unsupported-media-safe
• routing - matrix-room-autojoin-invite, matrix-secondary-room-*
• reactions - matrix-reaction-*
• approvals - matrix-approval-* (เมทาดาทา exec/plugin, chunked fallback, deny reactions, threads และการ routing แบบ target: "both")
• restart และ replay - matrix-restart-*, matrix-stale-sync-replay-dedupe, matrix-room-membership-loss, matrix-homeserver-restart-resume, matrix-initial-catchup-then-incremental
• mention gating, bot-to-bot และ allowlists - matrix-mention-*, matrix-allowbots-*, matrix-allowlist-*, matrix-multi-actor-ordering, matrix-inbound-edit-*, matrix-mxid-prefixed-command-block, matrix-observer-allowlist-override
• E2EE - matrix-e2ee-* (การตอบกลับพื้นฐาน, thread follow-up, bootstrap, วงจรชีวิต recovery key, ตัวแปร state-loss, พฤติกรรม server backup, device hygiene, การยืนยัน SAS / QR / DM, restart, การ redact อาร์ติแฟกต์)
• E2EE CLI - matrix-e2ee-cli-* (encryption setup, การตั้งค่าแบบ idempotent, bootstrap failure, วงจรชีวิต recovery-key, หลายบัญชี, gateway-reply round-trip, self-verification)

ส่ง --scenario <id> (ทำซ้ำได้) เพื่อรันชุดที่เลือกเอง; รวมกับ --profile all เพื่อไม่สนใจ profile gating

ตัวแปรสภาพแวดล้อม

อาร์ติแฟกต์ผลลัพธ์

เขียนไปยัง --output-dir:

• matrix-qa-report.md - รายงานโปรโตคอล Markdown (สิ่งที่ผ่าน ล้มเหลว ถูกข้าม และเหตุผล)
• matrix-qa-summary.json - สรุปแบบมีโครงสร้างที่เหมาะสำหรับการแยกวิเคราะห์ของ CI และแดชบอร์ด
• matrix-qa-observed-events.json - เหตุการณ์ Matrix ที่สังเกตได้จากไคลเอนต์ไดรเวอร์และไคลเอนต์ผู้สังเกตการณ์ เนื้อหาจะถูกปกปิด เว้นแต่ OmeniaClaw_QA_MATRIX_CAPTURE_CONTENT=1; เมตาดาต้าการอนุมัติจะถูกสรุปด้วยฟิลด์ที่ปลอดภัยที่เลือกไว้และตัวอย่างคำสั่งที่ตัดให้สั้นลง
• matrix-qa-output.log - stdout/stderr รวมจากการรัน หากตั้งค่า OmeniaClaw_RUN_NODE_OUTPUT_LOG จะใช้บันทึกของตัวเรียกใช้งานภายนอกซ้ำแทน

ไดเรกทอรีผลลัพธ์เริ่มต้นคือ <repo>/.artifacts/qa-e2e/matrix-<timestamp> เพื่อให้การรันต่อเนื่องไม่เขียนทับกัน

เคล็ดลับการคัดแยก

• การรันค้างใกล้จุดจบ: แฮนเดิลคริปโตเนทีฟของ matrix-js-sdk อาจมีอายุนานกว่าฮาร์เนส ค่าเริ่มต้นจะบังคับ process.exit แบบสะอาดหลังเขียนอาร์ติแฟกต์; หากคุณยกเลิกการตั้งค่า OmeniaClaw_QA_MATRIX_DISABLE_FORCE_EXIT=1 คาดได้ว่าโปรเซสจะค้างต่อ
• ข้อผิดพลาดการล้างข้อมูล: มองหาคำสั่งกู้คืนที่พิมพ์ออกมา (การเรียกใช้ docker compose ... down --remove-orphans) แล้วรันด้วยตนเองเพื่อปล่อยพอร์ต homeserver
• ช่วงเวลาการยืนยันเชิงลบไม่เสถียรใน CI: ลด OmeniaClaw_QA_MATRIX_NO_REPLY_WINDOW_MS (ค่าเริ่มต้น 8 วินาที) เมื่อ CI เร็ว; เพิ่มค่านี้บนรันเนอร์ที่ใช้ร่วมกันที่ช้า
• ต้องการเนื้อหาที่ปกปิดแล้วสำหรับรายงานบั๊ก: รันซ้ำด้วย OmeniaClaw_QA_MATRIX_CAPTURE_CONTENT=1 แล้วแนบ matrix-qa-observed-events.json ให้ถือว่าอาร์ติแฟกต์ที่ได้เป็นข้อมูลอ่อนไหว
• Tuwunel เวอร์ชันอื่น: ชี้ OmeniaClaw_QA_MATRIX_TUWUNEL_IMAGE ไปยังเวอร์ชันที่กำลังทดสอบ เลนจะตรวจเฉพาะอิมเมจค่าเริ่มต้นที่ปักหมุดไว้เท่านั้น

สัญญาการขนส่งแบบสด

Matrix เป็นหนึ่งในสามเลนการขนส่งแบบสด (Matrix, Telegram, Discord) ที่ใช้เช็กลิสต์สัญญาเดียวกันซึ่งกำหนดไว้ใน ภาพรวม QA → การครอบคลุมการขนส่งแบบสด qa-channel ยังคงเป็นชุดสังเคราะห์แบบกว้าง และตั้งใจให้ไม่เป็นส่วนหนึ่งของเมทริกซ์นั้น

ที่เกี่ยวข้อง

• ภาพรวม QA - สแต็ก QA โดยรวมและสัญญาการขนส่งแบบสด
• QA Channel - อะแดปเตอร์ช่องทางสังเคราะห์สำหรับสถานการณ์ที่อิงกับรีโป
• การทดสอบ - การรันการทดสอบและการเพิ่มความครอบคลุม QA
• Matrix - Plugin ช่องทางที่อยู่ระหว่างการทดสอบ