Skip to Content

Kiểm thử

Ba công cụ run_acceptance, create_test_accounts và remove_test_accounts để agent chạy bài kiểm tra nghiệp vụ trên một bản thử của app và thử từng vai bằng tài khoản dùng một lần.

App có API chỉ xong khi bài kiểm tra trong spec/acceptance.json chạy qua trên app đã deploy, không phải khi viết xong file. Ví dụ với cửa hàng vật tư: thu ngân bán 3 cái thì tồn kho giảm 3, bán quá số còn lại thì bị chặn với 409, nhân viên kho không xem được doanh thu.

run_acceptance

Chạy bài kiểm tra trong spec/acceptance.json trên một bản thử của app đã deploy.

  • Tham số: project; only: danh sách id bài cần chạy, mặc định chạy hết. Bài được chọn cần giá trị do bài khác lưu thì bài đó cũng được chạy.
  • Trả về: passed, total, kết quả từng bài kèm bước hỏng đầu tiên; unprovenCapabilities (khả năng đã khai báo như cron, email nhưng chưa bài nào chứng minh) và missingCapabilities (khả năng code chưa có, kèm khối nên thêm).
  • Khi nào gọi: sau mỗi lần deploy, tới khi mọi bài đều qua.

Bản thử chạy cùng code đã deploy nhưng có database riêng, xoá trắng trước mỗi lần chạy (rồi nạp spec/sample-data.json nếu có). Dữ liệu thật không bị đụng tới. Mỗi bài tự tạo thứ nó cần qua API, ví dụ một sản phẩm và một khách, rồi mới thao tác.

Mỗi bước là một trong các loại sau:

  • Gọi API với một vai (as), hoặc như khách chưa đăng nhập, rồi so status và các trường JSON. Trường ghi bằng đường dẫn có dấu chấm: items.0.qty, items.length, hoặc chọn phần tử trong mảng theo một trường: items[id=setup].done lấy done của phần tử đầu tiên có id là setup.
  • sql: đọc hay sửa dòng trong database của bản thử, ví dụ lùi một ngày thay vì chờ.
  • cron: chạy ngay một việc định kỳ và chờ nó xong.
  • outbox: kiểm app đã gửi email hay tin Telegram có nội dung đó. Với email gửi tới tài khoản thử, contains tìm cả trong tiêu đề lẫn nội dung thư (khoảng 600 ký tự đầu, link ghi kèm địa chỉ), nên test chứng minh được link, mã đơn hay số tiền trong thư.
  • parallel: bắn nhiều request cùng lúc, để chứng minh hai thu ngân không bán được cùng một món cuối.
  • page: mở một trang trong trình duyệt thật với một vai, báo hỏng khi trang lỗi, trắng hoặc thiếu chữ cần có. Trang trắng ở lần đọc đầu được mở lại sau khoảng 2 giây rồi mới tính là hỏng, vì biểu đồ có khi chưa vẽ xong.

deploy cũng tự chạy bài kiểm tra trong khoảng 30 giây và trả kết quả ở mục tests. Bài chưa kịp chạy thì run_acceptance chạy nốt. Kết quả dở dang vẫn được lưu: get_project báo bao nhiêu bài qua, bao nhiêu bài chưa tới lượt. Chưa có spec/acceptance.json thì manh.run tự tạo vài bài kiểm tra nhanh từ các file: mỗi vai mở được trang chủ, các trang khác mở được, mọi API danh sách trả 200 hoặc 403, không bao giờ 500.

Lượt chạy không bắt đầu được, ví dụ bài dùng một vai (as) mà app/auth.ts không còn, thì get_project và handover của deploy ghi rõ lý do. Lượt chạy bị ngắt trước khi kịp lưu kết quả thì get_project báo như vậy và bảo chạy lại bằng run_acceptance, không báo “chưa chạy”.

Đổi giá trị của một enum (defineEnum, enum trong file bảng) thì sửa luôn các dòng trong spec/sample-data.json và body trong spec/acceptance.json đang dùng giá trị cũ. check cảnh báo những giá trị không còn trong enum.

create_test_accounts

Tạo mỗi vai một tài khoản dùng một lần trên app đang chạy, để thử luồng của từng vai bằng tay.

  • Tham số: project; roles: các vai cần tạo, mặc định mọi vai trong app/auth.ts.
  • Trả về: email và mật khẩu cho từng vai, cách đăng nhập (POST /api/auth/login lấy token). Gọi lại thì mật khẩu mới.
  • Khi nào gọi: khi cần thử các màn hình của quản lý, kế toán… trên app thật trước khi bạn tự đăng ký.

Tài khoản thử dùng tên miền dành riêng @test.manh.invalid, không phải hộp thư thật. Thư gửi tới đó không đi ra ngoài, chỉ hiện trong nhật ký của app. Cần app đã deploy và có app/auth.ts.

remove_test_accounts

Xoá mọi tài khoản thử khỏi bảng người dùng.

  • Tham số: project.
  • Trả về: số tài khoản đã xoá; tài khoản mà dòng dữ liệu khác còn trỏ tới thì bị khoá (không đăng nhập được) thay vì xoá, kèm danh sách để agent dọn các dòng đó.
  • Khi nào gọi: trước khi bàn giao app.

Tài khoản quản trị đầu tiên luôn là của bạn: bạn mở app trong bản xem trước ở dashboard rồi đăng ký. Tài khoản thử không bao giờ được tính là quản trị viên đầu tiên.

Bước tiếp theo

Cập nhật