Skip to Content

OpenAI

Gọi AI từ code server của app bằng manh/openai. Cùng cách gọi với SDK openai chính thức, không cần API key.

Cách dùng

app/tickets/repository.ts
import { OpenAI } from "manh/openai"; const openai = new OpenAI(); export async function suggestReply(ticket: { subject: string; body: string }) { try { const r = await openai.chat.completions.create({ model: "gpt-4o-mini", messages: [ { role: "system", content: "Bạn là nhân viên chăm sóc khách hàng. Trả lời ngắn, lịch sự." }, { role: "user", content: `${ticket.subject}\n\n${ticket.body}` }, ], max_tokens: 400, }); return r.choices[0].message.content ?? null; } catch { return null; // AI chỉ là trợ giúp: tính năng vẫn chạy khi AI lỗi } }

Chỉ dùng trong file .ts.

Chữ ký

manh/openai
class OpenAI { constructor(opts?: object); chat: { completions: { create(body: ChatCompletionCreateParams): Promise<ChatCompletion> } }; embeddings: { create(body: EmbeddingCreateParams): Promise<CreateEmbeddingResponse> }; }

OpenAI kế thừa SDK openai chính thức. manh.run tự đặt key và địa chỉ máy chủ; bạn không truyền apiKey.

Tham số

Với chat.completions.create và embeddings.create, tham số giống SDK chính thức. Khác biệt:

  • model: viết tên OpenAI quen thuộc, manh.run đổi sang mô hình tương ứng:
    • gpt-4o-mini, gpt-4.1-mini, gpt-5-mini, gpt-3.5*, o*-mini → gpt-oss-20b, nhanh và rẻ, nên chọn mặc định;
    • các tên gpt-* khác (ví dụ gpt-4o) → gpt-oss-120b, suy luận tốt hơn;
    • text-embedding-* → bge-m3, đọc được tiếng Việt;
    • tên khác → lỗi 400 BUILTIN_MODEL_NOT_ALLOWED.
  • max_tokens: tối đa 4.096; bỏ trống thì là 4.096.
  • n: luôn là 1.
  • reasoning_effort: mặc định "low" nếu bạn không đặt.
  • Body request tối đa 256 KB, quá thì lỗi 413 BUILTIN_TOO_LARGE.

Trả về

Giống SDK chính thức: chat.completions.create trả choices[0].message (kèm tool_calls khi dùng tools), có thể stream; embeddings.create trả data[i].embedding.

Mô hình suy luận trước khi trả lời. Luôn kiểm finish_reason và coi content rỗng là thất bại.

Ví dụ

Gọi hàm (tools): mô hình trả tool_calls, bạn chạy hàm qua repository rồi gửi kết quả lại, tối đa khoảng 5 vòng.

app/assistant/repository.ts
const tools = [{ type: "function", function: { name: "lookupOrder", description: "Tìm đơn theo id", parameters: { type: "object", properties: { id: { type: "number" } }, required: ["id"] } } }]; const messages: any[] = [{ role: "user", content: "Tóm tắt đơn 123" }]; for (let i = 0; i < 5; i++) { const r = await openai.chat.completions.create({ model: "gpt-4o-mini", messages, tools }); const msg = r.choices[0].message; messages.push(msg); if (!msg.tool_calls?.length) return { text: msg.content }; for (const call of msg.tool_calls) { const args = JSON.parse(call.function.arguments); const out = call.function.name === "lookupOrder" ? await getOrder(user, args.id) : null; messages.push({ role: "tool", tool_call_id: call.id, content: JSON.stringify(out) }); } }
  • Không có: images, audio, moderations, files (lỗi 501 BUILTIN_UNSUPPORTED), và không đọc được ảnh trong tin nhắn. Đừng làm tính năng dựa trên chúng.
  • AI tính theo token, mỗi tháng một hạn mức theo gói, dùng chung cho mọi app của tài khoản. Hết hạn mức thì lỗi 429 BUILTIN_QUOTA_EXCEEDED tới tháng sau; app vẫn chạy. Chỉ gửi phần văn bản việc đó cần, đặt max_tokens vừa đủ.
  • Không dùng Vercel AI SDK (ai, @ai-sdk/*): gói đó cần key riêng của bạn.

Bước tiếp theo

  • Email, AI, kho file: các dịch vụ có sẵn dùng cùng nhau trong một app.
  • enqueue: đưa lời gọi AI dài ra việc nền để request trả lời ngay.
Cập nhật