OpenAI
Gọi AI từ code server của app bằng manh/openai. Cùng cách gọi với SDK openai chính thức, không cần API key.
Cách dùng
app/tickets/repository.ts
import { OpenAI } from "manh/openai";
const openai = new OpenAI();
export async function suggestReply(ticket: { subject: string; body: string }) {
try {
const r = await openai.chat.completions.create({
model: "gpt-4o-mini",
messages: [
{ role: "system", content: "Bạn là nhân viên chăm sóc khách hàng. Trả lời ngắn, lịch sự." },
{ role: "user", content: `${ticket.subject}\n\n${ticket.body}` },
],
max_tokens: 400,
});
return r.choices[0].message.content ?? null;
} catch {
return null; // AI chỉ là trợ giúp: tính năng vẫn chạy khi AI lỗi
}
}Chỉ dùng trong file .ts.
Chữ ký
manh/openai
class OpenAI {
constructor(opts?: object);
chat: { completions: { create(body: ChatCompletionCreateParams): Promise<ChatCompletion> } };
embeddings: { create(body: EmbeddingCreateParams): Promise<CreateEmbeddingResponse> };
}OpenAI kế thừa SDK openai chính thức. manh.run tự đặt key và địa chỉ máy chủ; bạn không truyền apiKey.
Tham số
Với chat.completions.create và embeddings.create, tham số giống SDK chính thức. Khác biệt:
model: viết tên OpenAI quen thuộc, manh.run đổi sang mô hình tương ứng:gpt-4o-mini,gpt-4.1-mini,gpt-5-mini,gpt-3.5*,o*-mini→ gpt-oss-20b, nhanh và rẻ, nên chọn mặc định;- các tên
gpt-*khác (ví dụgpt-4o) → gpt-oss-120b, suy luận tốt hơn; text-embedding-*→ bge-m3, đọc được tiếng Việt;- tên khác → lỗi 400
BUILTIN_MODEL_NOT_ALLOWED.
max_tokens: tối đa 4.096; bỏ trống thì là 4.096.n: luôn là 1.reasoning_effort: mặc định"low"nếu bạn không đặt.- Body request tối đa 256 KB, quá thì lỗi 413
BUILTIN_TOO_LARGE.
Trả về
Giống SDK chính thức: chat.completions.create trả choices[0].message (kèm tool_calls khi dùng tools), có thể stream; embeddings.create trả data[i].embedding.
Mô hình suy luận trước khi trả lời. Luôn kiểm finish_reason và coi content rỗng là thất bại.
Ví dụ
Gọi hàm (tools): mô hình trả tool_calls, bạn chạy hàm qua repository rồi gửi kết quả lại, tối đa khoảng 5 vòng.
app/assistant/repository.ts
const tools = [{ type: "function", function: { name: "lookupOrder", description: "Tìm đơn theo id",
parameters: { type: "object", properties: { id: { type: "number" } }, required: ["id"] } } }];
const messages: any[] = [{ role: "user", content: "Tóm tắt đơn 123" }];
for (let i = 0; i < 5; i++) {
const r = await openai.chat.completions.create({ model: "gpt-4o-mini", messages, tools });
const msg = r.choices[0].message;
messages.push(msg);
if (!msg.tool_calls?.length) return { text: msg.content };
for (const call of msg.tool_calls) {
const args = JSON.parse(call.function.arguments);
const out = call.function.name === "lookupOrder" ? await getOrder(user, args.id) : null;
messages.push({ role: "tool", tool_call_id: call.id, content: JSON.stringify(out) });
}
}- Không có:
images,audio,moderations,files(lỗi 501BUILTIN_UNSUPPORTED), và không đọc được ảnh trong tin nhắn. Đừng làm tính năng dựa trên chúng. - AI tính theo token, mỗi tháng một hạn mức theo gói, dùng chung cho mọi app của tài khoản. Hết hạn mức thì lỗi 429
BUILTIN_QUOTA_EXCEEDEDtới tháng sau; app vẫn chạy. Chỉ gửi phần văn bản việc đó cần, đặtmax_tokensvừa đủ. - Không dùng Vercel AI SDK (
ai,@ai-sdk/*): gói đó cần key riêng của bạn.
Bước tiếp theo
- Email, AI, kho file: các dịch vụ có sẵn dùng cùng nhau trong một app.
- enqueue: đưa lời gọi AI dài ra việc nền để request trả lời ngay.
Cập nhật