Chính sách dưới dạng tệp
Viết quy tắc định tuyến một lần và gắn chúng cho cả tổ chức, một dự án hoặc một khóa. Chúng được kiểm tra kiểu trước khi lưu.
Một endpoint cho mọi mô hình, tích hợp sẵn định tuyến và chuyển dự phòng.
ai.ml là một gateway LLM. Giữ nguyên SDK OpenAI, Anthropic hoặc Gemini bạn đang dùng, đổi base URL, và mọi yêu cầu sẽ được chuyển đổi, định tuyến đến máy chủ tốt nhất, truyền phát trở lại và đo lường đến từng token.
- Năm định dạng wire, một khóa
- Streaming, công cụ và đầu ra có cấu trúc
- Chuyển dự phòng giữa các máy chủ và đám mây
from openai import OpenAI client = OpenAI(- base_url="https://api.openai.com/v1",+ base_url="https://api.ai.ml/v1", api_key=KEY,)client.chat.completions.create( model="deepseek/deepseek-v4.1-flash", ...)
deepseek/deepseek-v4.1-flash
- Máy chủQuốc giaĐầu vào / 1MToken đầu tiênTrạng thái
- DeepSeekCN$0.30n/aHết thời gian chờ
- ai.mlGLOBAL$0.321.10 sĐã phục vụ
Phản hồi cho bạn biết gì
- Được phục vụ bởi
- ai.ml, GLOBAL
- Số lần thử
- 2
- Token đầu tiên
- 1.10 s
Ví dụ về chuyển dự phòng: máy chủ đầu tiên hết thời gian chờ, nên yêu cầu chuyển sang máy chủ tiếp theo. Bạn nhận một câu trả lời và trả tiền một lần.
Mô hình từOpenAIAnthropicGoogleDeepSeekZ.aiMoonshotxAIXiaomiTencentMeta LlamaQwenMiniMax
Nói đúng API mà mã của bạn đang dùng
Năm định dạng wire đi vào, và mỗi định dạng được trả về đúng như vậy, bất kể nhà cung cấp nào phục vụ. Chọn một định dạng để xem nó nằm ở đâu và mang theo những gì.
Thay thế trực tiếp cho SDK OpenAI và mọi thứ xây dựng trên nó
client = OpenAI(base_url="https://api.ai.ml/v1", api_key=KEY)
- Streaming, kèm mức sử dụng ở chunk cuối
- Function tool và gọi công cụ song song
- Chế độ JSON và đầu ra theo JSON Schema
- Hình ảnh, âm thanh và tệp làm đầu vào
Điều gì xảy ra với một yêu cầu, theo thứ tự
Sáu giai đoạn nằm giữa SDK của bạn và mô hình. Nhấp vào một giai đoạn, hoặc phát toàn bộ quy trình, để xem mỗi giai đoạn kiểm tra gì và ghi lại gì.
4. Định tuyến
Các máy chủ không thể phục vụ yêu cầu bị lọc ra theo tính năng, quốc gia và quy tắc dữ liệu. Phần còn lại được xếp hạng theo chính sách của bạn: giá, tốc độ hoặc thời gian hoạt động.
# trace
5 hosts, 3 eligible ranked by priceXem mọi máy chủ trước khi gửi yêu cầu
Mỗi mô hình liệt kê các máy chủ phục vụ nó, kèm giá, tốc độ đo được và thời gian hoạt động 30 ngày. Sắp xếp, giữ lưu lượng trong một quốc gia, hoặc nhấp vào một hàng để cố định một máy chủ. Đây là các máy chủ của deepseek/deepseek-v4.1-flash.
| Máy chủ | Quốc gia | Đầu vào / đầu ra mỗi 1M | Token đầu tiên | Hoạt động 30 ngày |
|---|---|---|---|---|
| DeepSeek | Trung Quốc | $0.30 / $1.20 | n/a | n/a |
| ai.ml | Toàn cầu | $0.32 / $1.26 | 1.10 s | 100.00% |
Yêu cầu của bạn đến máy chủ rẻ nhất
Nếu máy chủ đó lỗi hoặc chậm lại, máy chủ tiếp theo trong danh sách sẽ nhận yêu cầu. Bạn chỉ bị tính phí một lần.
# thêm vào body yêu cầu "route": { "sort": "price" }
Số liệu trực tiếp từ danh mục, đo trong 30 ngày qua.
Thử canary một máy chủ mới
Gửi một phần nhỏ lưu lượng đến máy chủ mới. Tỷ lệ này tự động bị cắt khi tỷ lệ lỗi hoặc chất lượng câu trả lời giảm.
Chạy song song một mô hình thứ hai
Phát lại các yêu cầu thực đến một mô hình khác ở chế độ nền và so sánh chi phí, tốc độ và lý do dừng. Người dùng của bạn không hề thấy.
Chạy thử trước khi triển khai
Chạy bộ định tuyến thật trên một yêu cầu cũ hoặc một yêu cầu được mô tả, và xem nó sẽ chọn máy chủ nào, cũng như vì sao các máy chủ khác bị loại.
Một tính năng hoạt động như nhau trên mọi máy chủ, hoặc bạn sẽ được báo
Các máy chủ hỗ trợ những thứ khác nhau. Gateway biết từng máy chủ, bù phần thiếu khi có thể làm an toàn, và từ chối với lỗi rõ ràng khi không thể. Di chuột hoặc chạm vào một ô.
| Mô hình | Công cụ | Đầu ra có cấu trúc | Thị giác | Suy luận | Bộ nhớ đệm prompt |
|---|---|---|---|---|---|
| openai/gpt-6-luna | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ |
| anthropic/claude-sonnet-5.5 | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ |
| openai/gpt-6.1-sol | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ |
| anthropic/claude-opus-5.5 | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ |
| google/gemini-3.8-flash | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ |
| deepseek/deepseek-v4.1-flash | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ | Được hỗ trợ |
Từ danh mục trực tiếp. Trang của mỗi mô hình liệt kê mọi máy chủ và những gì chúng hỗ trợ.
Mọi phản hồi đều tự giải thích
Bạn không bao giờ phải đoán nhà cung cấp nào đã trả lời, mất bao nhiêu lần thử hay tốn bao nhiêu. Câu trả lời nằm ngay trên phản hồi, và cùng bản ghi đó có trong nhật ký yêu cầu chừng nào bạn còn lưu nhật ký.
Mọi máy chủ đã được xem xét và điều đã xảy ra ở từng máy chủ.
HTTP/1.1 200 OK x-aiml-request-id: 01K7QW3M9T2ZB4 x-aiml-provider: bedrock x-aiml-region: us x-aiml-attempts: 2 x-aiml-cost-micro: 2676 x-aiml-route-trace: anthropic:timeout,bedrock:ok
Giới hạn được thực thi, theo từng khóa và từng dự án
Mỗi khóa có giới hạn tốc độ, danh sách mô hình được phép, các origin trình duyệt được phép, thời hạn và ngân sách chi tiêu riêng. Khi hết ngân sách, yêu cầu tiếp theo bị từ chối với lỗi rõ ràng và một webhook báo cho nhóm của bạn. Hãy thử: khởi chạy một agent bị kẹt trong vòng lặp.
$0.00đã chi hôm nay
0yêu cầu đã phục vụ
0yêu cầu bị từ chối
Đang chờ yêu cầu đầu tiên.Bạn quyết định dữ liệu nào được lưu và chạy ở đâu
Quy tắc dữ liệu được đặt theo từng khóa và chỉ có thể chặt chẽ hơn ở cấp thấp hơn. Bật tắt các công tắc để xem một khóa với các quy tắc đó sẽ làm gì.
Lưu nhật ký yêu cầuLưu trữ mã hóa từ 7 đến 365 ngày, tùy bạn chọn.
Ẩn thông tin cá nhân trong nhật kýEmail, số điện thoại và số thẻ được che trước khi lưu.
Không lưu giữ dữ liệu (ZDR)Chỉ những máy chủ không lưu gì mới được phục vụ yêu cầu.
Không huấn luyện trên dữ liệu của bạnBỏ qua mọi máy chủ có điều khoản cho phép huấn luyện trên lưu lượng API.
Chỉ Ấn ĐộYêu cầu được phục vụ bởi máy chủ tại Ấn Độ hoặc bị từ chối.
Với các quy tắc này, khóa này sẽ
- Lưu nhật ký yêu cầu được mã hóa, với thông tin cá nhân được che.
- Không bao giờ gửi yêu cầu đến máy chủ có thể dùng nó để huấn luyện.
- Chạy trên máy chủ tốt nhất ở bất kỳ khu vực nào.
Thỏa thuận xử lý dữ liệu có chữ ký và việc xóa dữ liệu theo yêu cầu là một phần của mọi tài khoản.
Công cụ lập trình của bạn, trỏ về đây chỉ bằng một lệnh
Lệnh setup kiểm tra khóa và mô hình của bạn trước, chỉ thay đổi các thiết lập nó quản lý, và giữ một bản sao lưu để chỉ cần thêm một lệnh là mọi thứ trở lại như cũ.
$ npx @aiml/cli setup claude-code ok key accepted ok model available ok backup saved ok wrote ~/.claude/settings.json npx @aiml/cli restore
Có sẵn trong gói
Những thứ một nhóm cần sau lần tích hợp đầu tiên đều đã có.
Bộ nhớ đệm phản hồi
Bật cho một khóa và mọi yêu cầu giống hệt sẽ được trả lời từ bộ nhớ đệm miễn phí, kể cả streaming.
Embedding và rerank
Một tuyến cho các mô hình embedding kiểu OpenAI, Cohere, Voyage và Jina, các lô lớn được tự động chia nhỏ.
Khóa nhà cung cấp của riêng bạn
Dùng các khóa bạn đã có. Yêu cầu đi qua các khóa đó và bạn vẫn có nhật ký, giới hạn và định tuyến.
Tải lên tệp
Tải lên hình ảnh, PDF hoặc tệp âm thanh một lần và tham chiếu từ bất kỳ yêu cầu nào, trên bất kỳ nhà cung cấp nào.
SDK và vòng lặp agent
Thư viện TypeScript, Python và Go, cùng một vòng lặp gọi công cụ dừng lại ở mức chi tiêu tối đa bạn đặt.
Máy chủ MCP
Cho phép trình soạn thảo hoặc agent của bạn đọc mô hình, mức sử dụng và yêu cầu, cũng như tạo khóa, qua các công cụ tiêu chuẩn.
Đánh giá trên prompt của bạn
Chấm điểm mô hình và máy chủ trên bộ kiểm thử của riêng bạn và để kết quả định hướng việc định tuyến.
Webhook và đăng nhập một lần
Sự kiện có chữ ký kèm cơ chế thử lại, đăng nhập SAML hoặc OIDC, và cấp phát người dùng từ thư mục của bạn.
Trả trước, trả theo token. Nạp tiền bằng rupee qua UPI, thẻ hoặc net banking, hoặc bằng đô la qua thẻ. Không có gói thuê bao. Công ty Ấn Độ nhận hóa đơn GST cho mỗi lần nạp tiền.
Xem bảng giáai.ml là gì
Một dịch vụ cho các nhà phát triển và công ty xây dựng sản phẩm với mô hình AI.
ai.ml là một gateway API cho các mô hình ngôn ngữ lớn. Ứng dụng của bạn gửi yêu cầu đến một địa chỉ duy nhất, theo định dạng của SDK OpenAI, Anthropic hoặc Gemini, và ai.ml chuyển từng yêu cầu đến một nhà cung cấp mô hình, trả về câu trả lời và ghi lại chi phí. Bạn quản lý khóa, ngân sách, mức sử dụng và thanh toán trong bảng điều khiển.
Để sử dụng, bạn tạo tài khoản bằng địa chỉ email và mật khẩu, hoặc đăng nhập bằng Google. Từ một lần đăng nhập Google, chúng tôi chỉ nhận tên, địa chỉ email và ảnh hồ sơ của bạn, và chỉ dùng chúng để tạo tài khoản và nhận ra bạn khi bạn đăng nhập lại. Chúng tôi không đọc bất kỳ thông tin nào khác trong tài khoản Google của bạn.
Cách chúng tôi xử lý dữ liệu cá nhân được trình bày trong chính sách quyền riêng tư và điều khoản dịch vụ.
Những câu hỏi thường gặp đầu tiên
Nếu có câu hỏi khác, hãy hỏi trong yêu cầu truy cập và một người thật sẽ trả lời.
Làm sao để tham gia?
Tạo tài khoản bằng địa chỉ email, xác nhận qua email chúng tôi gửi, rồi thiết lập tổ chức của bạn.
Streaming có hoạt động như SDK của tôi mong đợi không?
Có. Sự kiện được trả về theo đúng định dạng SDK của bạn đã gửi, theo thứ tự nó mong đợi, bất kể nhà cung cấp nào tạo ra. Lệnh gọi công cụ và suy luận cũng được truyền phát.
Chi phí là bao nhiêu?
Bạn trả theo token với mức giá hiển thị cho từng máy chủ trên trang mô hình. Không có gói thuê bao.
Tôi có phải viết lại mã không?
Không. Giữ nguyên SDK OpenAI, Anthropic hoặc Gemini bạn đang dùng, chỉ đổi base URL và khóa. Streaming, công cụ và đầu ra có cấu trúc hoạt động như cũ.
Điều gì xảy ra khi một nhà cung cấp gặp sự cố?
Yêu cầu chuyển sang máy chủ tiếp theo phục vụ cùng mô hình. Bạn trả tiền cho câu trả lời nhận được và không mất gì cho lần thử thất bại.
Gateway thêm bao nhiêu độ trễ?
Gateway thêm một chi phí cố định nhỏ cho mỗi yêu cầu và báo cáo nó trong mọi phản hồi, tách riêng khỏi thời gian của nhà cung cấp, để bạn tự kiểm chứng.
Dữ liệu của tôi được xử lý ở đâu?
Bạn chọn. Một khóa có thể được giới hạn chỉ dùng máy chủ trong một khu vực, và yêu cầu không thể phục vụ ở đó sẽ bị từ chối.
Tham gia beta
Chúng tôi mở cho từng ít nhóm một để mọi tài khoản đều được hỗ trợ thực sự trong lần tích hợp đầu tiên.
Cách hoạt độngTạo tài khoản bằng địa chỉ email, xác nhận qua email chúng tôi gửi, rồi thiết lập tổ chức của bạn.