Satu endpoint untuk semua model, dengan perutean dan failover bawaan.

ai.ml adalah gateway LLM. Tetap gunakan SDK OpenAI, Anthropic, atau Gemini yang sudah Anda pakai, ganti base URL, dan setiap permintaan diterjemahkan, dirutekan ke host terbaik, dialirkan kembali, dan diukur hingga per token.

Mulai Lihat cara kerjanya

Lima format wire, satu kunci
Streaming, tool, dan output terstruktur
Failover lintas host dan cloud

from openai import OpenAI client = OpenAI(-   base_url="https://api.openai.com/v1",+   base_url="https://api.ai.ml/v1",    api_key=KEY,)client.chat.completions.create(    model="deepseek/deepseek-v4.1-flash", ...)

deepseek/deepseek-v4.1-flash

HostNegaraInput / 1MToken pertamaStatus
DeepSeekCN$0.30n/aWaktu habis
ai.mlGLOBAL$0.321.10 sDilayani

Yang diberitahukan respons

Dilayani oleh: ai.ml, GLOBAL
Percobaan: 2
Token pertama: 1.10 s

Contoh failover: host pertama kehabisan waktu, sehingga permintaan pindah ke host berikutnya. Anda mendapat satu jawaban dan membayar satu kali.

Model dariOpenAIAnthropicGoogleDeepSeekZ.aiMoonshotxAIXiaomiTencentMeta LlamaQwenMiniMax

Berbicara dengan API yang sudah dipakai kode Anda

Lima format wire masuk, dan masing-masing kembali dalam format yang sama, penyedia mana pun yang melayaninya. Pilih sebuah format untuk melihat letaknya dan apa yang dibawanya.

Pengganti langsung untuk SDK OpenAI dan semua yang dibangun di atasnya

client = OpenAI(base_url="https://api.ai.ml/v1", api_key=KEY)

Streaming, dengan penggunaan pada chunk terakhir
Function tool dan pemanggilan tool paralel
Mode JSON dan output JSON Schema
Gambar, audio, dan file sebagai input

Yang terjadi pada sebuah permintaan, secara berurutan

Enam tahap berada di antara SDK Anda dan model. Klik sebuah tahap, atau putar seluruh jalurnya, untuk melihat apa yang diperiksa dan dicatat setiap tahap.

4. Rute

Host yang tidak dapat melayani permintaan disaring berdasarkan fitur, negara, dan aturan data. Sisanya diperingkat menurut kebijakan Anda: harga, kecepatan, atau uptime.

# trace
5 hosts, 3 eligible   ranked by price

Lihat setiap host sebelum Anda mengirim permintaan

Setiap model mencantumkan host yang melayaninya, dengan harga, kecepatan terukur, dan uptime 30 hari. Urutkan, pertahankan lalu lintas di satu negara, atau klik sebuah baris untuk mengunci satu host. Ini adalah host untuk deepseek/deepseek-v4.1-flash.

Host	Negara	Input / output per 1M	Token pertama	Uptime 30 hari
DeepSeek	Tiongkok	$0.30 / $1.20	n/a	n/a
ai.ml	Global	$0.32 / $1.26	1.10 s	100.00%

Permintaan Anda dikirim ke host termurah

Jika host tersebut gagal atau melambat, host berikutnya dalam daftar mengambil permintaan. Anda dikenai biaya satu kali.

# tambahkan ke body permintaan
"route": {
  "sort": "price"
}

Angka langsung dari katalog, diukur selama 30 hari terakhir.

Jelajahi model

Kebijakan sebagai file

Tulis aturan perutean sekali dan terapkan ke seluruh organisasi, satu proyek, atau satu kunci. Aturan diperiksa tipenya sebelum disimpan.

Uji canary host baru

Kirim sebagian kecil lalu lintas ke host baru. Porsinya dikurangi otomatis saat tingkat error atau kualitas jawabannya menurun.

Bayangi dengan model kedua

Putar ulang permintaan langsung ke model lain di latar belakang dan bandingkan biaya, kecepatan, dan alasan berhentinya. Pengguna Anda tidak pernah melihatnya.

Uji coba sebelum rilis

Jalankan router sungguhan pada permintaan lama atau yang Anda deskripsikan, lalu lihat host mana yang akan dipilih dan mengapa yang lain kalah.

Sebuah fitur bekerja sama di setiap host, atau Anda diberi tahu

Host berbeda dalam hal yang didukungnya. Gateway mengenal masing-masing, mengisi kekurangannya jika aman, dan menolak dengan error yang jelas jika tidak bisa. Arahkan kursor atau ketuk sebuah sel.

Model	Tool	Output terstruktur	Vision	Penalaran	Cache prompt
openai/gpt-6-luna	Didukung	Didukung	Didukung	Didukung	Didukung
anthropic/claude-sonnet-5.5	Didukung	Didukung	Didukung	Didukung	Didukung
openai/gpt-6.1-sol	Didukung	Didukung	Didukung	Didukung	Didukung
anthropic/claude-opus-5.5	Didukung	Didukung	Didukung	Didukung	Didukung
google/gemini-3.8-flash	Didukung	Didukung	Didukung	Didukung	Didukung
deepseek/deepseek-v4.1-flash	Didukung	Didukung	Didukung	Didukung	Didukung

Dari katalog langsung. Halaman setiap model mencantumkan semua host dan apa yang didukungnya.

Setiap respons menjelaskan dirinya sendiri

Anda tidak perlu menebak penyedia mana yang menjawab, berapa kali percobaan, atau berapa biayanya. Jawabannya ada di respons, dan catatan yang sama ada di log permintaan selama Anda menyimpan log.

Setiap host yang dipertimbangkan dan apa yang terjadi di masing-masing.

HTTP/1.1 200 OK
x-aiml-request-id: 01K7QW3M9T2ZB4
x-aiml-provider: bedrock
x-aiml-region: us
x-aiml-attempts: 2
x-aiml-cost-micro: 2676
x-aiml-route-trace: anthropic:timeout,bedrock:ok

Batas yang ditegakkan, per kunci dan per proyek

Setiap kunci memiliki batas laju, daftar model yang diizinkan, origin browser yang diizinkan, masa berlaku, dan anggaran belanja sendiri. Saat anggaran habis, permintaan berikutnya ditolak dengan error yang jelas dan webhook memberi tahu tim Anda. Coba: jalankan agen yang terjebak dalam loop.

Anggaran harian untuk kunci ini: $20

$0.00terpakai hari ini

0permintaan dilayani

0permintaan ditolak

Menunggu permintaan pertama.

Anda menentukan apa yang disimpan dan di mana dijalankan

Aturan data ditetapkan per kunci dan hanya bisa semakin ketat ke bawah. Ubah sakelarnya untuk melihat apa yang dilakukan kunci dengan aturan tersebut.

Simpan log permintaanDisimpan terenkripsi selama 7 hingga 365 hari, sesuai pilihan Anda.

Sembunyikan data pribadi di logEmail, nomor telepon, dan nomor kartu disamarkan sebelum disimpan.

Retensi data nol (ZDR)Hanya host yang tidak menyimpan apa pun yang boleh melayani permintaan.

Tanpa pelatihan pada data AndaLewati host mana pun yang ketentuannya mengizinkan pelatihan pada lalu lintas API.

Hanya IndiaPermintaan dilayani oleh host di India atau ditolak.

Dengan aturan ini, kunci ini akan

Menyimpan log permintaan terenkripsi dengan data pribadi disamarkan.
Tidak pernah mengirim permintaan ke host yang mungkin melatih model dengannya.
Berjalan di host terbaik di wilayah mana pun.

Perjanjian pemrosesan data yang ditandatangani dan penghapusan atas permintaan termasuk dalam setiap akun.

Tool coding Anda, diarahkan ke sini dengan satu perintah

Perintah setup memeriksa kunci dan model Anda terlebih dahulu, hanya mengubah pengaturan yang dikelolanya, dan menyimpan cadangan sehingga satu perintah lagi mengembalikan semuanya.

$ npx @aiml/cli setup claude-code
ok  key accepted
ok  model available
ok  backup saved
ok  wrote ~/.claude/settings.json

npx @aiml/cli restore

Juga sudah tersedia

Hal-hal yang diminta tim setelah integrasi pertama sudah ada.

Cache respons

Aktifkan untuk sebuah kunci, dan permintaan yang identik dijawab dari cache tanpa biaya, termasuk streaming.

Embedding dan rerank

Satu rute untuk model embedding bergaya OpenAI, Cohere, Voyage, dan Jina, dengan batch besar dipecah untuk Anda.

Kunci penyedia milik Anda sendiri

Bawa kunci yang sudah Anda miliki. Permintaan berjalan melaluinya dan Anda tetap mendapat log, batas, dan perutean.

Unggah file

Unggah gambar, PDF, atau file audio sekali, lalu rujuk dari permintaan mana pun, di penyedia mana pun.

SDK dan loop agen

Library TypeScript, Python, dan Go, plus loop pemanggilan tool yang berhenti pada batas belanja yang Anda tetapkan.

Server MCP

Biarkan editor atau agen Anda membaca model, penggunaan, dan permintaan, serta membuat kunci, melalui tool standar.

Evaluasi pada prompt Anda

Nilai model dan host pada set uji Anda sendiri dan biarkan hasilnya mengarahkan perutean.

Webhook dan single sign-on

Event bertanda tangan dengan percobaan ulang, login SAML atau OIDC, dan penyediaan pengguna dari direktori Anda.

Prabayar, bayar per token. Isi ulang dalam rupee melalui UPI, kartu, atau net banking, atau dalam dolar dengan kartu. Tanpa langganan. Perusahaan India mendapat faktur GST di setiap isi ulang.

Lihat harga

Apa itu ai.ml

Layanan bagi pengembang dan perusahaan yang membangun dengan model AI.

ai.ml adalah gateway API untuk model bahasa besar. Aplikasi Anda mengirim permintaannya ke satu alamat, dalam format SDK OpenAI, Anthropic, atau Gemini, dan ai.ml meneruskan setiap permintaan ke penyedia model, mengembalikan jawabannya, dan mencatat biayanya. Anda mengelola kunci, anggaran, penggunaan, dan penagihan di konsol.

Untuk menggunakannya, Anda membuat akun dengan alamat email dan kata sandi, atau dengan masuk menggunakan Google. Dari login Google, kami hanya menerima nama, alamat email, dan foto profil Anda, dan kami menggunakannya hanya untuk membuat akun Anda dan mengenali Anda saat Anda masuk lagi. Kami tidak membaca apa pun selain itu di akun Google Anda.

Cara kami menangani data pribadi dijelaskan dalam kebijakan privasi dan ketentuan layanan.

Pertanyaan yang pertama kali diajukan

Untuk hal lain, tanyakan dalam permintaan akses Anda dan seseorang akan membalas.

Bagaimana cara bergabung?

Buat akun dengan alamat email Anda, konfirmasi dari email yang kami kirim, lalu siapkan organisasi Anda.

Apakah streaming bekerja seperti yang diharapkan SDK saya?

Ya. Event dikembalikan dalam format yang dikirim SDK Anda, dengan urutan yang diharapkannya, penyedia mana pun yang menghasilkannya. Pemanggilan tool dan penalaran juga di-stream.

Berapa biayanya?

Anda membayar per token sesuai harga yang ditampilkan untuk setiap host di halaman model. Tidak ada langganan.

Apakah saya harus menulis ulang kode saya?

Tidak. Tetap gunakan SDK OpenAI, Anthropic, atau Gemini yang Anda pakai sekarang, lalu ganti base URL dan kuncinya. Streaming, tool, dan output terstruktur bekerja dengan cara yang sama.

Apa yang terjadi saat penyedia sedang down?

Permintaan pindah ke host berikutnya yang melayani model yang sama. Anda dikenai biaya untuk jawaban yang Anda terima dan tidak ada biaya untuk percobaan yang gagal.

Berapa latensi yang ditambahkan gateway?

Gateway menambah overhead tetap yang kecil per permintaan dan melaporkannya di setiap respons, terpisah dari waktu penyedia sendiri, sehingga Anda bisa melihatnya sendiri.

Di mana data saya diproses?

Anda yang memilih. Sebuah kunci dapat dibatasi ke host di satu wilayah, dan permintaan yang tidak dapat dilayani di sana akan ditolak.

Ikuti beta

Kami menerima tim sedikit demi sedikit agar setiap akun mendapat bantuan nyata untuk integrasi pertamanya.

Cara kerjanyaBuat akun dengan alamat email Anda, konfirmasi dari email yang kami kirim, lalu siapkan organisasi Anda.

Mulai Baca dokumentasi