NVIDIA NIM

调用 NVIDIA API Catalog Free Endpoint

api

EndpointEndpoint

https://integrate.api.nvidia.com/v1

认证Authentication

Authorization: Bearer NVIDIA API key

前置条件Prerequisites

• NVIDIA accountNVIDIA account
• Free NVIDIA Developer ProgramFree NVIDIA Developer Program
• NVIDIA API KeyNVIDIA API Key

操作步骤Steps

1. 筛选 Free Endpoint

   打开 build.nvidia.com/models，使用 Free Endpoint 过滤器确认目标模型仍为免费云端 endpoint。

2. 生成 API Key

   登录后在目标模型 Integrate 页面或账户设置生成 API Key。

3. 复制当前集成代码

   直接复制目标模型页面给出的 endpoint / model ID / SDK 示例，避免手工猜测不同 NIM 的路径。

4. 小流量验证

   先发最小请求并观察 429 / rate-limit 响应；开发者免费层的限流会动态变化。

5. Python SDK 示例

   安装 OpenAI SDK；在运行环境设置 NVIDIA_API_KEY，示例代码通过环境变量读取密钥。

   可复制命令Copyable command复制命令Copy command

   python -m pip install -U openai
   
   import os
   from openai import OpenAI
   
   client = OpenAI(
       api_key=os.environ["NVIDIA_API_KEY"],
       base_url="https://integrate.api.nvidia.com/v1",
   )
   response = client.chat.completions.create(
       model="openai/gpt-oss-20b",
       messages=[{"role": "user", "content": "用一句话解释 API 是什么。"}],
       max_tokens=256,
   )
   print(response.choices[0].message.content)

   预期结果Expected：终端打印模型生成的回复；再到提供商控制台确认请求状态和额度扣减。

6. Node.js SDK 示例

   安装 OpenAI SDK；在运行环境设置 NVIDIA_API_KEY，示例代码通过环境变量读取密钥。

   可复制命令Copyable command复制命令Copy command

   npm install openai
   
   import OpenAI from "openai";
   
   const client = new OpenAI({
     apiKey: process.env.NVIDIA_API_KEY,
     baseURL: "https://integrate.api.nvidia.com/v1",
   });
   const response = await client.chat.completions.create({
     model: "openai/gpt-oss-20b",
     messages: [{ role: "user", content: "用一句话解释 API 是什么。" }],
     max_tokens: 256,
   });
   console.log(response.choices[0].message.content);

   预期结果Expected：Node.js 打印模型生成的回复；再到提供商控制台确认请求状态和额度扣减。

官方来源Official sources

• https://build.nvidia.com/models ↗
• https://docs.api.nvidia.com/nim/docs/product ↗
• https://docs.api.nvidia.com/nim/re/docs/api-quickstart ↗
• https://docs.api.nvidia.com/nim/reference/llm-apis ↗

用 NVIDIA NIM 容器部署模型

download

前置条件Prerequisites

• NVIDIA GPU 与匹配驱动NVIDIA GPU
• 已安装 DockerDocker
• 已获得 NGC API key 并保存为 NGC_API_KEYNGC API key NGC_API_KEY

操作步骤Steps

1. 登录 NGC

   在 NVIDIA NGC 账户设置中创建 API key，并用环境变量登录容器仓库。

   可复制命令Copyable command复制命令Copy command

   echo ${NGC_API_KEY} | docker login nvcr.io --username '$oauthtoken' --password-stdin

2. 选择 NIM 容器

   在 NGC Catalog 按模型查找对应 NIM 镜像，并确认 GPU、显存和许可要求。

   操作Action：打开 https://catalog.ngc.nvidia.com/

3. 启动容器

   把官方文档中的镜像名、模型缓存目录和端口参数替换为当前选择，启动后从本机端口调用。

   操作Action：按照 NIM 官方 Quickstart 复制当前镜像对应的 docker run 命令。

4. 验证服务

   查看容器日志确认服务已 ready，再访问本机健康检查或 OpenAI 兼容 models 接口。

官方来源Official sources

• https://docs.nvidia.com/nim/ ↗
• https://catalog.ngc.nvidia.com/ ↗