不花一分钱试用各家大模型?GitHub Models 上手实测

做 AI 应用开发,最磨人的不是写代码,而是「试模型」:想对比 GPT、Claude、Llama、Qwen 到底哪个适合你的场景,得挨个去申请账号、充钱、看文档,试完一圈可能钱包先空了。微软的 GitHub Models 想解决的正是这个问题——把 OpenAI、Meta、微软、xAI、DeepSeek 等厂商的主流模型集中到 GitHub Marketplace 里,免费让你试。

入口就在 github.com/marketplace/models,用 GitHub 账号登录即可,功能页在 github.com/features/models

不花一分钱试用各家大模型?GitHub Models 上手实测

一、GitHub Models 是什么

GitHub Models 是 GitHub 推出的 AI 模型试验与集成平台,提供 40+ 主流开源与专有模型的一站式访问。它和 GitHub Copilot 是两个独立产品:Copilot 是面向编码助手的,GitHub Models 则是给开发者「在应用里调用模型」用的。核心卖点有三:免费起步、模型丰富、不离开 GitHub 工作流。

需要说明的是,它本身不训练模型,推理跑在微软 Azure AI 基础设施上,模型来源包括 OpenAI、Meta、Microsoft、Mistral、xAI、DeepSeek 等多家。

二、Playground:免费用网页试模型

打开任意模型的详情页,点 Playground 就进入试玩界面,功能相当完整:

  • 参数调节:temperature、max tokens 等采样参数都能调,改完切到 Code 标签还能直接看到对应参数的代码;
  • 双模型对比:点 Compare 选择第二个模型,两个聊天窗口同屏显示、提示词实时镜像,两个模型对同一问题的回答并排对比——这是选型时最省事的功能;
  • 结构化评估:支持用相似度(similarity)、相关性(relevance)、有据性(groundedness)等评估器给输出打分,也可以自定义评估标准,相当于内置了一个简易 eval 框架;
  • 预设分享:可以把当前参数与对话存成 preset,一键分享给团队其他人。

这些能力组合起来,等于把「模型选型调研」这件原本很繁琐的事,压缩成了一个可视化工作流。

三、免费 API:在自己的代码里调用

Playground 只是第一步。GitHub Models 还提供免费的 API 额度,让你在自己的应用里真实调用模型。用法很简单:

  1. 创建一个 GitHub Personal Access Token(需 models:read 权限,或用 Copilot 免费版账号);
  2. 在代码里用 Azure AI Inference SDK(或 REST)调用,端点为 https://models.inference.ai.azure.com
  3. 所有模型共用同一个端点,切换模型只需要改模型名参数。

官方提供 Python、JavaScript、.NET、Java 等语言的即贴即用代码片段,在模型的 Code 标签页可以直接复制。

四、免费额度的边界(限流)

免费不是无限的。GitHub Models 按模型档位(低、高、嵌入、以及专门的前沿推理模型)和账号层级(Copilot 免费版 / Pro / Business / Enterprise)分别限流。以最常见的 Copilot 免费版为例,官方给出的限流表大致如下:

档位每分钟每天单请求 token并发
低档(如 GPT-4o-mini、Llama)151508000 入 / 4000 出5
高档(如 GPT-4.1)10508000 入 / 4000 出2
嵌入(Embedding)1515064000 token5
o1/o3/GPT-5 等推理模型不适用84000 入 / 4000 出1
DeepSeek-R1 / Grok-318~154000 入 / 4000 出1

注意:限流数字随官方政策会不定期调整(上表以 2026 年中的官方文档为参考,实际以 models 页面为准)。Copilot Pro/Business/Enterprise 档位会成倍放宽(如低档每天 300~450 次、并发 8)。从这张表能读出两个结论:

  • 做原型验证、功能开发、教学演示——完全够用;
  • 生产环境高并发——必须升级付费或换用自有 API Key。

五、认证与端点:两个容易被忽略的细节

真正动手写代码前,有两个细节会直接影响能否调通,值得单独说:

  1. Token 类型有讲究:GitHub Models 需要的是 细粒度 PAT(Fine-grained personal access token),创建时勾选 Models → Read-only 权限;老式的 classic token 无法指定 Models 作用域,会被 403 拒绝。GitHub App 安装后也可以用 models: read 权限调用。
  2. 端点正在迁移:早期文档里的 models.inference.ai.azure.com 正在被新的 models.github.ai/inference/ 取代,新端点需要额外带 Accept: application/vnd.github+jsonX-GitHub-Api-Version 请求头。模型 ID 采用「厂商/模型名」格式,例如 openai/gpt-4.1meta/Llama-3.3-70B-Instructanthropic/claude-sonnet-4mistral-ai/Mistral-Large-2411google/gemini-3.5-flash

好消息是,GitHub Models 的接口是 OpenAI chat-completions 兼容的——模型名、messages、temperature、max_tokens、stream、tools 这些字段原样可用,所以你可以直接用 OpenAI 官方 Python SDK,把 base_url 指向 GitHub Models 端点、api_key 换成 GitHub token 就能跑。

六、从原型到生产的三条路

试完模型、验证完方案,要上线时有三种选择:

  1. 选择加入付费使用:在 GitHub 上开启 GitHub Models 计费,获得更高限流、更大上下文窗口等,费用与 Azure OpenAI 全球按量付费价格一致;
  2. 自带密钥(BYOK):绑定你自己的 OpenAI / Azure 订阅 Key,模型推理走你的账户计费,代码一行都不用改;
  3. 迁移到 Azure AI:把 token 换成 Azure 付费账户的 token,其余代码原样可用,官方承诺「除了 token 什么都不用改」。

这种「免费试 → 付费用」的无缝路径,是 GitHub Models 相比各家独立模型平台最舒服的一点——你不会为了换方案重写一遍代码。

七、背景知识:它和 Azure AI 的关系

GitHub Models 背后的技术底座是 Azure AI Foundry(原 Azure AI Studio)。微软把 OpenAI 的模型、Meta 的 Llama、自家的 Phi、xAI 的 Grok、DeepSeek 等统一托管在 Azure 上,通过同一个 Azure AI Inference SDK 暴露接口。GitHub Models 相当于是把这个模型池「免费开放了一个入口」给 GitHub 开发者,同时承担了负责任 AI 的内容过滤(playground 中的内容过滤器无法关闭,符合微软 AI 准则)。

这种「平台级模型路由」模式,正是 2024-2025 年业界常说的 Model-as-a-Service(模型即服务)的典型形态:你不再需要关心模型部署在哪、用什么框架,只关心调哪个接口。国内魔搭社区的 ModelScope Inference、阿里的百炼、字节的火山方舟走的也是同一路线。

八、适合谁用

  • 做 AI 应用原型的开发者:免费额度足够把 MVP 跑起来;
  • 需要对比选型的技术负责人:Compare + 评估器比手动换平台试高效得多;
  • 学习 AI 开发的初学者:一个 GitHub 账号就能接触全部主流模型,几乎零门槛;
  • 已经在用 GitHub + Azure 的团队:从原型到生产无缝衔接,运维成本最低。

九、工具入口

Hugging Face、GitHub Models 之外,国内开发者用得最多的还有阿里魔搭(ModelScope)——这三家到底有什么区别、什么场景选谁,下一篇用一张对比表讲清楚。

主要菜单