通过Azure OpenAI调用OpenAI大模型时,如何提高吞吐量?又如何让成本保持在较低的水平?
本文介绍了企业级用户如何通过 Azure OpenAI(国际版)PTU 预留自服务模式快速部署预留吞吐量的模型,同时节省成本 —— 企业级用户有预留一个月或预留一年的两种 PTU(预配置吞吐量单位)自服务选项。
企业如何合规、稳定使用ChatGPT以及Copilot?
出于合规角度,建议国内企业可以选择微软的Azure OpenAI服务来使用接口。
通过微软官方合作伙伴获取服务,企业用户可以合规、稳定地使用ChatGPT,满足国内发票需求,同时也能解决连接不稳定/响应速度慢/并发配额低等问题。
作为微软的合作伙伴,全云在线可为企业开通绿色申请通道!包括最新版本GPT-4o、Dalle-3等,只要企业有需求,全云在线都能协助快速开通!
参考链接:https://azureopenai.cloudallonline.com/?zxwsh108
全云微软 Azure OpenAI试用申请
#1
购买预留实例前您需要了解
当您购买 Azure OpenAI(国际版)PTU 预留Reservations 时,您需要为您的订阅选择对应的Azure 区域、数量,确保您成功部署了 PTU,然后在部署之后将成功部署的 PTU 数量添加到预留 Reservations 购物车,然后选择您想购买的预留时长, 完成预留购买。
购买 PTU 预留实例后,与 PTU 预留实例相匹配的 Azure OpenAI(国际版)PTU 使用将不再按小时费率收费。
PTU 预留实例仅适用于 PTU 部署,不包括标准 Pay-as-you-go(按需付费)部署的 API 或微调模型 API 等其他服务。Azure OpenAI(国际版)PTU 自服务模式的可用 quota 不保证容量可用性。为了确保容量可用性,推荐的最佳实践是在购买 PTU 预留实例之前先创建 PTU 完成部署。
当 PTU 预留实例到期时,Azure OpenAI(国际版)PTU 部署如果不删除则将继续运行,但会按小时收费。
您可以选择在购买时或在 PTU 预留续订设置中启用PTU 预留实例的自动续订。通过 Azure OpenAI(国际版)PTU 预留实例自动续订,PTU 预留实例将使用相同的预留实例订单 ID 进行续订,而不是购买新的预留实例。您也可以选择在续订设置中,用 PTU新预留实例替换当前预留实例,当预留实例到期时,将自动购买替换的 PTU 预留实例。默认情况下,替换预留实例具有与到期预留实例相同的属性。您可以在续订设置中选择更改名称、计费频率、期限或数量。任何具有 reservation(预留)权限和 subscription used for billing(用于计费的订阅) 权限的用户都可以设置续订。
#2
购买前选择合适的大小
Azure OpenAI(国际版)PTU 预留实例大小应基于您通过部署消耗的总 PTU 数量决定。预留实例购买以一个 PTU 为增量,但 PTU 部署需要满足每个模型的最低部署单元数量。
例如,假设您总共消耗100个 PTU 预配置吞吐量单位,您希望为全部消耗的 PTU 购买预留实例,因此您应该购买100个 PTU 预留实例数量。
#3
购买 Azure OpenAI(国际版)
PTU 预留实例
您可以在 Azure 门户1中购买 Azure OpenAI(国际版)PTU 预留实例,对包年预留提供两种付费模式供您选择:提前全部预付或按月支付费用2,两种付费模式的价格相同。购买 PTU 预留实例前您需要注意:
您必须在 Azure 订阅中具有 Owner 角色或预留实例购买者角色。
对于企业订阅,必须在 Azure 门户3中启用 Reserved Instances policy(预留实例政策)选项。如果该设置被禁用,只有 EA管理员才能启用。
直接企业客户可以在 Azure 门户4中的 Policies (政策)菜单中更新 Reserved Instances policy(预留实例政策)设置。
对于云解决方案提供商(CSP)计划,只 admin agents (管理员代理)或 sales agents (销售代理)可以购买 Azure OpenAI(国际版)预留实例。
#4
购买的具体步骤
1.登录Azure
2.选择“所有服务(All services)”>“预留实例”,然后选择“Azure OpenAI”。
3.选择一个订阅。使用订阅列表选择用于支付预留实例费用的订阅。订阅的支付方式将被用于支付预留实例费用。订阅类型必须是企业协议(提供编号:MS-AZR-0017P或MS-AZR-0148P)、Microsoft 客户协议或 pay-as-you-go(提供编号:MS-AZR-0003P或MS-AZR-0023P)。
对于企业订阅,费用从注册的 Azure 预付款(以前称为货币承诺 monetary commitment)余额中扣除,或者作为超额费用收取。
对于 pay-as-you-go 订阅,费用将按订阅的信用卡或发票付款方式收取。
4.选择一个范围 (Scope)。使用范围列表选择订阅范围。您可以在购买后更改预留实例的范围。
单一资源组范围——仅将预留实例折扣应用于选定资源组中的匹配资源。
单一订阅范围——将预留实例折扣应用于选定订阅中的匹配资源。
共享范围——将预留实例折扣应用于 billing context(计费环境)中的所有符合条件的订阅中的匹配资源。如果订阅被移动到不同的 billing context,则优惠将不再适用于该订阅。它将继续适用于 billing context 中的其他订阅。
• 对于企业客户,billing context 是 EA 注册。预留实例共享范围将包括注册中的多个 Microsoft Entra 租户。
• 对于 Microsoft 客户协议客户,计费范围是计费配置文件。
• 对于 pay-as-you-go 客户,共享范围是由账户管理员创建的所有 pay-as-you-go 订阅。
管理组——将预留实例折扣应用于同时属于管理组和计费范围的订阅列表中的匹配资源。管理组范围适用于整个管理组层次结构中的所有订阅。要为管理组购买预留实例,您必须至少拥有管理组的读取权限,并且是计费订阅的预留实例所有者或预留实例购买者。
5.选择受预留实例覆盖的 Azure 区域,然后选择“添加到购物车”。
6.在购物车中,选择要购买的 PTU 预配置单位数量。例如,选择数量为100将覆盖每小时最多100个已部署的 PTU 预配置单位。
7.选择“下一步:查看+购买”并查看您的购买选择及其价格。
8.选择“立即购买”。
9.购买后,您可以选择“查看此预留实例”以查看您的购买状态。
#5
取消、交换或退款预留实例
您可以在一定限制内取消或退款预留实例。有关更多信息,请参阅 Azure 预留实例的自助交换和退款5。请注意,Azure OpenAI(国际版)PTU 预留实例不允许交换。
如果您想申请 Azure OpenAI(国际版)预留实例的退款,您可以按照以下步骤进行:
1.登录到 Azure 门户并转到“预留实例”页面。
2.选择您想要退款的 Azure OpenAI(国际版)预留实例,然后选择“退还”。
3.在“退还预留实例”页面,查看退款金额并选择退还原因。
4.选择“退还预留实例”。
5.查看条款和条件并选择同意。
退款金额基于剩余期限的按比例计算和预留实例的当前价格。退款金额作为信用应用于您的 Azure 账户。
请求退款后,预留实例会被取消,您可以在 Azure 门户的 “预留实例” 页面查看退款请求的状态。
在12个月滚动窗口中,您计费范围内(例如 EA、 Microsoft 客户协议和 Microsoft 合作伙伴协议)所有取消预留实例承诺的总和不得超过50,000美元。
#6
PTU 预留实例折扣应用到
Azure OpenAI(国际版)
购买 Azure OpenAI(国际版)PTU 预留实例后,预留实例折扣会自动应用于该区域内部署的预配置单位,并包含在预留实例范围内。预留折扣适用于按需计费的预配置吞吐量所产生的使用量。
#7
PTU 预留实例折扣的应用
Azure OpenAI(国际版)PTU 预留实例的应用基于每小时去比较购买的预留数量和已部署的 PTU 数量。已部署 PTU 的总和达到预留数量的部分通过预留实例支付,而超出预留 PTU 的部分将按小时付费的费率收费。需要记住以下几点:
Partial-hour 部署的 PTU 按部署存在的分钟数按比例计算。例如,一个存在15分钟的100 PTU 部署将在一个小时内被视为25 PTU 部署(15分钟是一个小时的1/4,因此在该小时内仅考虑部署 PTU 的1/4进行计费和预留实例应用)。
部署在应用预留实例之前根据预留实例范围进行匹配。例如,范围限定为单个订阅的预留实例只覆盖该订阅内的部署。其他订阅的部署将按小时付费的费率收费,除非它们被其他预留实例覆盖。
预留实例价格覆盖预留 PTU 的全天候部署。在部署的 PTU 少于预留 PTU 的期间,所有部署的 PTU 将由预留实例覆盖,但未使用的多余预留 PTU 时间则无法结转到其他时间内。
#8
折扣示例
以下示例显示了 Azure OpenAI(国际版)预留实例折扣的应用方式,取决于部署情况。
示例1——与已部署单位完全相同大小的预留示例。例如,您购买了100个 PTU 的预留实例,并部署了100个 PTU。在此示例中,您只需支付预留实例价格。
示例2——比已部署单位大的预留实例。例如,您购买了300个 PTU 的预留实例,但只部署了100个 PTU。在此示例中,预留实例折扣应用于100个 PTU。预留实例中的其余200个 PTU 将未使用,且不会结转到未来的计费期间。
示例3——比已部署单位小的预留示例。例如,您购买了200个 PTU 的预留实例,并部署了600个 PTU。在此示例中,预留实例折扣应用于已使用的200个 PTU。其余400个 PTU 按按需付费的费率收费。
示例4——与两个部署总量相同的预留实例。例如,您购买了200个 PTU 的预留实例,并有两个每个100 PTU 的部署。在此示例中,折扣应用于已部署单位的总和。
#9
增加 Azure OpenAI(国际版)
预留实例的大小
如果您想增加 Azure OpenAI(国际版)预留实例的大小,可以使用上述步骤购买更多 Azure OpenAI(国际版)预留实例。