注意!这个设定可能会吃空你的钱包!
最近微软Azure OpenAI服务推出了PTU的部署类型,此类型可能会增加用户的使用成本。云馥本次将协助客户最大化规避相关风险。
企业如何合规、稳定使用ChatGPT?
出于合规角度,建议国内企业可以选择微软的Azure OpenAI服务来使用接口。
通过微软官方合作伙伴获取服务,企业用户可以合规、稳定地使用ChatGPT,满足国内发票需求,同时也能解决连接不稳定/响应速度慢/并发配额低等问题。
作为微软的合作伙伴,全云在线可为企业开通绿色申请通道!包括最新版本GPT-4o mini、Dalle-3等,只要企业有需求,全云在线都能协助快速开通!
参考链接:https://azureopenai.cloudallonline.com/?zxwsh103
企业微软 Azure OpenAI 试用申请
另外有需要可以关注【全云在线】gz号,进OpenAI技术开发交流裙
1、什么是PTU
预配吞吐量单位(provisioned-throughput units),可以指定部署中所需的吞吐量。然后该服务会分配必要的模型处理容量,并确保随时可用。
2、优 势
相较于全局标准和标准部署类型,PTU能够让客户独享计算资源,从而不用担心全球用户过大出现全局标准或标准部署类型的延迟过大负载过大问题。
3、适用对象
希望保证吞吐量且延迟差异最小的客户。
4、费 用
以GPT-4o模型为例,PTU部署类型,设定50PTU收费标准为$2/PTU/Hour,一个月的费用为2*7.3314*1.06*50*730=人民币 567303.73元。
如果设定100PTU,收费标准为$2/PTU/Hour,一个月的费用为2*7.3314*1.06*100*730=人民币 1134607.46元。
并且部署后不按照token收费,按小时固定收费,即使部署后没有使用,也会收取费用!必须删除部署模型后方可终止收费!
别担心!手把手教你切换到token计费模式!
首先,转到Azure OpenAI Studio
对于新用户:
部署——部署类型——选择全局标准
对于已创建的用户:
先删除PTU部署
再创建新的部署
除了PTU会导致成本过高以外,Azure OpenAI还存在被盗刷的风险。
即便客户没有暴露key或者账户密码给其他人,规避了来自外部的攻击,但是假设攻击者在Azure上创建了VM作为攻击发起源,那也会存在一定风险。
如何规避来自公网的攻击?
1、网络安全层面
设定网络白名单,只允许业务IP请求
<如果业务服务部署在在Azure,推荐使用private link
配置网络接口信息
配置虚拟网络内网IP
配置DNS信息
<如果业务服务部署在其他云或者本地环境,请添加防火墙网络白名单
添加白名单IP
2、使用成本层面
给资源设定一个预算,可以在预算超额时受到相关邮件通知。做出第一时间响应,防止成本消耗过大。
首先,确认服务的资源ID
在订阅的成本管理里,找到”预算”
创建预算
选择刚刚查到的资源ID
创建操作组
配置操作组内容
配置警报接收人