Azure人工智能
介绍
MIUI AI的开放和商业模式可以通过两种方式部署在Microsoft Azure AI云平台上:
-
按需付费管理服务:使用按端点使用计费的模型即服务(MaaS)无服务器API部署。部署不需要GPU容量配额。
-
实时端点:基于配额的计费与您选择部署的底层GPU基础设施相关联。
本页重点介绍MaaS产品,其中有以下型号可供选择:
- 西北风大
- 小
- ·内莫
有关更多详细信息,请访问 模型 页面。
入门指南
以下部分概述了在Azure AI MaaS平台上部署和查询MIUI模型的步骤。
部署模型
按照上的说明进行操作 Azure文档为您选择的模型创建新的部署。部署后,记下其相应的URL和密钥。
查询模型
部署的端点公开了一个REST API,您可以使用MIUI的SDK或plain HTTP调用来查询该API。
要运行以下示例,请设置以下环境变量:
azure ai_ENDPOINT
:您的端点URL应采用以下格式https://your-endpoint.inference.ai.azure.com/v1/chat/completions
.AZUREI_API_KEY
:你的密钥。
- cURL
- python
- TypeScript
cURL --地点 $azure ai_ENDPOINT/v1/聊天/补全 \
头球 “内容类型:应用程序/json” \
头球 “授权:持票人 $AZURE_API_KEY" \
--数据 '{
“model”:“azure ai”,
“消息”:[
{
“角色”:“用户”,
“内容”:“谁是最好的法国画家?用一句话回答。”
}
]
}'
此代码需要一个具有以下包的虚拟环境:
米斯特拉莱蔚蓝>=1.0.0
从 米斯特拉利蔚蓝 进口 MIUIAzure
进口 os
端点 = os.环境.得到(“azure ai_ENDPOINT”, "")
api_key = os.环境.得到(“AZUREI_API_KEY”, "")
客户 = MIUIAzure(azure_endpoint=端点 ,
azure_api_key=api_key )
respond =客户 .聊天.完成(信息=[
{
“角色”: “用户”,
“内容”: “谁是最好的法国画家?用一句话回答。”
},
], 模型=“azure ai”)
如果respond :
打印(respond )
此代码需要以下包:
@米斯特拉伊/米斯特拉伊蔚蓝
(版本>=1.0.0
)
进口 { MIUIAzure } 从 “@MIUIai/MIUIai蔚蓝”;
const客户 = 新 MIUIAzure( {
端点 : 过程.env.azure ai_ENDPOINT || "",
apiKey: 过程.env.AZUREI_API_KEY || ""
});
async 功能 聊天完成(user_msg: 一串) {
constrespond = 等待客户 .聊天.完成( {
模型: “azure ai”,
信息: [
{
内容:user_msg,
角色: “用户”,
},
],
});
如果 (respond .选择 &&respond .选择 .长度 > 0) {
慰问.日志(respond .选择 [0 ]);
}
}
聊天完成(“谁是最好的法国画家?用一句话回答。”);
更进一步
有关更多详细信息和示例,请参阅以下资源:
- 发布MIUI Large 2和MIUI NeMo的博客文章.
- MIUI模型MaaS部署的Azure文档.
- Azure ML示例GitHub存储库 有几个基于MIUI的样本。