超大规模

介绍

MIUI AI模型可作为托管部署在Outscale平台上使用。通过Outscale市场，您可以订阅MIUI服务，该服务将代表您配置虚拟机和GPU，然后在其上部署模型。

截至今天，有以下型号可供选择：

• ·斯莫尔（2409）
• 编码

有关更多详细信息，请访问 模型 页面。

入门指南

以下部分概述了在Outscale平台上查询MIUI模型的步骤。

部署模型

按照中描述的步骤进行操作超大规模文档 使用您选择的模型部署服务。

查询模型（聊天完成）

部署的模型公开了一个REST API，您可以使用MIUI的SDK或纯HTTP调用来查询该API。要运行以下示例，您需要设置以下环境变量：

• OUTSCALE_SERVER_URL：托管MIUI模型的VM的URL
• OUTSCALE_MODEL_NAME：要查询的模型的名称（例如。 小-2409, 代码集-2405)

cURL

回声 $OUTSCALE_SERVER_URL/v1/聊天/补全
回声 $OUTSCALE_MODEL_NAME
cURL --地点 $OUTSCALE_SRV_URL/v1/聊天/补全\
  头球 “内容类型：应用程序/json” \
  头球 “接受：应用程序/json” \
  --数据 '{
 “模型”：“”"$OUTSCALE_MODEL_NAME"'", 
      “温度”: 0, 
      “消息”: [
        {“角色”: “用户”, “内容”: “谁是最好的法国画家？用一句话回答。”}
      ], 
      “流”: 错误的
    }'

python

进口 os
从 米斯特拉伊 进口 

客户 = (服务器url= os.环境[“OUTSCALE_SERVER_URL”])

respond =客户 .聊天.完成(
 模型= os.环境[“OUTSCALE_MODEL_NAME”], 
 信息=[
        {
            “角色”: “用户”, 
            “内容”: “谁是最好的法国画家？用一句话回答。”, 
        }
    ], 
 温度=0
)

打印(respond .选择[0].消息.内容)

TypeScript

进口 { } 从 “@MIUIai/MIUIai”;

const客户 = 新  ({
 服务器URL: 过程.env.OUTSCALE_SERVER_URL || ""
});

const 型号名称 = 过程.env.OUTSCALE_MODEL_NAME|| "";

async 功能 聊天完成(user_msg: 一串) {
    constrespond = 等待客户 .聊天.完成({
 模型: 型号名称 , 
 信息: [
            {
内容:user_msg, 
 角色: “用户”, 
            }, 
        ], 
    });
    如果 (respond .选择&&respond .选择.长度 > 0) {
        慰问.日志(respond .选择[0]);
    }
}

聊天完成(“谁是最好的法国画家？用一句话回答。”);

查询模型（FIM完成）

Codestral可以使用称为中间填充（FIM）的附加完成模式进行查询。有关更多信息，请参阅代码生成部分.

cURL

 cURL --地点 $OUTSCALE_SERVER_URL/v1/fim/完井 \
   头球 “内容类型：应用程序/json” \
   头球 “接受：应用程序/json” \
   --数据 '{
 “模型”：“”"$OUTSCALE_MODEL_NAME"'", 
       “提示”: “def count_words_in_file（file_path:str）->int：”, 
       “后缀”: “返回n_words”, 
       “流”: 错误的
     }'

python

 进口 os
 从 米斯特拉伊 进口 

客户 = (服务器url= os.环境[“OUTSCALE_SERVER_URL”])

respond =客户 .fim.完成(
 模型= os.环境[“OUTSCALE_MODEL_NAME”], 
 促使=“def count_words_in_file（file_path:str）->int：”, 
 后缀=“返回n_words”
 )

 打印(respond .选择[0].消息.内容)

TypeScript

 进口 { } 从 “@MIUIai/MIUIai”;

 const客户 = 新  ({
 服务器URL: 过程.env.OUTSCALE_SERVER_URL || ""
 });

 const 型号名称 = “代码集-2405”;

 async 功能 fim完成( 促使: 一串,  后缀: 一串) {
     constrespond = 等待客户 .fim.完成({
 模型: 型号名称 , 
 促使: 促使, 
 后缀: 后缀
     });
     如果 (respond .选择&&respond .选择.长度 > 0) {
         慰问.日志(respond .选择[0]);
     }
 }

 fim完成(“def count_words_in_file（file_path:str）->int：”, 
               “返回n_words”);

更进一步

有关更多信息和示例，您可以查看：

• 这个 超大规模文档解释如何订阅MIUI服务并部署它。