2024云边一体化人工智能算力资源开放与适配平台模型服务标准

云边一体化人工智能算力资源开放与适配云边一体化人工智能算力资源开放与适配平台模型服务标准Contents前言 31. 范围 42. 定义和缩略语 42.1定义 42.2缩略语 43. 在线推理服务标准 43.1参数定义 43.1.1接口描述 53.1.2请求说明 53.1.3返回说明 53.1.4Contents前言 31. 范围 42. 定义和缩略语 42.1定义 42.2缩略语 43. 在线推理服务标准 43.1参数定义 43.1.1接口描述 53.1.2请求说明 53.1.3返回说明 53.1.4错误码 63.1.5安全签名规则 63.2性能部分 74SDK标准 74.1简介 74.2请求说明 74.3集成指南 74.4接口说明 84.5常见问题及错误码描述 9参考文献 9─云边一体化项目数据接入标准─云边一体化项目兼容主流框架标准─云边一体化项目模型格式转换标准─云边一体化项目模型服务标准─云边一体化项目数据接入标准─云边一体化项目兼容主流框架标准─云边一体化项目模型格式转换标准─云边一体化项目模型服务标准1.范围本标准规定了通过云边一体化平台发布的模型服务的规范标准，包含在线推理服务标准和SDK本标准适用于模型开发人员及运维人员，所有通过平台发布的模型服务，应遵守统一的规范标准。2.定义和缩略语下列术语、定义和缩略语适用于本文件。2.1secretKey：密钥。timestamp：13位时间戳，自1970年1月1日0时起的毫秒数，为了防止用户时钟与服务器时5间要求，则认为请求超时，拒绝该请求；如果符合上述要求，则执行下一步操作。sign:签名。2.21.范围本标准规定了通过云边一体化平台发布的模型服务的规范标准，包含在线推理服务标准和SDK本标准适用于模型开发人员及运维人员，所有通过平台发布的模型服务，应遵守统一的规范标准。2.定义和缩略语下列术语、定义和缩略语适用于本文件。2.1secretKey：密钥。timestamp：13位时间戳，自1970年1月1日0时起的毫秒数，为了防止用户时钟与服务器时5间要求，则认为请求超时，拒绝该请求；如果符合上述要求，则执行下一步操作。sign:签名。2.2APIApplicationProgrammingInterface应用程序编程接口JSONJavaScriptObjectNotationJavaScript对象表示法RESTRepresentationalStateTransfer表述型状态转移URLUniformResourceLocator统一资源定位器SDKSoftwareDevelopmentKit软件开发工具包QPSQueries-per-second每秒查询率3.在线推理服务标准Restful规范，并根据模型类型，生成对应的参数定义和性能指标。3.1URL地址、安全签名规则、请求和返回格式等信息。3.1.1接口描述3.1.2请求说明3.1.3返回说明返回参数公共返回参数必填项。为公共请求参数：Code：string型，参见下方错误码-系统级错误码Charge：boolean型，false：不扣费，true：扣费RemainTimes：long型，剩余调用次数RemainSeconds：long型，剩余调用时间（s）Msg：string3.1.1接口描述3.1.2请求说明3.1.3返回说明返回参数公共返回参数必填项。为公共请求参数：Code：string型，参见下方错误码-系统级错误码Charge：boolean型，false：不扣费，true：扣费RemainTimes：long型，剩余调用次数RemainSeconds：long型，剩余调用时间（s）Msg：string型，参见下方错误码-系统级错误码Result：object型，查询结果接口地址必填项。https://{platform}/{domain}/{api_name}，其中platform变量为实际部署平台，domain变量由平台自行确定，api_name为接口名称。请求方式必填项。Post。请求参数Query请求参数必填项。为公共请求参数，包括：Appkey：string型，必填项，您的appkey，可在买家中心控制台中获取Timestamp：long型，必填项，请求的时间戳，精确到毫秒，timestamp5型，必填项，签名，根据规则MD5(sectetkey+timestamp)Header请求参数可选项。业务请求参数，需清楚地说明参数名称、对应的类型、是否为必填项、参数描述并附上实例。Body请求参数必填项。业务请求参数，需清楚地说明参数名称、对应的类型、是否为必填项、参数描述并附上实例。功能描述必填项。需清楚地描述该服务对应的功能，其中，分类问题需指出种类信息。接口使用必填项。需区分免费和付费服务的调用限制。数据要求必填项。图片要求可包括：图片格式、图片像素尺寸、图片Base64大小。视频要求可包括：视频格式、视频文件大小。语音要求可包括：音频格式、音频采样率、声道数、音频文件时长、音频文件大小。3.1.4错误码系统级错误码：业务错误码：自定义即可，需清楚地业务错误码（status）msg和相关说明。3.1.5安全签名规则1secretkeytimestamp参数值进行拼装2mavenpom.xml中增加以下内容<dependency>返回码（code）说明（message）10000查询成功10001错误的请求appkey10003不存在相应的数据信息10004URL上appkey参数不能为空10010接口需要付费，请充值10020系统繁忙，请稍后再试10030调用网关失败，请与NeuHub联系10040超过每天限量，请明天继续10041URL上timestamp参数不能为空10042URL上sign3.1.4错误码系统级错误码：业务错误码：自定义即可，需清楚地业务错误码（status）msg和相关说明。3.1.5安全签名规则1secretkeytimestamp参数值进行拼装2mavenpom.xml中增加以下内容<dependency>返回码（code）说明（message）10000查询成功10001错误的请求appkey10003不存在相应的数据信息10004URL上appkey参数不能为空10010接口需要付费，请充值10020系统繁忙，请稍后再试10030调用网关失败，请与NeuHub联系10040超过每天限量，请明天继续10041URL上timestamp参数不能为空10042URL上sign参数不能为空10043超过QPS限额，请降低调用频率或与NeuHub联系10044集群QPS超限额，请与NeuHub联系10045timestamp参数无效，请检查timestamp距离当前时间是否超过5分钟10046timestamp参数格式错误10047请求签名sign无效，请检查签名信息10048无接口权限，请下单购买10049超过每天最大调用量10050用户已被禁用10060发布方设置调用权限，请联系发布方10090文件大小超限，请上传小于5M的文件11010发布方接口调用异常，请稍后再试11030发布方接口返回格式有误业务返回参数必填项。需清楚地说明参数名称、对应的类型、是否为必填项、参数描述并附上实例。如果存在类型为数组的参数，需描述单个元素的结构返回示例需添加至少一个返回示例<groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>27.1-jre</version></dependency>3MD5signimportmon.hash.Hashing;importjava.nio.charset.Charset;StringsecretKey="2e148773a0338a8f2200ba90d445f084";longtimestamp=System.currentTimeMillis();Stringsign=Hashing.md5().hashString(secretKey+timestamp,Charset.forName("UTF-8")).toString();3.2 性能部分QPS，即每秒的响应请求数、响应时长，即系统对请求作出响应的时间、服务所提供算法的置信度等指标。4SDKSDK，应提供对应支持系统和硬件版本、网络要求、授权方式等信息，并提供调用方式介绍或者Demo项目。4.1简介4.2请求说明4.3<groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>27.1-jre</version></dependency>3MD5signimportmon.hash.Hashing;importjava.nio.charset.Charset;StringsecretKey="2e148773a0338a8f2200ba90d445f084";longtimestamp=System.currentTimeMillis();Stringsign=Hashing.md5().hashString(secretKey+timestamp,Charset.forName("UTF-8")).toString();3.2 性能部分QPS，即每秒的响应请求数、响应时长，即系统对请求作出响应的时间、服务所提供算法的置信度等指标。4SDKSDK，应提供对应支持系统和硬件版本、网络要求、授权方式等信息，并提供调用方式介绍或者Demo项目。4.1简介4.2请求说明4.3集成指南SDK，包括开发前的准备工作和如何添加静态库等。下载地址必填项。需说明版本号和对应的下载地址。资源占用描述可选项。需说明SDK包含的文件格式和占用的内存大小。功能描述必填项。需清楚地描述该SDK支持的功能。鉴权说明可选项。需区分免费和付费SDK的调用限制。支持的设备可选项。可指出包括系统、机型、架构、外设、网络等相关设备要求。4.4 接口说明需详细描述每个接口的函数定义、功能、参数说明并添加相应的用例。如：setOpts()函数定义：setOpts(Stringkey,Stringval)功能：TTS系统参数值。参数说明：keyval：参数值用例：4.4 接口说明需详细描述每个接口的函数定义、功能、参数说明并添加相应的用例。如：setOpts()函数定义：setOpts(Stringkey,Stringval)功能：TTS系统参数值。参数说明：keyval：参数值用例：TTSParamttsParam=newTTSParam();ttsParam.setOpts("serverURL/jdai/tts//接口地址（API接口地址不同，详见购买的API接口文档）ttsParam.setOpts("appKey","XXXXXX");ttsParam.setOpts("appSecret","XXXXXXX");ttsParam.setOpts("CustomerType","0");//固定值，Neuhub平台ttsParam.setOpts("tte1"//1:UTF-8UTF-8格式)ttsParam.setOpts("aue","1");//0：wav1：pcm2：opus3：mp3ttsParam.setOpts("tim0"//01（APIttsParam.setOpts("tim0"//01（APIAPI接口文档）ttsParam.setOpts("vol","2.0");//音量[0.1,10.0]ttsParam.setOpts("sp1.0");//[0.52.0]ttsParam.setOpts("sr24000//wavpcm4k24kopus8k12k16k和24k的采样率ttsParam.set