打赏

相关文章

CANN/AMCT大模型FlatQuant量化

AMCT大模型对于LLAMA2/Qwen3的FlatQuant量化 【免费下载链接】amct AMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。 项目地址: https://gitcode.com/cann/amct 1 量化前提 1.1 安装依赖 本sample依赖包可参考requirements.txt 需要注意的是torch_npu包版本需要…

CANN/metadef自定义逻辑流分配函数

CustomAllocateStreamPassFn 【免费下载链接】metadef Ascend Metadata Definition 项目地址: https://gitcode.com/cann/metadef AI处理器支持情况 AI处理器类型 是否支持 Ascend 910C√ Ascend 910B√ 功能说明 注册自定义的逻辑流分配Pass执行函数。 函数原型 P…

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部