打赏

相关文章

av1编码--位于图像边界的超级块划分

目录 3.2 位于图像边界的超级块划分 3.2 位于图像边界的超级块划分 在实际的视频编码过程中,图像的宽度和高度可能不是 128 或 64 的整数倍,这会导致图像的右侧和底部的超级块可能会超出图像的实际边界。为了解决这个问题,当超级块的任何部…

决策树算法|ID3、C4.5、CART区别详解

1、前言 决策树通俗易懂、逻辑直观,是新手最好理解的算法。三种树算法区别很多人分不清,本文一次性讲透。 2、三种算法区别 算法 划分依据 适用数据 ID3 信息熵 离散数据 C4.5 信息增益率 离散+连续 CART 基尼系数 分类+回归

FlashAttention在昇腾NPU上的极致优化:从原理到实践

前言 去年帮一个客户优化Llama-3-70B的推理性能,发现Attention层占了整个模型70%的推理时间。客户原来的实现用的是原生PyTorch的F.scaled_dot_product_attention,在Ascend 910上跑出来每秒只有18个token,离客户要求的50 tokens/s差得远。 我…

昇腾NPU多机通信实战:从AllReduce到AlltoAll

前言 第一次帮一个高校实验室把Llama-2-70B从8卡GPU迁移到64卡昇腾NPU集群,踩了整整三周的坑。最开始用原生PyTorch DDP,64卡跑起来NPU利用率只有38%,通信开销大到离谱——梯度同步一次要等1.2秒,计算才0.4秒。 后来切换到hccl&am…

Linux---进程(概念,PCB,进程属性,标示符,fork)

什么叫进程?程序和可执行程序是一回事,包括指令的本质也是程序,只要是文件,就一定是存在磁盘上,根据计算机体系结构,磁盘属于外设,一切程序要运行第一步肯定是要加载到内存里,在我们…

手机版浏览

扫一扫体验

微信公众账号

微信扫一扫加关注

返回
顶部