文章目录1 整体结构1.1 模块1.2 周边1.3 优化2 模块2.1 Entrypoint--入口2.2 engine2.3 schedule2.4 KV Cache manager2.5 evictor2.6 Worker2.7 Model executor2.8 Modelling2.9 Attention backend参考文献这篇博客是在看[EP01][精剪版] vllm源码讲解，基本代码结构…

文章目录1 why distributed inference2 DP EP PP TP2.1 TP2.1.1 工程层面怎么通信2.1.2 算法层面2.2 PP2.3 EP2.4 DP参考文献这篇博客是在看[EP02][精剪版]分布式推理优化，vllm源码解读这个学习视频时做的简单笔记，感兴趣的可以直接去看原视频。 1 why …

原文博客：https://nosae.top基于go 1.25介绍 golang的标准库中的net/http包提供了http相关的各种工具。本篇作为杂记，记录一些其中我觉得有意思的http工具。在探索源码的过程中，也顺便了解一下http这个我们日常总是…

原文博客：https://nosae.top短链接系统实现如何保证生成短链接不重复 如何存储短链接 用302（临时）还是301（永久）重定向https://cloud.tencent.com/developer/article/1858351 https://blog.csdn.net/codejas/arti…

原文博客：https://nosae.top这篇几乎是https://juejin.cn/post/6844903785744056333的转载-简略版伯努利实验 在认识为什么HyperLogLog能够使用极少的内存来统计巨量的数据之前，要先认识下伯努利试验。伯努利试验是数…

随着人工智能技术的迅猛发展，AI辅助写作工具已经逐渐成为高校学生完成毕业论文的重要助手。尤其是在专科生群体中，面对繁重的论文写作任务，越来越多的学生开始借助AI工具来提升效率、降低写作难度。然而，市场上各类AI写作工具层出…

最近几年，各家商业银行的生意可以说是做的相当不容易，伴随着存贷利差的持续减少，各家商业银行都体会到了日子的艰难，这也开始促使各家商业银行想方设法开拓新的业务线，这不春节期间，不少商业银行都盯上了压…

原文博客：https://nosae.top前言 题目出自leetcode 204，本质上是为了筛选出小于n的所有质数。三种方法：暴力枚举 埃氏筛 欧拉筛（线性筛）枚举法 枚举法中我们只需要从 2 到 n 判断每个数是否质数即可。对于第 i 个…