Inference Serving 全景：从指标、瓶颈到框架与生态
Posted: October 31, 2026
为了准备 inference serving 方向的面试，我把这个领域系统整理成了一张“地图”。仿照《Designing Data-Intensive Applications》每章开头的地图，整份笔记被画成一片大陆和群岛：西岸的指标港是起点，翻过 Roofline 山脉…
Read MoreFeynman’s learning technique comprises four key steps: select a concept to learn. teach it to a child. review and refine your understanding. organize your notes and revisit them regularly.
nano-vllm-omni 自学手册：26 道一小时练习吃透 vLLM-Omni
Posted: October 22, 2026
读大型推理框架的源码，最难的往往不是看懂某一个函数，而是理解多个进程、线程和事件循环之间怎么配合。为了真正吃透 vLLM-Omni，我把它拆成了 26 道“一小时能写完”的核心实现题，配上验收测试、带注释的参考解和交互式提示，整理成一本自学手册。 GitHub 仓库 → · 交互…
Read More关于系统设计和架构
Posted: August 3, 2024
分享一下最近学习和实践软件设计与架构的收获 - 之前对于系统架构的理解陷入了经常看到的系统设计面试题的误区，系统架构其实比想象的更有迹可循。 架构师的广度加深度 引用一张不错的图片如下: 架构需要对于技术栈理解的广度和深度。 开卷有益 结合实践的项目经验，回答也基于以下资源…
Read More