Costa的生活技术实验室

近况

Wed, 05 Aug 2026 00:19:08 +0800

五月在备婚中度过,准备了第三次晋升材料。六月和硕硕结婚了,我们主持了自己的婚礼。去三亚度假一周。之后我的外公。硕来北京度过了剩下的休假。到了七月,到了辽宁本溪和沈阳,去武汉看了装修。

语言组织苦难症

Fri, 31 Jul 2026 19:16:54 +0800

我好像有语言组织苦难症了,发抖音,很简单的一句话,甚至需要 ai 去帮我润色。

Fletch：在可编程交换机里缓存分布式文件系统元数据

Wed, 22 Jul 2026 16:55:00 +0800

📄 论文解读

Fletch: File-System Metadata Caching in Programmable Switches Qingxiu Liu, Jiazhen Cai, Siyuan Sheng, Yuhui Chen, Lu Tang, Zhirong Shen, Patrick P. C. Lee arXiv:2510.08351v3 · 2026 年 5 月 · 17 页 GitHub: https://github.com/adslabcuhk/fletch

一句话核心

把 HDFS 的元数据缓存从客户端搬到可编程交换机数据平面里，用 P4 写到 Tofino，直接在网络关键路径上吸收读请求，把一致性维护从 O(N) 降到 O(1)，同时用 “in-switch 集中化"天然吸收热点请求、缓解后端负载倾斜。

五号化合物

Fri, 05 Jun 2026 23:32:47 +0800

在《The Boys》第三季,沃特卖五号化合物给士兵,一天的超能力,一针两百万美元。

而现在,AI公司卖的也是打工人的超能力,一月功效,一月两百美元。

KV Cache Optimization 论文解读

Tue, 02 Jun 2026 14:26:00 +0800

📄 论文解读

KV Cache Optimization Strategies for Scalable and Efficient LLM Inference Yichun Xu, Navjot K. Khaira, Tejinder Singh（Dell Technologies） arXiv:2603.20397 · 2026 年 3 月 24 日 · 24 页 · 78 篇引用

为什么 KV cache 是个问题

自回归生成时每生成一个 token 都要"看到"前面所有 token 的 K/V 向量
不缓存的话，每个 step 都要从 0 重算所有历史 token → O(N²)
缓存后，KV cache 的内存随上下文长度线性增长：KV 大小 = 2·H·D·L·B·N
上下文从 2K 涨到 100K、1M、10M 后，KV cache 直接吃掉所有 GPU 显存，推理变慢、变贵、变得不可部署

五大技术分类

#	类别	一句话原理	代表工作	典型收益
1	Cache Eviction（驱逐）	生成过程中丢掉"不重要"的 token	H₂O、SnapKV、Ada-KV	内存砍 80%+，精度几乎不掉
2	Cache Compression（压缩）	把 KV 量化到 2-4 bit 或低秩投影	KIVI、KVQuant、Palu	内存 ×4~×8，lossless 或 < 2% 精度损失
3	Hybrid Memory（混合内存）	KV 主体放 CPU/SSD，GPU 上只留热点	vLLM/PagedAttention、FlexGen、Oneiros	单卡跑巨型模型、batch 大 6×、吞吐 3~33×
4	New Attention（新型注意力）	改 attention 算法本身，O(N²) → O(N log N)	Linear、Log-Linear、Kimi Linear	6.3× 吞吐 + 75% 内存下降（Kimi 数据）
5	Combination（组合拳）	上面 4 类挑几种拼起来	RocketKV、KVzip、ShadowKV、TailorKV	综合最优

七大部署场景 × 推荐方法

场景	推荐	理由
超长上下文（>1M）单请求	Eviction + Compression；Kimi Linear	显存是瓶颈，必须砍 cache 大小
最少改动现有模型	Ada-KV、SnapKV、KIVI	全部 fine-tuning-free、plug-and-play
高吞吐数据中心	PagedAttention/vLLM、Oneiros、ShadowKV	batch 大、lossless、充分利用多租户
边缘/低显存设备	InfiniPot、TailorKV	单卡 24GB 跑 8B/128K
多轮对话	RocketKV-MT、KVzip、ShadowKV	不能像 H₂O 那样永久丢 token
Prefill-heavy（长 prompt 编码）	NACL、HashEvict、LayerKV、MiniCache	关注 TTFT（首 token 延迟）
精度敏感推理	PagedAttention	无损 offload；不推荐 eviction/compression/linear attention

核心结论

没有银弹。

紧张

Tue, 02 Jun 2026 14:01:25 +0800

每次看到日历上的五月三十一，我都会心里一紧，现在时间到了六月二号，反而内心宁静了。

现在是3月20日

Fri, 20 Mar 2026 00:42:00 +0800

又过了一个月，Agent进入黄金时代。下一个风口是什么呢？

2023：LLM 2024：工具调用 2025：Copilot 2026：Agent OS 2027：？

AI 的车轮

Thu, 19 Mar 2026 23:54:00 +0800

AI 就是第三次工业革命，我们是不是会步入下一次大萧条？

备婚app

Tue, 10 Mar 2026 00:42:00 +0800

Claude code vibe了一个备婚用的小程序，花了一个晚上比起选一个好用的app，vibe一个似乎是最好的选择。

突然觉得秒哒似乎并不是一个很差的产品，如果openclaw和秒哒结合起来，那类似的需求对于不是程序员的朋友们，也能引刃而解了。

月亮

Sat, 07 Mar 2026 00:54:00 +0800

飞机和我，和月亮在一个平面上。

我从来没见过这么大的月亮。比远处的城市还大，比散落的城市还要亮。

被云朵半掩着。

长河落月圆了。

知识

Fri, 06 Mar 2026 17:22:00 +0800

最近发现自己写文档的速度明显变快了。只要先有一个大致想法，AI很快就能把细节补齐。简单检查一下，没有明显问题，文档基本就可以交付，然后直接开始开发。

春雪

Thu, 05 Mar 2026 23:03:00 +0800

昨天开始北京下了不小的春雪，路上的积雪让我骑摩托车回家都有一些困难。

今天早上去公司的路上也骑的格外小心。去年在小区楼下，出门即摔车还历历在目。

教练

Thu, 05 Mar 2026 00:23:00 +0800

最近在坚持运动，上乐刻的团课。昨天老师迟到了，今天给继续上他课的同学带了小礼物，一个盲盒玩具。

这种道歉让我有点难过，emm，不是不开心，是一种复杂的感觉。毕竟这里是北京，大家都是npc，我之于他，他之于我都是都是乐刻系统里的一串ID。他昨天已经给大家道歉了，没必要今天还继续补偿。

加速失重

Thu, 05 Mar 2026 00:03:00 +0800

Claude code，这些agent能力上来之后，效率加快了。空白的时间也多了，反而感觉时间更多了，过的更慢了，有空思考了。思考的时候也会和ai对话解惑，最后像ai一样思考。某种程度上，我们已经合二为一了。

开始养🦞

Wed, 04 Mar 2026 23:47:00 +0800

把博客配置到openclaw了，用telegram就能写博客了，哈哈。

过年流水账

Tue, 24 Feb 2026 21:10:00 +0800

在武汉呆了几天，硕儿带我去乐刻运动了三次，都是团课。她白天上班，我常驻在凯德。中午、晚上就吃荆州围炉麻辣烫串串，还有老乡鸡。

到2月13日的时候东西买的差不多了，朋友从深圳过来和我们14号一起开车回去。

长假

Thu, 12 Feb 2026 15:10:00 +0800

我获得了工作以来最长的一个假期，终于有时间陪我的老婆、和家人。

忆

Wed, 04 Feb 2026 01:10:00 +0800

下午得知噩耗，久久不能安定。追忆过往。

我还记得2003年，在小学旁堰塘后的民房，一个个下学的午后。在镇上法院的阁楼，……

二月第一个工作日

Tue, 03 Feb 2026 00:10:00 +0800

oh，那些令人向往的公司。谁不想加入大模型公司狠狠的干一把ai infra呢。

我不赞成内部某些领导的观点，他们已经跟不上LLM的节奏了。如果还是用传统模式的去定义，去构建系统，那我们确实没有前途了。

周末

Sun, 01 Feb 2026 23:38:00 +0800

最近一年过的特别快，每一天也是。感觉什么都没做。

因为要值班在家待了两天。

同事周六来打了一天麻将、喝了酒。这周喝了太多的金汤力，这种甘洌清爽通透无比。

all about ai：

Fri, 30 Jan 2026 01:05:00 +0800

1

现在就像是纺织机刚被发明的年代，各种脑力劳动知识、都会被AI替代。

如果只是知识的传播者，不再有信息差，知识经济不再存在。

2

最近每天都在大量的用 claude code 来 vibe 一些想法。例如新版本的个人主页 cqs.es，还有这个说说页面。

在北京的第一周｜ first week in BeiJing

Mon, 25 Jul 2022 09:09:22 +0800

距离上一次发博客已经是半年前了，之间尝试去写一写东西，最后都没有发出来。

现在来到北京一周了，找房、入职、融入，虽然还没有安定下来，这种漂泊的感觉又让我重新觉得记录是有意义的。

一个2021流水账

Sun, 09 Jan 2022 09:09:22 +0800

十二月底的武汉和往年一样冷，无边灰白的天空，看不见的坚硬的风。

在这个喝了点的，恍惚的晚上意识到一年又要结束了。就要和这个没有打好草稿，没有计划，焦虑的2021说道别了。

Sep 23, 2018

Sun, 23 Sep 2018 09:09:22 +0800

如果说，

大学是一趟列车旅行，那么大四的我到现在应该是快到站了。

这段旅行很长，它度过了你生命中的四年光阴；这段旅行也很短，它重复于教学楼宇、宿舍之间。

Costa的生活技术实验室

近况

语言组织苦难症

Fletch：在可编程交换机里缓存分布式文件系统元数据

📄 论文解读

一句话核心

五号化合物

KV Cache Optimization 论文解读

📄 论文解读

为什么 KV cache 是个问题

五大技术分类

七大部署场景 × 推荐方法

核心结论

紧张

现在是3月20日

AI 的车轮

备婚app

月亮

知识

春雪

教练

加速失重

开始养🦞

过年流水账

长假

忆

二月第一个工作日

周末

all about ai：

1

2

在北京的第一周 ｜ first week in BeiJing

一个2021流水账

Sep 23, 2018

在北京的第一周｜ first week in BeiJing