因为RWKV6比Mamba强，但是现在流行用Mamba水，所以，我们做个对比： 各位和朋友如果有用Mamba做的论文，我们帮你升级到RWKV6。 性能帮你调到更好。如果性能没有更好，每位论文作者送一张4090。 名额有限，欢迎联系，RWKV6介绍见我知乎： 可以先读：

Mamba 的作者采用三种经典技术来提高循环操作速度： 并行扫描算法 (Parallel Scan) 核融合 (Kernel Fusion) 激活重计算 (Activation Recomputation) 2.3 Mamba 结构与实现. Mamba 模型是由多层 Mamba 层连接而成，与 Transformer 模型的层非常相似。

之前的论文有SSM的模型被叫做Mamba模型，那我们论文把SSM去掉构造的模型叫做MambaOut，非常贴切，不是硬凑。 外国研究者也经常在模型名字上体现点幽默，Allen AI的预训练语言模型叫做Elmo，是《芝麻街》人物，谷歌就凑出BERT，还是芝麻街人物，但能看出怎么凑 ...

在我现在做的一个小领域，类似于医疗图像重建的小样本场景，魔改后的mamba比现在图像效果比较好的FCBFormer, EMCAD, DUCKNet等架构效果好一点，可能是能更强的过拟合吧hh

当然Mamba并不是重写了Conda所有的功能，只是针对一些Conda低效的功能进行重写，并添加了一些实用的新功能，接下来我们来对这些知识进行学习。 Mamba中的实用功能. 加速下载; 作为Mamba最核心的功能，Mamba对conda install语句进行并行化改造，达到加速下载过程的 ...

Jan 15, 2024 · 科比退役演讲

目前特别火的 Mamba (paper, code) 可以归类到 Linear RNN，RWKV (paper, code, homepage) 和 RetNet (paper, code) 可以归类到 Linear Attention。 其中 Mamba 和 RWKV-6 重新引入了非线性的 data-dependent gating 来提升模型效果，此外还有 GateLoop ( paper , code )、 HGRN ( paepr , code )、 Zoology/Based ( paper ...

相比Linear Transformer，Mamba使用的是Semiseparable矩阵而不是general的低秩矩阵，也就是作为token mixer，Mamba中的Semiseparable矩阵可能比Linear Transformer的表达力更强，而且也能保持O(L)复杂度。 因此，很多工作的线性复杂度，都是M的结构化带来的。 先写到这里吧。

Mamba 模型将选择性结构化状态空间模型 (SSM) 集成到简化的端到端神经网络架构中，特别是缺乏传统的注意力机制。 据说Mamba-3B模型的性能优于同尺寸的transformer，在性能方面可与两倍尺寸的transformer相媲美。

Mamba主要是看起来比较高端，宣传炒作猛，一堆人灌水（建议全部reject，特别是医疗影像）。 甚至还有人在Scaling Law的时代复活DenseNet，显著增大PP难度和开销，Baseline选择了奇妙的"LLaMA 350M"和OPT-1.3B（而且是自行训练的）的组合。