令人印象深刻的成果！ 对比来看，H100在单线程情况下大约可以实现100-200 tok/s的Muse 30B原始推理性能，而在多线程情况下可以达到低千级的tok/s——我相信在大规模多线程场景中，他们还能进一步优化证明器。 所以我们大致可以说，LLM证明的开销大约是个位数（<10倍）！ 下一步是实现FHE的个位数开销，最终目标是vFHE（也就是STARK * FHE）。考虑到目前FHE的开销，这绝对是一个疯狂且雄心勃勃的里程碑，但由于LLM推理的高度结构化和几乎线性化，这比你想象的更接近现实。 让所有东西都实现个位数开销。 https://firefly.social/post/x/2087222971572367457