MetaTimer：使用大型语言模型进行精确、即时感知的推理延迟预测 大型语言模型（LLM）在生产系统中的快速扩散暴露了一个根本的局限性：由于语义复杂性、所需推理深度、输出长度和生成动态的差异，推理延迟在不同提示之间差异很大。传统的预测方法，从令牌计数启发式和硬件Roofline模型到传统的机器学习回归器，都无法概括，因为它们无法捕捉到这些特定提示的细微差别。对处理时间的准确先验估计对于资源调度、动态批处理、成本预测、服务水平保证和用户体验增强至关重要。 我们介绍了MetaTimer，这是第一个将轻量级LLM本身重新定位为高精度元预测器的框架，能够预测任何目标LLM在任意输入提示下所需的确切时钟推理持续时间。一个紧凑的8B参数模型在一个庞大的语料库上进行了微调，该语料库包含数百万个跨异构模型家族（GPT-4-class、Llama 3.1、Claude、Mistral）、量化级别、解码策略和硬件加速器收集的提示执行对。预测器采用思维链推理来分解提示语义，估计输出令牌分布和推理轨迹，并整合特定于模型和硬件的性能配置文件，从而对首次令牌时间（TTFT）、每次输出令牌时间（TPOT）和总延迟进行细粒度预测。 对涵盖推理、创造性写作、编码和长上下文任务的搁置基准的广泛评估表明了最先进的准确性：端到端延迟的平均绝对百分比误差（MAPE）为6.3%，相对于最强的Roofline–ML基线，均方误差降低了40%以上，并对看不见的模型和平台进行了强大的零样本推广。当集成到生产服务堆栈（vLLM、TensorRT LLM、Triton）中时，MetaTimer在资源利用率和尾部延迟减少方面提高了31%。 这些结果表明，LLM具有计算自建模的新兴能力，为自我意识、自适应和节能的生成人工智能基础设施开辟了一个新的范式。我们公开发布预测模型、数据集和服务插件，以加速前沿人工智能系统元性能建模的研究。