05-28 周二 LLama2推理代码调试过程 时间版本修改人描述2024年5月28日15:03:49V0.1宋全恒新建文档 简介  本文主要用于求解大模型推理过程中的几个指标：  主要是TTFT，ITL， TGS 代码片段 import osdata_dir = "/workspace/models/"model_name = "Llama-2-7b-hf"data_di