page76页,计算墙:单个计算设备所能提供的计算能力与大语言模型所需的总计算量之间存在巨大差 异。2022 年 3 年发布的 NVIDIA H100 SXM 的单卡 FP16 算力也只有 2000 TFLOPs,而 GPT-3 则需要 314 ZFLOPs 的总算力,两者相差了 8 个数量级。 上述中2022年应该是3月吧, 读着不太通顺