首次在智能手机上训练BERT和ResNet，能耗降35%(4)

其中Φ_compute、Φ_pagein 和Φ_pageout 分别表示每个节点在计算、page-in 和 page-out 时所消耗的能量。

POET 根据图的哪些节点 (k) 进行了重新实现，以及在每个时间步长 (t) 将哪些节点 page-in 或 page-out 来输出 DAG 调度。

实验结果

在对 POET 的评估中，研究者试图回答三个关键问题。首先，POET 在不同的模型和平台上能够减少多少能耗？其次，POET 如何从混合分页和重新实现策略中获益？最后，POET 如何适应不同的运行时预算？

研究者在下表 2 中列出四种不同的硬件设备，分别为 ARM Cortex M0 MKR1000、ARM Cortex M4F nrf52840、A72 Raspberry Pi 4B + 和 Nvidia Jetson TX2。POET 是完全硬件感知的，依赖于细粒度的分析。

下图 3 显示了单次训练 epoch 的能耗，每列分别对应不同的硬件平台。研究者发现，POET 在所有平台上生成节能耗最优的调度（Y 轴），同时减少峰值内存消耗（X 轴）并符合时间预算。

在下图 5 中，研究者在 A72 上训练 ResNet-18 时对 POET 和 Capuchin 进行了基准测试。随着 RAM 预算的减少，Capuchin 比具有完整内存的基线多了 73% 到 141% 的能耗。相比之下，POET 产生的能耗不到 1%。这种趋势适用于测试的所有架构和平台。

表 3 中，该研究在 Nvidia 的 Jetson TX2 上训练 ResNet-18 时对 POET 和 POFO 进行了基准测试。研究发现 POET 找到了一个集成的重新实现和分页调度，可将峰值内存消耗降低 8.3%，并将吞吐量提高 13%。这展示了 POET 的 MILP 求解器的优势，它能够在更大的搜索空间上进行优化。虽然 POFO 仅支持线性模型，但 POET 可以推广到非线性模型，如图 3 所示。

图 4 强调了 POET 在不同时间约束下采用集成策略的好处。对于每个运行时，下图绘制了总能耗图。

点击查看，关注AI前沿技术分享>>