辅助解码是一种用于加速文本生成的流行方法。我们在英特尔 Gaudi2 上对其进行了适配和优化，使得其性能与英伟达 H100 GPU 相当，一如我们在
之前的博文 中所展示的，但 Gaudi2 的价格仅相当于英伟达 A100 80GB GPU。这项工作现已集成入 Optimum Habana，Optimum Habana 对 Transformers 和 Diffusers 等各种 Hugging Face 库进行了扩展，以在英特尔 Gaudi 处理器上对用户的工作流进行全面优化。

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。