windows下安装大模型加速包flashattn

其实windows下安装大模型加速包flashattn的问题并不复杂，但是又很多的朋友都不太了解，因此呢，今天小编就来为大家分享windows下安装大模型加速包flashattn的一些知识，希望可以帮助到大家，下面我们一起来看看这个问题的分析吧！

Flash-attn（Flash Attention）作为神经网络模型的注意力机制，在处理序列数据时具有显着的优势。它可以提高计算效率并减少内存使用，尤其是Transformer模型。它通过优化数据布局和计算过程来减少注意力计算的内存访问开销。本地部署大型模型可以减少GPU 开销并加快推理速度。项目地址：https://github.com/Dao-AILab/flash-attention

不过，官方发布的版本仅支持Linux，没有Windows软件包。如果想在Windows下安装，要么使用docker，要么自己编译。自己编译需要很长时间，会遇到各种问题。这里我使用的是Brian Dashore 编译的whl。下载地址：https://github.com/bdashore3/flash-attention/releases

注意选择对应的版本。首先检查你的cuda版本，然后在CMD中输入：nvcc --version。

查看cuda版本

我本地的环境如下：

系统windows10，python版本11，cuda版本12.1

对应下载的版本为：flash_attn-2.5.9.post1+cu122torch2.3.1cxx11abiFALSE-cp311-cp311-win_amd64.whl

flash-attn 版本

下载到本地后，用pip执行并安装：

pip install d:\downloads\flash_attn-2.5.9.post1+cu122torch2.3.1cxx11abiFALSE-cp311-cp311-win_amd64.whl

注意：安装完成后，如果之前安装过PyTorch，需要重新安装，否则运行时会报错。

打开网址https://pytorch.org/get-started/locally/，选择对应版本

安装pytorch

根据pytorch.org给出的提示命令，在本地执行安装：

pip3 安装火炬torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

安装完成后，编写一个简单的脚本来检查一下。

测试.py

导入flash_attnprint(flash_attn.__version__)

如果运行结果正确输出版本号，则说明安装成功。

检查flash_attn版本