跨越AVX车道的最佳方式？

作者：jiho_b | 来源：互联网 | 2022-12-01 14:19

如何解决《跨越AVX车道的最佳方式？》经验，为你挑选了1个好方法。

有类似标题的问题,但我的问题涉及其他地方没有涉及的一个非常具体的用例.

我有4个__128d寄存器(x0,x1,x2,x3),我想在5 __256d寄存器(y0,y1,y2,y3,y4)中重新组合它们的内容,如下所示,准备其他计算:

on entry:
    x0 contains {a0, a1}
    x1 contains {a2, a3}
    x2 contains {a4, a5}
    x3 contains {a6, a7}
on exit:
    y0 contains {a0, a1, a2, a3}
    y1 contains {a1, a2, a3, a4}
    y2 contains {a2, a3, a4, a5}
    y3 contains {a3, a4, a5, a6}
    y4 contains {a4, a5, a6, a7}

我在下面的实现很慢.有没有更好的办法？

y0 = _mm256_set_m128d(x1, x0);

__m128d lo = _mm_shuffle_pd(x0, x1, 1);
__m128d hi = _mm_shuffle_pd(x1, x2, 1);
y1 = _mm256_set_m128d(hi, lo);

y2 = _mm256_set_m128d(x2, x1);

lo = hi;
hi = _mm_shuffle_pd(x2, x3, 1);
y3 = _mm256_set_m128d(hi, lo);

y4 = _mm256_set_m128d(x3, x2);

Peter Cordes.. 6

通过寄存器中的输入,您可以使用5个随机指令执行此操作:

3x vinsertf128通过连接2 xmm寄存器来创建y0,y2和y4.

vshufpd在这些结果之间创建y1和y3的2x (车道内改组).

请注意,y0和y2的低通道包含a1和a2,即y1的低通道所需的元素.同样的洗牌也适用于高速公路.

#include 

void merge(__m128d x0, __m128d x1, __m128d x2, __m128d x3,
     __m256d *__restrict y0, __m256d *__restrict y1,
     __m256d *__restrict y2, __m256d *__restrict y3, __m256d *__restrict y4)
{
    *y0 = _mm256_set_m128d(x1, x0);
    *y2 = _mm256_set_m128d(x2, x1);
    *y4 = _mm256_set_m128d(x3, x2);

    // take the high element from the first vector, low element from the 2nd.
    *y1 = _mm256_shuffle_pd(*y0, *y2, 0b0101);
    *y3 = _mm256_shuffle_pd(*y2, *y4, 0b0101);
}

编译非常好(与-O3 -march=haswellGodbolt 上的gcc和clang):

merge(double __vector(2), double __vector(2), double __vector(2), double __vector(2), double __vector(4)*, double __vector(4)*, double __vector(4)*, double __vector(4)*, double __vector(4)*):
    vinsertf128     ymm0, ymm0, xmm1, 0x1
    vinsertf128     ymm3, ymm2, xmm3, 0x1
    vinsertf128     ymm1, ymm1, xmm2, 0x1
    # vmovapd YMMWORD PTR [rdi], ymm0
    vshufpd ymm0, ymm0, ymm1, 5
    # vmovapd YMMWORD PTR [rdx], ymm1
    vshufpd ymm1, ymm1, ymm3, 5
    # vmovapd YMMWORD PTR [r8], ymm3
    # vmovapd YMMWORD PTR [rsi], ymm0
    # vmovapd YMMWORD PTR [rcx], ymm1
    # vzeroupper
    # ret

我评论了商店和内联中会消失的东西,所以我们确实只有5个随机指令,而不是你问题中代码的9个随机指令.(还包括在Godbolt编译器资源管理器链接中).

这在AMD上是非常好的,其中vinsertf128超便宜(因为256位寄存器实现为2x 128位半,因此它只需128位副本而无需特殊的shuffle端口.)256位通道混洗AMD的速度很慢,但是内置的256位shuffle vshufpd只有2 uops.

在英特尔它是相当不错的,但主流的带有AVX的英特尔CPU在256位或FP shuffle中每个时钟的随机吞吐量只有1个.(Sandybridge和之前的整数128位shuffle有更多的吞吐量,但AVX2 CPU减少了额外的shuffle单位,但他们无论如何都没有帮助.)

因此,英特尔CPU根本无法利用指令级并行性,但总共只有5微秒,这很不错.这是可能的最小值,因为您需要5个结果.

但特别是如果周围的代码也在洗牌时出现瓶颈,那么值得考虑的是只有4个存储和5个重叠向量加载的存储/重载策略.或者,也许2倍vinsertf128来构建y0和y4,然后2个256位存储+ 3重叠的重载.这可能会让乱序exec开始依赖指令,只使用y0或者y4在为y1..3解析存储转发停顿时.

特别是如果你不太关心英特尔第一代Sandybridge,其中未对齐的256位向量负载效率较低.(注意,如果你正在使用GCC ,你需要编译gcc -mtune=haswell以关闭-mavx256-split-unaligned-load默认/ sandybridge调整.无论编译器如何,-march=native如果使二进制文件在你编译它的机器上运行是一个好主意,采取充分利用指令集和设置调整选项.)

但是如果来自前端的总uop吞吐量更多地是瓶颈所在,那么shuffle实现是最好的.

(见https://agner.org/optimize/而在其他性能链接的x86代码维基的更多性能优化.同时考虑去到什么预测现代超标量处理器的操作延迟,我怎么可以手工计算它们？,但实际上,Agner Fog的指南是一份更深入的指南,它解释了吞吐量与延迟的实际关系.)

我甚至不需要保存,因为数据也已经在连续的内存中可用.

然后简单地加载5个重叠负载几乎可以肯定是你能做的最有效的事情.

Haswell可以从L1d每个时钟执行2次加载,或者当任何跨越缓存行边界时更少.因此,如果您可以将块对齐64,那么完全没有缓存行分割就非常有效. 缓存丢失很慢,但是从L1d缓存重新加载热数据非常便宜,而具有AVX支持的现代CPU通常具有高效的非对齐负载支持.

(就像我之前说过的,如果使用gcc确保你用-march=haswell或者编译,或者-mtune=haswell不仅仅是-mavx为了避免使用gcc -mavx256-split-unaligned-load.)

4个负载+ 1 vshufpd(y0,y2)可能是平衡负载端口压力与ALU压力的好方法,具体取决于周围代码中的瓶颈.如果周围的代码在随机端口压力较低时,甚至3次加载+ 2次洗牌.

它们位于先前计算的寄存器中,需要加载它们.

如果先前的计算仍然在寄存器中有源数据,那么您可能首先完成256位加载,并且只使用它们的128位低半部分用于早期计算. (XMM寄存器是相应YMM寄存器的低128,读取它们不会干扰上面的通道,因此_mm256_castpd256_pd128编译为零asm指令.)

对y0,y2和y4执行256位加载,并将它们的低半部分用作x0,x1和x2.(稍后使用未对齐的加载或随机播放构造y1和y3).

只有x3不是你想要的256位向量的低128位.

理想情况下,当您从同一地址执行a _mm_loadu_pd和a 时,编译器已经注意到此优化_mm256_loadu_pd,但是您可能需要通过执行操作来手持它

__m256d y0 = _mm256_loadu_pd(base);
__m128d x0 = _mm256_castpd256_pd128(y0);

依此类推,提取ALU内在(_mm256_extractf128_pd)或128位负载x3,具体取决于周围的代码.如果它只需要一次,那么让它折叠成一个内存操作数,无论使用什么指令都可能是最好的.

潜在的缺点:在128位计算可以开始之前稍微延迟,或者如果256位负载是高速缓存线交叉而没有128位负载,则会有几个周期.但是如果您的数据块对齐了64个字节,则不会发生这种情况.

1> Peter Cordes..：