确定乘积和多项式中最佳权重的快速算法？

我正在寻找一种比在这样的问题中找到最佳系数(又称权重)的快于强力的算法:

将样本定义为一系列N个数字.在这种情况下,比如说N = 10.样本数M非常大,比如M = 1000000.这基本上是M行XN列的矩阵.所以这些样本的集合如下所示:

S_0_0  S_0_1 S_0_2 ... S_0_N
S_1_0  S_1_1 S_1_2 ... S_1_N
...
S_M_0  S_M_1 S_M_2 ... S_M_N

此外,还有一系列相应的N个权重.权重系列P的数量也很大,比如P = 2000000.这是P行XN列的另一个矩阵.它看起来类似于样本集:

W_0_0  W_0_1 S_0_2 ... W_0_N
W_1_0  W_1_1 S_1_2 ... W_1_N
...
W_P_0  W_P_1 S_P_2 ... W_P_N

我试图找到一系列权重(即权重集中的右行),它最大化了以下总和(即行x):

W_x_0 * S_0_0  +  W_x_1 * S_0_1  + ... +  W_x_N * S_0_N +
W_x_0 * S_1_0  +  W_x_1 * S_1_1  + ... +  W_x_N * S_1_N +
...
W_x_0 * S_M_0  +  W_x_1 * S_M_1  + ... +  W_x_N * S_M_N

两组数据(W s和S s)都是从文件加载的.该小号 s为双精度浮点数由x86处理器(负到正)所支持的整个范围.我们可以假设的W是整数.

这样做的蛮力方式非常简单:对于每个权重行,将其乘以样本集中的每个样本行,同时保持运行总和.跟踪每个重量行的总和,并在结束时选择最佳.

现在,我认为在权重集的构成中存在更智能/更快算法的空间.我们可以假设每行的权重集中只有一个数字变化.所以权重集可能看起来像这样(为简洁起见N = 5):

1 1 1 1 1
1 1 1 1 2
1 1 1 2 2
1 1 2 2 2
1 2 2 2 2
2 2 2 2 2
2 2 2 2 1
2 2 2 1 1
2 2 1 1 1

等等.

换句话说,在蛮力方法中,显然会有很多冗余计算.如果数据集不是那么庞大,那么一个想法是创建每个样本权重产品的地图/缓存,并在计算之前检查它.但考虑到数据集的大小,我认为内存使用率会过高; 我的直觉也说地图/缓存查找可能比做天真的乘法慢.

有人知道这里适合的算法或库吗？

编辑1:我在原帖中输了一个错字:重量设置错误地显示了从一行到下一行的两个变化.实际上,每行应该只有一个变化.此外,不要过多地阅读变化的"模式":主要思想是每行只有一个变化,但这些变化实际存在的方式可以修改为适合特定的算法.

编辑2:我认为示例权重集现在真正只显示每行一个更改.

至少,观察一下

W_x_0 * S_0_0  +  W_x_1 * S_0_1  + ... +  W_x_N * S_0_N +
W_x_0 * S_1_0  +  W_x_1 * S_1_1  + ... +  W_x_N * S_1_N +
...
W_x_0 * S_M_0  +  W_x_1 * S_M_1  + ... +  W_x_N * S_M_N

等于

W_x_0 * (S_0_0 + S_1_0 +...S_M_0) +
W_x_1 * (S_0_1 + S_1_1 +...S_M_1) +
...
W_x_N * (S_0_N + S_1_N +...S_M_N)

这意味着我们可以对S's 进行求和,然后对列表中的每个权重向量运行操作.

可能存在基于"最远点查询"(在多个维度上)的优化,我不是那么受过教育但会尝试调查.