MXNet mxnet.np.linalg 线性代数模块完全指南从 NumPy 兼容 API 到 BLAS/LAPACK 底层实现【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址: https://gitcode.com/gh_mirrors/mxne/mxnet导读mxnet.np.linalg是 Apache MXNet 为 NumPy 兼容编程接口mxnet.np提供的线性代数子模块覆盖矩阵分解SVD、Cholesky、QR、特征值求解、范数与数值量、线性方程组求解与矩阵求逆等核心能力。本文以官方 API 索引文档 routines.linalg.rst 为骨架结合 python/mxnet/numpy/linalg.py 与 C 算子源码系统讲解每个函数的使用方式、参数语义、与 NumPy 的行为差异以及它们在 BLAS/LAPACK 层面的实现原理帮助你在 Gluon 训练、科学计算与张量分析中直接复用 NumPy 的线性代数编程习惯。一、模块概览routines.linalg 文档说了什么官方文档将mxnet.np.linalg定义为线性代数函数集对应numpy.linalg并明确其性能基础这些函数依赖 BLAS 与 LAPACK 提供标准线性代数算法的高效底层实现。这些库可以由 NumPy 自带的部分参考实现C 版本提供但在可能的情况下MXNet 优先选择利用专用处理器特性的高度优化库例如 OpenBLAS、Intel MKL 与 ATLAS。由于这些库是多线程且与处理器相关的可能需要通过环境变量或 threadpoolctl 等外部包来控制线程数或指定处理器架构。文档通过autosummary把全部函数组织为五大类别以下函数均来自原文档清单未做删减分类函数归属模块矩阵与向量积dot、vdot、inner、outer、tensordot、einsum、linalg.multi_dot、matmul、linalg.matrix_power、kron除标注linalg.外均在mxnet.np顶层分解Decompositionslinalg.svd、linalg.cholesky、linalg.qrmxnet.np.linalg矩阵特征值linalg.eig、linalg.eigh、linalg.eigvals、linalg.eigvalshmxnet.np.linalg范数与其他数值量linalg.norm、trace、linalg.cond、linalg.det、linalg.matrix_rank、linalg.slogdet除trace外均在mxnet.np.linalg求解方程与矩阵求逆linalg.solve、linalg.tensorsolve、linalg.lstsq、linalg.inv、linalg.pinv、linalg.tensorinvmxnet.np.linalg从源码看python/mxnet/numpy/linalg.py 中__all__实际导出的符号比文档清单更丰富还包括matrix_transpose、vecdot、svdvals、vector_norm、matrix_norm、cross、diagonal等 Array API 标准函数它们与 NumPy 官方算子一起构成了完整的线性代数能力面。二、底层原理BLAS/LAPACK 与三层实现架构2.1 性能地基BLAS/LAPACK线性代数运算的核心计算矩阵乘法、三角分解、特征值分解均不是逐元素 Python 循环而是由高度优化的 BLAS/LAPACK 例程完成。MXNet 在编译期通过ChooseBlas.cmake等配置选择 OpenBLAS、MKL 或 ATLAS 等实现参见 cmake/ChooseBlas.cmake 与 cmake/Modules/FindOpenBLAS.cmake。文档特别提醒这些库默认多线程在共享 CPU 环境中需要用环境变量如OPENBLAS_NUM_THREADS、MKL_NUM_THREADS或 threadpoolctl 限制线程数避免资源争抢导致性能反降。2.2 三层实现架构从源码结构可以推断mxnet.np.linalg的函数调用链是三层结构NumPy 兼容层python/mxnet/numpy/linalg.py 提供面向用户的、带完整 docstring 的 Python 封装派发层python/mxnet/ndarray/numpy/linalg.py 面向 Gluon 的 imperative 执行模式通过_api_internal调用 C 算子C 算子层src/operator/tensor/la_op.cc、src/operator/tensor/la_op.cu 与 src/operator/tensor/la_op-inl.h 注册了_linalg_potrfCholesky、_linalg_gelqfQR、_linalg_syevd对称特征值、_linalg_inverse、_linalg_det、_linalg_slogdet、_linalg_gemm等算子并实现了对应的反向算子如_backward_linalg_gelqf以支持自动求导。2.3 Fallback 机制三个例外函数并非所有函数都有 C 实现。查看 python/mxnet/numpy/fallback_linalg.py 可以看到import numpy as onp __all__ [cond, matrix_power, multi_dot] cond onp.linalg.cond matrix_power onp.linalg.matrix_power multi_dot onp.linalg.multi_dot即linalg.cond、linalg.matrix_power、linalg.multi_dot三个函数直接回退到官方 NumPy 实现要求输入可被onp处理通常需先转换/拷贝为 CPU ndarray。这意味着使用这三个函数时输出不会挂在 MXNet 的计算图上无法参与 autograd 反向传播是使用时需要注意的边界。三、矩阵与向量积从 dot 到 einsum文档将该类函数归入mxnet.np顶层currentmodule:: mxnet.np包含 10 个成员。它们的共性语义如下dot(a, b)经典点积。一维向量返回标量二维矩阵返回矩阵乘积更高维按 NumPy 的 sum product over the last axis of a and the second-to-last of b 规则收缩。vdot(a, b)向量点积会先将输入展平为一维再计算且对复数输入取第一个参数的复共轭。inner(a, b)内积沿最后一维收缩其余维度按广播规则处理。outer(a, b)外积np.linalg.outer的实现值得注意在 linalg.py 中它被等价表达为tensordot(a.flatten(), b.flatten(), 0)即零轴收缩的张量积。tensordot(a, b, axes2)张量收缩。axes为整数N时收缩a的后N轴与b的前N轴axes也可传两个轴序列。N0得张量外积N1得张量点积N2默认得张量双重收缩。einsum(subscripts, *operands)爱因斯坦求和约定用字符串描述轴收缩与转置如ij,jk-ik等价矩阵乘。linalg.multi_dot(arrays)按最优括号化顺序计算多个矩阵的连乘fallback 到 NumPy。matmul批量矩阵乘法支持广播前导维度。linalg.matrix_power(a, n)矩阵整数次幂fallback 到 NumPyn0时先求逆再取幂。kron(a, b)Kronecker 积。示例来自 linalg.py 中tensordot的 docstring from mxnet import np x np.arange(60.).reshape(3, 4, 5) y np.arange(24.).reshape(4, 3, 2) z np.linalg.tensordot(x, y, axes([1, 0], [0, 1])) z.shape (5, 2)以及outer构造 Mandelbrot 粗网格的经典用法 x np.linalg.outer(np.ones((5,)), np.linspace(-2, 2, 5)) x array([[-2., -1., 0., 1., 2.], [-2., -1., 0., 1., 2.], [-2., -1., 0., 1., 2.], [-2., -1., 0., 1., 2.], [-2., -1., 0., 1., 2.]])四、矩阵分解svd / cholesky / qr4.1linalg.svd(a)奇异值分解2D 矩阵分解为a ut diag(s) v注意本实现返回的是转置形态的ut高维输入按 stacked 模式对最后两维逐个做 SVD。返回s按降序排列。文档特别说明底层使用 LAPACK 例程_gesvdu、v的行符号可能与 NumPy 不同这是文档明确承认的行为差异不支持复数输入要求a.ndim 2且最后两维满足M N。验证分解正确性来自 linalg.py docstring a np.arange(54).reshape(6, 9) ut, s, v np.linalg.svd(a) ut.shape, s.shape, v.shape ((6, 6), (6,), (6, 9)) ret np.dot(ut, s.reshape(6, 1) * v) (np.abs(ret - a) 1e-3).sum() array(0.)4.2linalg.cholesky(a, upperFalse)Cholesky 分解对对称正定矩阵返回下三角因子L满足a L L.T。upper参数Array API 标准新增NumPy 无此参数为True时返回上三角因子。底层对应_linalg_potrf算子注册于 la_op.cc。若矩阵非正定会抛MXNetError。经典用法是加速对称正定方程组的求解 A np.array([[16, 4], [4, 10]]) L np.linalg.cholesky(A) L array([[4., 0.], [1., 3.]]) np.dot(L, L.T) array([[16., 4.], [ 4., 10.]])4.3linalg.qr(a, modereduced)QR 分解将矩阵分解为正交矩阵q与上三角矩阵r其中q形状为(..., M, K)、r形状为(..., K, N)K min(M, N)。文档明确指出当前只实现了默认的reduced模式complete、r、raw等模式不适用。底层为_linalg_gelqf算子基于 LAPACKgelqf见 la_op-inl.h 的工作区查询逻辑。另需注意QR 的梯度仅在输入矩阵前K列线性独立时良定义。五、特征值求解eig / eigh / eigvals / eigvalsh这 4 个函数针对两类矩阵一般方阵eig/eigvals底层 LAPACK_geev与实对称矩阵eigh/eigvalsh底层 LAPACK_syevd对应算子_linalg_syevd。linalg.eig(a)返回特征值w按重数重复、无序与右特征向量v满足dot(a, v[:,i]) w[i] * v[:,i]特征向量已单位化。linalg.eigvals(a)只返回特征值不计算特征向量计算量更小。linalg.eigh(a, upperFalse)实对称矩阵的特征值与特征向量特征值升序排列。upper对应 LAPACK 的UPLO参数False用下三角LTrue用上三角U。该参数是 Array API 标准化要求NumPy 原生是UPLOL字符串。linalg.eigvalsh(a, upperFalse)只返回实对称矩阵的特征值升序。从 linalg.py 可以看到upper到UPLO的转换逻辑if not upper: UPLO L else: UPLO U return _mx_nd_np.linalg.eigvalsh(a, UPLO)示例实对称特征值来自 docstring from numpy import linalg as LA a np.array([[5.4119368, 8.996273, -5.086096], ... [0.8866155, 1.7490431, -4.6107802], ... [-0.08034172, 4.4172044, 1.4528792]]) LA.eigvalsh(a, UPLOL) array([-2.87381886, 5.10144682, 6.38623114]) # 升序与 NumPy 的差异文档明示这 4 个函数均不支持复数输入与输出。六、范数与其他数值量norm / trace / cond / det / matrix_rank / slogdet6.1linalg.norm(x, ordNone, axisNone, keepdimsFalse)矩阵或向量范数。当前实现只支持 Frobenius 范数ordfro或省略公式为||A||_F [Σ|a_ij|²]^{1/2}。axis为整数时沿该轴求向量范数为 2 元组时对其中两维张成的矩阵求矩阵范数为None时对整体求值keepdimsTrue保留被约减的维度便于广播。注意与 NumPy 的一个差异本实现预期返回零维张量的场景在 NumPy 中返回 Python float。同一模块还提供 Array API 标准的细分函数vector_norm向量范数ord可为非零整数/±inf与matrix_norm矩阵范数默认 Frobenius要求axis必须是 2 元组否则抛ValueError见 linalg.py。 a np.arange(9) - 4 np.linalg.norm(a) array(7.745967) np.linalg.norm(a.reshape(3, 3), fro) array(7.745967)6.2trace(a, offset0)与matrix_transposetrace位于mxnet.np顶层返回(..., M, N)输入沿最后两维主对角线的迹支持offset偏移上/下对角线形状为去掉最后两维并保留前导维。linalg.matrix_transpose(a)只交换最后两维与transpose全轴反转不同实现为swapaxes(a, -1, -2)并要求a.ndim 2。6.3linalg.cond/linalg.det/linalg.matrix_rank/linalg.slogdetlinalg.cond(a, pNone)矩阵条件数fallback 到 NumPy见 fallback_linalg.py。linalg.det(a)行列式。文档说明其通过 LU 分解LAPACKz/dgetrf计算GPU 端对应_linalg_det算子内部调用批量getrf见 la_op-inl.h。支持矩阵栈 a np.array([[[1, 2], [3, 4]], [[1, 2], [2, 1]], [[1, 3], [3, 1]]]) np.linalg.det(a) array([-2., -3., -8.])linalg.matrix_rank(M, rtolNone, hermitianFalse)基于 SVD 求矩阵秩秩定义为大于rtol的奇异值个数。rtol为None时取S.max() * max(M.shape) * epshermitianTrue假定输入为 Hermitian实对称以加速但注意 python/mxnet/ndarray/numpy/linalg.py 中hermitianTrue目前会抛NotImplementedError。 np.linalg.matrix_rank(np.eye(4)) # 满秩 4 I np.eye(4); I[-1, -1] 0. # 秩亏缺 np.linalg.matrix_rank(I) 3linalg.slogdet(a)返回(sign, logdet)即行列式的符号与自然对数规避det在行列式极大/极小时的溢出/下溢。底层为_linalg_slogdet算子la_op.cc。恒等式det sign * exp(logdet) np.linalg.det(np.eye(500) * 0.1) # 溢出为 0.0 0.0 np.linalg.slogdet(np.eye(500) * 0.1) (1., -1151.2925464970228)七、求解方程与矩阵求逆solve / lstsq / inv / pinv / tensorsolve / tensorinv7.1linalg.solve(a, b)精确求解求解满秩方阵方程a x bb可为向量(..., M,)或右端矩阵(..., M, K)返回形状与b相同。文档说明底层为 LAPACK_gesva必须为方阵且满秩否则抛MXNetError此时应改用lstsq。 a np.array([[3, 1], [1, 2]]) b np.array([9, 8]) x np.linalg.solve(a, b) x array([2., 3.]) np.allclose(np.dot(a, x), b) True7.2linalg.lstsq(a, b, rcondwarn)最小二乘解最小化||b - a x||²适用于欠定/适定/超定方程组。rcond控制小奇异值的截断warn或-1用机器精度None用机器精度乘max(M, N)。返回四元组(x, residuals, rank, s)x为解residuals为残差平方和秩不足或M N时为空数组rank为a的秩s为奇异值。经典线性拟合示例 x np.array([0, 1, 2, 3]) y np.array([-1, 0.2, 0.9, 2.1]) A np.vstack([x, np.ones(len(x))]).T m, c np.linalg.lstsq(A, y, rcondNone)[0] m, c (1.0, -0.95) # may vary7.3linalg.inv(a)与linalg.pinv(a, rtolNone, hermitianFalse)inv方阵乘法逆满足dot(a, ainv) dot(ainv, a) I支持矩阵栈。底层为_linalg_inverse算子。pinvMoore-Penrose 伪逆基于 SVD 计算对奇异值小于rtol * 最大奇异值的置零处理适用于非方阵或秩亏缺矩阵。rtol/hermitian为 Array API 标准参数NumPy 原生无。hermitianTrue时用更高效的对称 SVD 路径。其数学定义docstring 引用 G. Strang 的《Linear Algebra and Its Applications》若A Q1 Σ Q2ᵀ是 SVD则A⁺ Q2 Σ⁺ Q1ᵀΣ⁺为奇异值取倒数其余补零的对角阵。自洽性检验 a np.random.randn(2, 3) pinv_a np.linalg.pinv(a) (a - np.dot(a, np.dot(pinv_a, a))).sum() array(0.) (pinv_a - np.dot(pinv_a, np.dot(a, pinv_a))).sum() array(0.)7.4linalg.tensorsolve与linalg.tensorinv张量方程tensorsolve(a, b, axesNone)求解张量方程a x b其中a形状为b.shape Q且prod(Q) prod(b.shape)square 条件返回形状为Q的解x。tensorinv(a, ind2)求a关于tensordot(a, b, ind)运算的逆要求prod(a.shape[:ind]) prod(a.shape[ind:])返回形状a.shape[ind:] a.shape[:ind]的张量使得tensordot(tensorinv(a), a, ind)近似为单位张量。两者成对使用docstring 示例 a np.eye(4 * 6) a.shape (4, 6, 8, 3) ainv np.linalg.tensorinv(a, ind2) ainv.shape (8, 3, 4, 6) b np.random.randn(4, 6) np.allclose(np.tensordot(ainv, b), np.linalg.tensorsolve(a, b)) True八、使用注意事项与易错点汇总基于文档说明与源码实现总结如下边界条件复数不支持svd、eig、eigh、eigvals、eigvalsh、cholesky均不支持复数输入/输出。SVD 符号不确定性svd的u/v行符号可能与 NumPy 不同涉及符号对齐的比较需谨慎。norm仅支持 Frobenius 范数以及vector_norm/matrix_norm的部分 ord 值需要其他矩阵范数时可考虑matrix_norm或自行组合。qr仅支持reduced模式。cond、matrix_power、multi_dot回退官方 NumPy不参与 MXNet 自动求导见 fallback_linalg.py。matrix_rank与pinv的hermitianTrue支持度不同matrix_rank在 ndarray 派发层目前抛NotImplementedError。lstsq/solve的收敛失败、奇异矩阵会抛MXNetError注意捕获处理。线程控制OpenBLAS/MKL 默认多线程训练任务中如与其他计算争抢 CPU可设置OPENBLAS_NUM_THREADS/MKL_NUM_THREADS或使用 threadpoolctl 限定。九、源码级验证与测试入口仓库测试为这些函数提供了大量行为验证tests/python/unittest/test_numpy_op.py 中的test_np_linalg_norm覆盖了norm在不同ord含inf、-inf与axis组合下与 NumPy 的一致性比对同一文件还包含svd的分解重建测试L5905 附近tests/python/unittest/test_operator.py 与 tests/python/unittest/test_ndarray.py 亦覆盖了linalg相关算子C 算子行为可在 src/operator/tensor/la_op.ccCPU 注册与 src/operator/tensor/la_op.cuGPU 注册包括_linalg_gelqf、_linalg_syevd的 CUDA 版本中追溯。深入阅读官方 API 索引文档 routines.linalg.rst 可获取完整的函数清单与归类各函数更详尽的参数与示例见 python/mxnet/numpy/linalg.py 中的 docstring。按上述边界条件使用mxnet.np.linalg可以无缝承接你在 NumPy 中积累的线性代数编程经验并在 MXNet 的 GPU 算子与自动微分生态中获得一致的高效体验。【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址: https://gitcode.com/gh_mirrors/mxne/mxnet创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
MXNet mxnet.np.linalg 线性代数模块完全指南：从 NumPy 兼容 API 到 BLAS/LAPACK 底层实现
MXNet mxnet.np.linalg 线性代数模块完全指南从 NumPy 兼容 API 到 BLAS/LAPACK 底层实现【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址: https://gitcode.com/gh_mirrors/mxne/mxnet导读mxnet.np.linalg是 Apache MXNet 为 NumPy 兼容编程接口mxnet.np提供的线性代数子模块覆盖矩阵分解SVD、Cholesky、QR、特征值求解、范数与数值量、线性方程组求解与矩阵求逆等核心能力。本文以官方 API 索引文档 routines.linalg.rst 为骨架结合 python/mxnet/numpy/linalg.py 与 C 算子源码系统讲解每个函数的使用方式、参数语义、与 NumPy 的行为差异以及它们在 BLAS/LAPACK 层面的实现原理帮助你在 Gluon 训练、科学计算与张量分析中直接复用 NumPy 的线性代数编程习惯。一、模块概览routines.linalg 文档说了什么官方文档将mxnet.np.linalg定义为线性代数函数集对应numpy.linalg并明确其性能基础这些函数依赖 BLAS 与 LAPACK 提供标准线性代数算法的高效底层实现。这些库可以由 NumPy 自带的部分参考实现C 版本提供但在可能的情况下MXNet 优先选择利用专用处理器特性的高度优化库例如 OpenBLAS、Intel MKL 与 ATLAS。由于这些库是多线程且与处理器相关的可能需要通过环境变量或 threadpoolctl 等外部包来控制线程数或指定处理器架构。文档通过autosummary把全部函数组织为五大类别以下函数均来自原文档清单未做删减分类函数归属模块矩阵与向量积dot、vdot、inner、outer、tensordot、einsum、linalg.multi_dot、matmul、linalg.matrix_power、kron除标注linalg.外均在mxnet.np顶层分解Decompositionslinalg.svd、linalg.cholesky、linalg.qrmxnet.np.linalg矩阵特征值linalg.eig、linalg.eigh、linalg.eigvals、linalg.eigvalshmxnet.np.linalg范数与其他数值量linalg.norm、trace、linalg.cond、linalg.det、linalg.matrix_rank、linalg.slogdet除trace外均在mxnet.np.linalg求解方程与矩阵求逆linalg.solve、linalg.tensorsolve、linalg.lstsq、linalg.inv、linalg.pinv、linalg.tensorinvmxnet.np.linalg从源码看python/mxnet/numpy/linalg.py 中__all__实际导出的符号比文档清单更丰富还包括matrix_transpose、vecdot、svdvals、vector_norm、matrix_norm、cross、diagonal等 Array API 标准函数它们与 NumPy 官方算子一起构成了完整的线性代数能力面。二、底层原理BLAS/LAPACK 与三层实现架构2.1 性能地基BLAS/LAPACK线性代数运算的核心计算矩阵乘法、三角分解、特征值分解均不是逐元素 Python 循环而是由高度优化的 BLAS/LAPACK 例程完成。MXNet 在编译期通过ChooseBlas.cmake等配置选择 OpenBLAS、MKL 或 ATLAS 等实现参见 cmake/ChooseBlas.cmake 与 cmake/Modules/FindOpenBLAS.cmake。文档特别提醒这些库默认多线程在共享 CPU 环境中需要用环境变量如OPENBLAS_NUM_THREADS、MKL_NUM_THREADS或 threadpoolctl 限制线程数避免资源争抢导致性能反降。2.2 三层实现架构从源码结构可以推断mxnet.np.linalg的函数调用链是三层结构NumPy 兼容层python/mxnet/numpy/linalg.py 提供面向用户的、带完整 docstring 的 Python 封装派发层python/mxnet/ndarray/numpy/linalg.py 面向 Gluon 的 imperative 执行模式通过_api_internal调用 C 算子C 算子层src/operator/tensor/la_op.cc、src/operator/tensor/la_op.cu 与 src/operator/tensor/la_op-inl.h 注册了_linalg_potrfCholesky、_linalg_gelqfQR、_linalg_syevd对称特征值、_linalg_inverse、_linalg_det、_linalg_slogdet、_linalg_gemm等算子并实现了对应的反向算子如_backward_linalg_gelqf以支持自动求导。2.3 Fallback 机制三个例外函数并非所有函数都有 C 实现。查看 python/mxnet/numpy/fallback_linalg.py 可以看到import numpy as onp __all__ [cond, matrix_power, multi_dot] cond onp.linalg.cond matrix_power onp.linalg.matrix_power multi_dot onp.linalg.multi_dot即linalg.cond、linalg.matrix_power、linalg.multi_dot三个函数直接回退到官方 NumPy 实现要求输入可被onp处理通常需先转换/拷贝为 CPU ndarray。这意味着使用这三个函数时输出不会挂在 MXNet 的计算图上无法参与 autograd 反向传播是使用时需要注意的边界。三、矩阵与向量积从 dot 到 einsum文档将该类函数归入mxnet.np顶层currentmodule:: mxnet.np包含 10 个成员。它们的共性语义如下dot(a, b)经典点积。一维向量返回标量二维矩阵返回矩阵乘积更高维按 NumPy 的 sum product over the last axis of a and the second-to-last of b 规则收缩。vdot(a, b)向量点积会先将输入展平为一维再计算且对复数输入取第一个参数的复共轭。inner(a, b)内积沿最后一维收缩其余维度按广播规则处理。outer(a, b)外积np.linalg.outer的实现值得注意在 linalg.py 中它被等价表达为tensordot(a.flatten(), b.flatten(), 0)即零轴收缩的张量积。tensordot(a, b, axes2)张量收缩。axes为整数N时收缩a的后N轴与b的前N轴axes也可传两个轴序列。N0得张量外积N1得张量点积N2默认得张量双重收缩。einsum(subscripts, *operands)爱因斯坦求和约定用字符串描述轴收缩与转置如ij,jk-ik等价矩阵乘。linalg.multi_dot(arrays)按最优括号化顺序计算多个矩阵的连乘fallback 到 NumPy。matmul批量矩阵乘法支持广播前导维度。linalg.matrix_power(a, n)矩阵整数次幂fallback 到 NumPyn0时先求逆再取幂。kron(a, b)Kronecker 积。示例来自 linalg.py 中tensordot的 docstring from mxnet import np x np.arange(60.).reshape(3, 4, 5) y np.arange(24.).reshape(4, 3, 2) z np.linalg.tensordot(x, y, axes([1, 0], [0, 1])) z.shape (5, 2)以及outer构造 Mandelbrot 粗网格的经典用法 x np.linalg.outer(np.ones((5,)), np.linspace(-2, 2, 5)) x array([[-2., -1., 0., 1., 2.], [-2., -1., 0., 1., 2.], [-2., -1., 0., 1., 2.], [-2., -1., 0., 1., 2.], [-2., -1., 0., 1., 2.]])四、矩阵分解svd / cholesky / qr4.1linalg.svd(a)奇异值分解2D 矩阵分解为a ut diag(s) v注意本实现返回的是转置形态的ut高维输入按 stacked 模式对最后两维逐个做 SVD。返回s按降序排列。文档特别说明底层使用 LAPACK 例程_gesvdu、v的行符号可能与 NumPy 不同这是文档明确承认的行为差异不支持复数输入要求a.ndim 2且最后两维满足M N。验证分解正确性来自 linalg.py docstring a np.arange(54).reshape(6, 9) ut, s, v np.linalg.svd(a) ut.shape, s.shape, v.shape ((6, 6), (6,), (6, 9)) ret np.dot(ut, s.reshape(6, 1) * v) (np.abs(ret - a) 1e-3).sum() array(0.)4.2linalg.cholesky(a, upperFalse)Cholesky 分解对对称正定矩阵返回下三角因子L满足a L L.T。upper参数Array API 标准新增NumPy 无此参数为True时返回上三角因子。底层对应_linalg_potrf算子注册于 la_op.cc。若矩阵非正定会抛MXNetError。经典用法是加速对称正定方程组的求解 A np.array([[16, 4], [4, 10]]) L np.linalg.cholesky(A) L array([[4., 0.], [1., 3.]]) np.dot(L, L.T) array([[16., 4.], [ 4., 10.]])4.3linalg.qr(a, modereduced)QR 分解将矩阵分解为正交矩阵q与上三角矩阵r其中q形状为(..., M, K)、r形状为(..., K, N)K min(M, N)。文档明确指出当前只实现了默认的reduced模式complete、r、raw等模式不适用。底层为_linalg_gelqf算子基于 LAPACKgelqf见 la_op-inl.h 的工作区查询逻辑。另需注意QR 的梯度仅在输入矩阵前K列线性独立时良定义。五、特征值求解eig / eigh / eigvals / eigvalsh这 4 个函数针对两类矩阵一般方阵eig/eigvals底层 LAPACK_geev与实对称矩阵eigh/eigvalsh底层 LAPACK_syevd对应算子_linalg_syevd。linalg.eig(a)返回特征值w按重数重复、无序与右特征向量v满足dot(a, v[:,i]) w[i] * v[:,i]特征向量已单位化。linalg.eigvals(a)只返回特征值不计算特征向量计算量更小。linalg.eigh(a, upperFalse)实对称矩阵的特征值与特征向量特征值升序排列。upper对应 LAPACK 的UPLO参数False用下三角LTrue用上三角U。该参数是 Array API 标准化要求NumPy 原生是UPLOL字符串。linalg.eigvalsh(a, upperFalse)只返回实对称矩阵的特征值升序。从 linalg.py 可以看到upper到UPLO的转换逻辑if not upper: UPLO L else: UPLO U return _mx_nd_np.linalg.eigvalsh(a, UPLO)示例实对称特征值来自 docstring from numpy import linalg as LA a np.array([[5.4119368, 8.996273, -5.086096], ... [0.8866155, 1.7490431, -4.6107802], ... [-0.08034172, 4.4172044, 1.4528792]]) LA.eigvalsh(a, UPLOL) array([-2.87381886, 5.10144682, 6.38623114]) # 升序与 NumPy 的差异文档明示这 4 个函数均不支持复数输入与输出。六、范数与其他数值量norm / trace / cond / det / matrix_rank / slogdet6.1linalg.norm(x, ordNone, axisNone, keepdimsFalse)矩阵或向量范数。当前实现只支持 Frobenius 范数ordfro或省略公式为||A||_F [Σ|a_ij|²]^{1/2}。axis为整数时沿该轴求向量范数为 2 元组时对其中两维张成的矩阵求矩阵范数为None时对整体求值keepdimsTrue保留被约减的维度便于广播。注意与 NumPy 的一个差异本实现预期返回零维张量的场景在 NumPy 中返回 Python float。同一模块还提供 Array API 标准的细分函数vector_norm向量范数ord可为非零整数/±inf与matrix_norm矩阵范数默认 Frobenius要求axis必须是 2 元组否则抛ValueError见 linalg.py。 a np.arange(9) - 4 np.linalg.norm(a) array(7.745967) np.linalg.norm(a.reshape(3, 3), fro) array(7.745967)6.2trace(a, offset0)与matrix_transposetrace位于mxnet.np顶层返回(..., M, N)输入沿最后两维主对角线的迹支持offset偏移上/下对角线形状为去掉最后两维并保留前导维。linalg.matrix_transpose(a)只交换最后两维与transpose全轴反转不同实现为swapaxes(a, -1, -2)并要求a.ndim 2。6.3linalg.cond/linalg.det/linalg.matrix_rank/linalg.slogdetlinalg.cond(a, pNone)矩阵条件数fallback 到 NumPy见 fallback_linalg.py。linalg.det(a)行列式。文档说明其通过 LU 分解LAPACKz/dgetrf计算GPU 端对应_linalg_det算子内部调用批量getrf见 la_op-inl.h。支持矩阵栈 a np.array([[[1, 2], [3, 4]], [[1, 2], [2, 1]], [[1, 3], [3, 1]]]) np.linalg.det(a) array([-2., -3., -8.])linalg.matrix_rank(M, rtolNone, hermitianFalse)基于 SVD 求矩阵秩秩定义为大于rtol的奇异值个数。rtol为None时取S.max() * max(M.shape) * epshermitianTrue假定输入为 Hermitian实对称以加速但注意 python/mxnet/ndarray/numpy/linalg.py 中hermitianTrue目前会抛NotImplementedError。 np.linalg.matrix_rank(np.eye(4)) # 满秩 4 I np.eye(4); I[-1, -1] 0. # 秩亏缺 np.linalg.matrix_rank(I) 3linalg.slogdet(a)返回(sign, logdet)即行列式的符号与自然对数规避det在行列式极大/极小时的溢出/下溢。底层为_linalg_slogdet算子la_op.cc。恒等式det sign * exp(logdet) np.linalg.det(np.eye(500) * 0.1) # 溢出为 0.0 0.0 np.linalg.slogdet(np.eye(500) * 0.1) (1., -1151.2925464970228)七、求解方程与矩阵求逆solve / lstsq / inv / pinv / tensorsolve / tensorinv7.1linalg.solve(a, b)精确求解求解满秩方阵方程a x bb可为向量(..., M,)或右端矩阵(..., M, K)返回形状与b相同。文档说明底层为 LAPACK_gesva必须为方阵且满秩否则抛MXNetError此时应改用lstsq。 a np.array([[3, 1], [1, 2]]) b np.array([9, 8]) x np.linalg.solve(a, b) x array([2., 3.]) np.allclose(np.dot(a, x), b) True7.2linalg.lstsq(a, b, rcondwarn)最小二乘解最小化||b - a x||²适用于欠定/适定/超定方程组。rcond控制小奇异值的截断warn或-1用机器精度None用机器精度乘max(M, N)。返回四元组(x, residuals, rank, s)x为解residuals为残差平方和秩不足或M N时为空数组rank为a的秩s为奇异值。经典线性拟合示例 x np.array([0, 1, 2, 3]) y np.array([-1, 0.2, 0.9, 2.1]) A np.vstack([x, np.ones(len(x))]).T m, c np.linalg.lstsq(A, y, rcondNone)[0] m, c (1.0, -0.95) # may vary7.3linalg.inv(a)与linalg.pinv(a, rtolNone, hermitianFalse)inv方阵乘法逆满足dot(a, ainv) dot(ainv, a) I支持矩阵栈。底层为_linalg_inverse算子。pinvMoore-Penrose 伪逆基于 SVD 计算对奇异值小于rtol * 最大奇异值的置零处理适用于非方阵或秩亏缺矩阵。rtol/hermitian为 Array API 标准参数NumPy 原生无。hermitianTrue时用更高效的对称 SVD 路径。其数学定义docstring 引用 G. Strang 的《Linear Algebra and Its Applications》若A Q1 Σ Q2ᵀ是 SVD则A⁺ Q2 Σ⁺ Q1ᵀΣ⁺为奇异值取倒数其余补零的对角阵。自洽性检验 a np.random.randn(2, 3) pinv_a np.linalg.pinv(a) (a - np.dot(a, np.dot(pinv_a, a))).sum() array(0.) (pinv_a - np.dot(pinv_a, np.dot(a, pinv_a))).sum() array(0.)7.4linalg.tensorsolve与linalg.tensorinv张量方程tensorsolve(a, b, axesNone)求解张量方程a x b其中a形状为b.shape Q且prod(Q) prod(b.shape)square 条件返回形状为Q的解x。tensorinv(a, ind2)求a关于tensordot(a, b, ind)运算的逆要求prod(a.shape[:ind]) prod(a.shape[ind:])返回形状a.shape[ind:] a.shape[:ind]的张量使得tensordot(tensorinv(a), a, ind)近似为单位张量。两者成对使用docstring 示例 a np.eye(4 * 6) a.shape (4, 6, 8, 3) ainv np.linalg.tensorinv(a, ind2) ainv.shape (8, 3, 4, 6) b np.random.randn(4, 6) np.allclose(np.tensordot(ainv, b), np.linalg.tensorsolve(a, b)) True八、使用注意事项与易错点汇总基于文档说明与源码实现总结如下边界条件复数不支持svd、eig、eigh、eigvals、eigvalsh、cholesky均不支持复数输入/输出。SVD 符号不确定性svd的u/v行符号可能与 NumPy 不同涉及符号对齐的比较需谨慎。norm仅支持 Frobenius 范数以及vector_norm/matrix_norm的部分 ord 值需要其他矩阵范数时可考虑matrix_norm或自行组合。qr仅支持reduced模式。cond、matrix_power、multi_dot回退官方 NumPy不参与 MXNet 自动求导见 fallback_linalg.py。matrix_rank与pinv的hermitianTrue支持度不同matrix_rank在 ndarray 派发层目前抛NotImplementedError。lstsq/solve的收敛失败、奇异矩阵会抛MXNetError注意捕获处理。线程控制OpenBLAS/MKL 默认多线程训练任务中如与其他计算争抢 CPU可设置OPENBLAS_NUM_THREADS/MKL_NUM_THREADS或使用 threadpoolctl 限定。九、源码级验证与测试入口仓库测试为这些函数提供了大量行为验证tests/python/unittest/test_numpy_op.py 中的test_np_linalg_norm覆盖了norm在不同ord含inf、-inf与axis组合下与 NumPy 的一致性比对同一文件还包含svd的分解重建测试L5905 附近tests/python/unittest/test_operator.py 与 tests/python/unittest/test_ndarray.py 亦覆盖了linalg相关算子C 算子行为可在 src/operator/tensor/la_op.ccCPU 注册与 src/operator/tensor/la_op.cuGPU 注册包括_linalg_gelqf、_linalg_syevd的 CUDA 版本中追溯。深入阅读官方 API 索引文档 routines.linalg.rst 可获取完整的函数清单与归类各函数更详尽的参数与示例见 python/mxnet/numpy/linalg.py 中的 docstring。按上述边界条件使用mxnet.np.linalg可以无缝承接你在 NumPy 中积累的线性代数编程经验并在 MXNet 的 GPU 算子与自动微分生态中获得一致的高效体验。【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址: https://gitcode.com/gh_mirrors/mxne/mxnet创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考