自五年前开始创建Wasmer以来,我们一直致力于通过WebAssembly使更多的语言能够针对Web及其超越Web的应用。
其中最受欢迎的语言之一就是Python,并且虽然确实可以在WebAssembly中运行Python程序,但就性能而言,它并不理想。
以下是基准测试
今天,我们非常高兴地宣布推出py2wasm:这是一款将你的Python程序转化为WebAssembly的编译器(感谢Nuitka!),避免了解释器的开销,使其运行速度比基础解释器快3倍!
下面是你如何使用它的方式:
$ pip install py2wasm$ py2wasm myprogram.py -o myprogram.wasm$ wasmer run myprogram.wasm
注意: py2wasm需要在Python 3.11环境中运行. 你可以使用pyenv在你的系统中轻松设置Python 3.11:
pyenv install 3.11 && pyenv global 3.11.
基准测试
让我们尝试运行著名的pystone.py基准测试,来比较本机Python,常规WebAssembly和py2wasm。
注意:你可以在以下链接检查用于基准测试的代码:https://gist.github.com/syrusakbary/b318c97aaa8de6e8040fdd5d3995cb7c
Python深度分析运行可能的策略来优化WebAssembly中的Python工作负载。
如何加速Python在WebAssembly中的运行速度
有许多方法可以优化运行时速度:
使用可以编译成性能代码的Python子集
在Python内使用JIT
使用静态分析来优化生成的代码
将Python子集编译为Wasm
我们可能只想目标定向Python的子集,而不是支持Python的全部功能。这是因为并不需要支持所有的功能,并且我们可以承受一些捷径:
可以生成非常高效的代码
? 不支持全部的语法或模块
使用这种策略的最常见选择是:CPython,RPython(PyPy)和Codon。
CPython: 可以创造性能高效的模块,正常运行你的Python代码库。然而,我们希望允许从我们的程序创建完全独立的WebAssembly二进制文件,所以很遗憾Cython对于加速Wasm中的Python可执行文件是行不通的。
RPython: RPython将类型代码转化为C,然后使用正常的C编译器进行编译。对于RPython中的Python程序能够运行的程度,限制是非常严格的,比如字典需要被完全类型化,这严重限制了我们可以使用它的程序。
Codon: Codon将Python代码的一个子集转化为LLVM IR。Codon是最有前途也是提供最多提速(从10到100倍)的备选方案。然而,他们支持的Python子集还有许多缺失的特性,这阻止了在大部分Python代码中使用它。
Python JIT
另一种策略是在Python中使用JIT,这样当执行复杂计算时,热路径就会被编译为WebAssembly。
运行速度过快
? 需要预热
? 不容易支持Webassembly(但是可能)
最常见(如果不是最常见的)的方法就是PyPy。
PyPy是一种Python解释器,它可以比标准的CPython解释器以更快的速度执行你的Python程序。一旦涉及到复杂的计算,他会通过JIT (即时编译器) 把执行速度变得超快。运行一个JIT在WebAssembly是不容易的,但可能.
大约五年前,pypyjs.org项目通过创建一个新的针对Javascript/Asm.js(而不是x86_64或arm64/aarch64)的PyPy后端来显示这种可能性。
对于我们的案例,我们需要从输出Javascript代码便到Webassembly。
实现一个PyPy的Wasm后端是完全可能的,就像Pypy.js所证明的那样,但不幸的是,这并不是一件轻而易举的事情(这可能需要几周到一个月的工作时间)。
静态分析
最后一种策略我们可以尝试加快Python在WebAssembly中的执行速度是:静态分析。静态分析可以让我们提前分析/自动检测程序的类型,这样代码就可以转译成更高效的特殊形(通常是通过Python到C的转译)。
与任何Python代码和应用程序大部分兼容
? 只能提高1.5-3倍的速度
? 实现复杂性高(从静态分析器的角度看,有许多细微之处)
? 二进制文件较大
mypy & mypy-c: Mypy可能是最受欢迎的Python静态分析器。Mypy团队也创建了一个mypy-c,它获取了来自Mypy的所有类型信息,然后将Python代码转化为等价的C代码,性能更好。
mypy-c主要针对的是Python模块,这样可以在Python代码库旁边运行。然而,在我们的用例中,我们希望允许从我们的程序创建新的完全独立的WebAssembly二进制文件,所以不幸的是,mypy-c可能不能适用于我们的用例。
Nuitka: Nuitka通过将程序做的Python调用转化为C,使用内部的CPython API调用。它支持大多数Python程序,因为将Python代码转为对应的CPython调用。
在经过了对所有选项的深入分析后,我们意识到,通过Nuitka将Python运行在WebAssembly中可能是最快的选项。
使用Nuitka将Python编译为WebAssembly
当我们试着运行生成的Wasm文件时,发现另一个问题:由于Nuitka的翻译器是在一个64位的架构中执行的,但生成的代码是在一个32位的架构中运行的(WebAssembly),所以事情并没有按照预期地工作。
一旦我们修复了这两个问题,原型就完全工作了!万岁!
我们已经创建了一个PR尝试将更改推送到Nuitka的上游,欢迎在这里查看:https://github.com/Nuitka/Nuitka/pull/2814
?? 目前py2wasm 是使用Nuitka的一个分支,但是一旦更改被集成到上游,我们的目标是让py2wasm成为在Nuitka之上的一个独立层。
我们首先满足了自己的需求,因为我们想将Python执行速度提升到最大,这样我们可以将Python Django后端从Google Cloud移至 Wasmer Edge。
py2wasm让我们(以及许多其他国家)更接近在Edge上运行Python后端应用程序,提供了一种远优于当前Cloud Provider的经济高性能Hosting这些应用程序的替代方案。
未来路线图
在未来,我们计划将py2wasm发布为Wasmer的一个包,这样你只需要简单地执行以下命令来操作。敬请留意!
wasmer run py2wasm --dir=. -- myfile.py -o myfile.wasm
我们希望你喜欢这篇展示py2wasm的文章,我们已经迫不及待地想听到你在Hacker News和Github上的反馈了!
本文翻译自wasmer 官方的文章:https://wasmer.io/posts/py2wasm-a-python-to-wasm-compiler
感兴趣的可以读原文。
了解更多
转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/389255.html