(译)让 python 代码一键转为 wasm

超级欧派课程2024-04-23 07:10:00  95

自五年前开始创建Wasmer以来,我们一直致力于通过WebAssembly使更多的语言能够针对Web及其超越Web的应用。

其中最受欢迎的语言之一就是Python,并且虽然确实可以在WebAssembly中运行Python程序,但就性能而言,它并不理想。

以下是基准测试

今天,我们非常高兴地宣布推出py2wasm:这是一款将你的Python程序转化为WebAssembly的编译器(感谢Nuitka!),避免了解释器的开销,使其运行速度比基础解释器快3倍!

下面是你如何使用它的方式:

$ pip install py2wasm$ py2wasm myprogram.py -o myprogram.wasm$ wasmer run myprogram.wasm

注意: py2wasm需要在Python 3.11环境中运行. 你可以使用pyenv在你的系统中轻松设置Python 3.11:

pyenv install 3.11 && pyenv global 3.11.

基准测试

让我们尝试运行著名的pystone.py基准测试,来比较本机Python,常规WebAssembly和py2wasm。

注意:你可以在以下链接检查用于基准测试的代码:https://gist.github.com/syrusakbary/b318c97aaa8de6e8040fdd5d3995cb7c

Python深度分析运行可能的策略来优化WebAssembly中的Python工作负载。

如何加速Python在WebAssembly中的运行速度

有许多方法可以优化运行时速度:

使用可以编译成性能代码的Python子集

在Python内使用JIT

使用静态分析来优化生成的代码

将Python子集编译为Wasm

我们可能只想目标定向Python的子集,而不是支持Python的全部功能。这是因为并不需要支持所有的功能,并且我们可以承受一些捷径:

可以生成非常高效的代码

? 不支持全部的语法或模块

使用这种策略的最常见选择是:CPython,RPython(PyPy)和Codon。

CPython: 可以创造性能高效的模块,正常运行你的Python代码库。然而,我们希望允许从我们的程序创建完全独立的WebAssembly二进制文件,所以很遗憾Cython对于加速Wasm中的Python可执行文件是行不通的。

RPython: RPython将类型代码转化为C,然后使用正常的C编译器进行编译。对于RPython中的Python程序能够运行的程度,限制是非常严格的,比如字典需要被完全类型化,这严重限制了我们可以使用它的程序。

Codon: Codon将Python代码的一个子集转化为LLVM IR。Codon是最有前途也是提供最多提速(从10到100倍)的备选方案。然而,他们支持的Python子集还有许多缺失的特性,这阻止了在大部分Python代码中使用它。

Python JIT

另一种策略是在Python中使用JIT,这样当执行复杂计算时,热路径就会被编译为WebAssembly。

运行速度过快

? 需要预热

? 不容易支持Webassembly(但是可能)

最常见(如果不是最常见的)的方法就是PyPy。

PyPy是一种Python解释器,它可以比标准的CPython解释器以更快的速度执行你的Python程序。一旦涉及到复杂的计算,他会通过JIT (即时编译器) 把执行速度变得超快。运行一个JIT在WebAssembly是不容易的,但可能.

大约五年前,pypyjs.org项目通过创建一个新的针对Javascript/Asm.js(而不是x86_64或arm64/aarch64)的PyPy后端来显示这种可能性。

对于我们的案例,我们需要从输出Javascript代码便到Webassembly。

实现一个PyPy的Wasm后端是完全可能的,就像Pypy.js所证明的那样,但不幸的是,这并不是一件轻而易举的事情(这可能需要几周到一个月的工作时间)。

静态分析

最后一种策略我们可以尝试加快Python在WebAssembly中的执行速度是:静态分析。静态分析可以让我们提前分析/自动检测程序的类型,这样代码就可以转译成更高效的特殊形(通常是通过Python到C的转译)。

与任何Python代码和应用程序大部分兼容

? 只能提高1.5-3倍的速度

? 实现复杂性高(从静态分析器的角度看,有许多细微之处)

? 二进制文件较大

mypy & mypy-c: Mypy可能是最受欢迎的Python静态分析器。Mypy团队也创建了一个mypy-c,它获取了来自Mypy的所有类型信息,然后将Python代码转化为等价的C代码,性能更好。

mypy-c主要针对的是Python模块,这样可以在Python代码库旁边运行。然而,在我们的用例中,我们希望允许从我们的程序创建新的完全独立的WebAssembly二进制文件,所以不幸的是,mypy-c可能不能适用于我们的用例。

Nuitka: Nuitka通过将程序做的Python调用转化为C,使用内部的CPython API调用。它支持大多数Python程序,因为将Python代码转为对应的CPython调用。

在经过了对所有选项的深入分析后,我们意识到,通过Nuitka将Python运行在WebAssembly中可能是最快的选项。

使用Nuitka将Python编译为WebAssembly

当我们试着运行生成的Wasm文件时,发现另一个问题:由于Nuitka的翻译器是在一个64位的架构中执行的,但生成的代码是在一个32位的架构中运行的(WebAssembly),所以事情并没有按照预期地工作。

一旦我们修复了这两个问题,原型就完全工作了!万岁!

我们已经创建了一个PR尝试将更改推送到Nuitka的上游,欢迎在这里查看:https://github.com/Nuitka/Nuitka/pull/2814

?? 目前py2wasm 是使用Nuitka的一个分支,但是一旦更改被集成到上游,我们的目标是让py2wasm成为在Nuitka之上的一个独立层。

我们首先满足了自己的需求,因为我们想将Python执行速度提升到最大,这样我们可以将Python Django后端从Google Cloud移至 Wasmer Edge。

py2wasm让我们(以及许多其他国家)更接近在Edge上运行Python后端应用程序,提供了一种远优于当前Cloud Provider的经济高性能Hosting这些应用程序的替代方案。

未来路线图

在未来,我们计划将py2wasm发布为Wasmer的一个包,这样你只需要简单地执行以下命令来操作。敬请留意!

wasmer run py2wasm --dir=. -- myfile.py -o myfile.wasm

我们希望你喜欢这篇展示py2wasm的文章,我们已经迫不及待地想听到你在Hacker News和Github上的反馈了!

本文翻译自wasmer 官方的文章:https://wasmer.io/posts/py2wasm-a-python-to-wasm-compiler

感兴趣的可以读原文。

了解更多

转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/389255.html
0
随机主题
出道似整容! 天庭饱满地阁方圆的金晨, 原来12年前和现在判若两人喜迎开门红! 双巨头狂轰63+11+12, 欧文关键罚球太稳, 华子没办法丰田打响“价格战”, 合资B级车, 从近17万降至11万多, 20年也开不坏6.18电视超详细选购指南 快来抄作业!重庆渝中区: 南纪门街道创新服务模式 “三快三及时”让“民呼我为”有精度更有温度浦江县交通运输综合行政执法队赴浦新矿业公司开展运输专项检查2024新鲜提案·黎里真实影像大会在苏州黎里开幕股市专治不服,服了之后你才知道怎么去交易!俄罗斯别尔哥罗德市传出多次爆炸声,此前已发布导弹警报1962年投资1000万美元,真实装备与军人协助拍摄,被封为二战电影封神之作!体检报告送上门 真情服务暖人心湖人引援新动向: 天时地利人和齐聚, 2年6950万锁定17+11内线巨塔1948年, 大特务马汉三被蒋介石处死, 死前告诫妻儿: 万勿从事政治乳企一季度降速后市场开始回暖 未来增长依然要靠技术内卷“曼城太子爷——福登”十个回合吃双车,惊天妙手,套路杀招,新手必备美联储公布5月会议纪要 通胀风险仍需高度关注丨从华尔街到陆家嘴中国制造又杀回第一!再次超过美国,成印度第一大贸易伙伴事情正在起变化, 欧洲这次狠狠打脸美国三个女学生相约抗日, 两人半途而废, 一人成为开国大将夫人《夜族崛起》暗黑来袭——是德古拉也是伐木工
最新回复(0)