高数解题神器:拍照上传就出答案,这个中国学霸做的AI厉害了 | Demo

百家 作者:量子位 2019-05-26 05:41:18
铜灵 晓查 发自 凹非寺
量子位 出品 | 公众号 QbitAI

一位叫Roger的中国学霸小哥的拍照做题程序mathAI一下子火了,这个AI,堪称数学解题神器。

输入一张包含手写数学题的图片,AI就能识别出输入的数学公式,然后给出计算结果。

不仅加减乘除基本运算,就连高等数学中的微积分都不在话下。

就像下面这样:

还在苦苦纠结高数作业如何求解?还在东奔西走的找学霸借作业?手握mathAI,不就是手握了新时代的解题利器么!

短短几天时间,这个项目在微博就收获了上百次转发。看到画风如此新奇,似乎还能开启无限可能应用,网友们纷纷召唤自己的印象笔记小助手收藏,大呼:牛逼,以后教宝宝数学就是它了。

作者表示,这个项目已经是半开源状态了,目前开源的部分可以识别计算加减乘除简单运算。

如果想要识别更加复杂的表达式,可以参考数学公式识别的论文自己进行扩展。

具体来看看这个解题神器。

实现过程

全能型选手mathAI是怎么实现这个功能的?

作者在Github中介绍说,整个程序使用python实现,具体处理流程包括:图像预处理→字符识别→数学公式识别→数学公式语义理解→结果输出。

整个系统的处理流程如下:

图片预处理主要以OpenCV作为主要工具,将图片中的字符单独切割出来,避免无关变量对字符识别的影响。

随后,国际数学公式识别比赛数据集(CROHME)对通过卷积神经网络进行训练。

此外,还进行结构分析,对字符的空间关系进行判定。比如一个字符的上标和下标,含义自然不一样。

在语义分析阶段,就需要汇集上面得到的信息,判断运算该如何进行了。节点属性传递过程如下图所示:

作者在用160道手写测试题进行了测试:

结果表明,平均字符识别率达到了96.23%,且系统做题的平均正确率达到了79.38%。

上手实操

来,实际上手操作下。

作者给出两种使用模式:网页模式和接口模式。接口模式比较直观,只需打开网页上传图片即可自动给出解题结果。

下面以接口模式为例介绍一下mathAI的安装使用方法。

首先需要安装flask虚拟环境、科学计算库numpy、sympy等,它们都可以用pip安装。

pip install flask
pip install virtualenv

将项目的lib.zip文件解压到系统目录的venv文件夹下。(lib.zip可以回复lib获取)

配置置好运行环境后,用PyCharm打开下载好的项目,在载入过程中,PyCharm会自动安装好项目依赖的软件库。

使用命令行进入项目所在目录,并启动虚拟环境:

. venv/bin/activate

将FLASK_ENV环境变量设置为启用开发模式:

export FLASK_ENV=development

然后使用指令运行flask网站框架:

export FLASK_APP=welcome.py
flask run

打开浏览器,在地址中输入127.0.0.1:5000,即可打开项目网页。在网页中输入一张包含数学公式的图片,就好返回运算结果。

目前GitHub项目页上的代码只支持加减乘除这样的简单运算。

中国少年

做出这个自动求解系统的,还是一位中国少年。

这位GitHub ID为Roger,本名罗文杰,是中山大学数据科学与计算机学院的研一在读硕士生,主要攻读计算机视觉方向。

不仅这个解题神器,在小哥哥的GitHub主页上还能看到其此前参与的很多有趣研究。

比如这个基于帖子的校园互助交友平台LiBond。用户可以在里面发布任务,然后使用虚拟币荔枝进行交易。

罗同学的设想是,有空闲时间的同学可以在此平台上帮助他人,然后结交好朋友,荔枝币还能用来兑换喜欢的物品。

再比如,一个基于C++的无禁手五子棋AI,可以通过openGL实现图形界面。

在这个项目中,罗同学使用了最经典的极大极小博弈树、alpha-beta剪枝、置换表等算法,还附上了核心代码。

确认过眼神,是学霸无疑了。

传送门

最后,附上神器的Github地址:
https://github.com/Roujack/mathAI

里面还附有Demo使用的word、ppt和视频教程~

作者系网易新闻·网易号“各有态度”签约作者


订阅AI内参,获取AI行业资讯

加入社群

量子位AI社群开始招募啦,社群矩阵:AI讨论群AI+行业群AI技术群


目前已有4万AI行业从业者、爱好者加入,AI技术群更有来自海内外各大高校实验室大牛各明星AI公司工程师等。自由互相交流AI发展现状及趋势


欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“微信群”,获取入群方式。(技术群与AI+行业群需经过审核,审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 !

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接