
想给三年级的娃做一个语音背单词 app,场景很简单:app 通过 tts 念出单词中英文,用 stt 将娃说的字母和原词对比,看是否一致,全程语音完成,不用看手机,保护视力这么杀手级的应用,为什么所有智能音箱都没做呢?
我试用了如下工具和库:
app: “请背单词星期一,Monday ” 娃: “ M O N D A Y ” app: “您说的是 MNDEY,请重试” 娃: “...” 正确率最好的(iOS)也不过六七成正确率左右,这里是每个字母的听写正确率,几个字母连一块能否认对基本就看脸了。 请注意,这里的“ M O N D A Y ”为了使用体验,必须进行整体识别。如果加个按钮,按一下识别一个字母倒是可以把正确率提高到 99%以上但这样做 app 还有人愿意用吗?
说白了 iOS 的近场语音识别还是面向正常会话和整句逻辑建模,拿来背单词显然不合适,不过因此发现了一个听写的各种用法合集,通过各种预定义 annotation 来实现特种输入,Apple 也不容易......
目前能想到的唯一方案,这哥们做过类似的,就是把常用 1500 单词列出来,让娃从头到尾拼写一遍,我录音、手动标注之后用 TF 调参训练,再导入 CoreML,听起来很有爱,但只对一个娃有效......
谨献给认为 AI 即将统治世界的人们
1 wutiantong 2018-11-23 14:42:48 +08:00 Good idea, I will try |
2 XIAOAcao 2018-11-23 14:52:57 +08:00 京东叮咚智能音箱上有一款单词拼写的语音技能。 |
3 marcushbs OP @wutiantong 有进展请这里通知一下啊! |
4 marcushbs OP |
5 XIAOAcao 2018-11-23 16:01:00 +08:00 @marcushbs 你说的这几点,单词拼写这个技能都是支持的,你可以加我个联系方式我录个视频给你。微信:1141020002 |
6 marcushbs OP @XIAOAcao 我看介绍意思是:音箱听人说“苹果”,音箱说“ A P P L E"几个字母;顶楼里说的听人拼单词判定对不对也支持? |
7 KingEngine 2018-11-23 16:22:27 +08:00 从步步高学习机上提取软件。。哈哈 |
9 SeaRecluse 2018-11-23 16:38:30 +08:00 你这个需求正则表达就够了。现在的语音助手还是一种宽泛式的,而你这个是一个专门的需求,所以没必要做。 |
10 nedu 2018-11-23 19:50:14 +08:00 这个各个 AI 助手都可以实现吧 |
11 nedu 2018-11-23 19:51:03 +08:00 可以尝试在 Google assistant 平台上做开发 |
12 Newbing 2018-11-24 15:36:36 +08:00 楼主说的这个其实不容易实现,识别单个字母还是有很多问题的。很多 ASR 都是针对词组 /短语做优化。 |
13 Newbing 2018-11-24 15:40:43 +08:00 再补充一点,有的孩子可能擅长图形记忆,有的孩子可能擅长声音记忆。 |