语音听写单词 app,为什么所有智能音箱都没做呢? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
marcushbs
V2EX    程序员

语音听写单词 app,为什么所有智能音箱都没做呢?

  •  
  •   marcushbs 2018-11-23 14:30:28 +08:00 3249 次点击
    这是一个创建于 2579 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想给三年级的娃做一个语音背单词 app,场景很简单:app 通过 tts 念出单词中英文,用 stt 将娃说的字母和原词对比,看是否一致,全程语音完成,不用看手机,保护视力这么杀手级的应用,为什么所有智能音箱都没做呢?

    我试用了如下工具和库:

    • voixen-vad
    • iOS Speech Framework(react-native-voice)
    • Pocketsphinx.js
    app: “请背单词星期一,Monday ” 娃: “ M O N D A Y ” app: “您说的是 MNDEY,请重试” 娃: “...” 

    正确率最好的(iOS)也不过六七成正确率左右,这里是每个字母的听写正确率,几个字母连一块能否认对基本就看脸了。 请注意,这里的“ M O N D A Y ”为了使用体验,必须进行整体识别。如果加个按钮,按一下识别一个字母倒是可以把正确率提高到 99%以上但这样做 app 还有人愿意用吗?

    说白了 iOS 的近场语音识别还是面向正常会话和整句逻辑建模,拿来背单词显然不合适,不过因此发现了一个听写的各种用法合集,通过各种预定义 annotation 来实现特种输入,Apple 也不容易......

    目前能想到的唯一方案,这哥们做过类似的,就是把常用 1500 单词列出来,让娃从头到尾拼写一遍,我录音、手动标注之后用 TF 调参训练,再导入 CoreML,听起来很有爱,但只对一个娃有效......

    谨献给认为 AI 即将统治世界的人们

    14 条回复    2018-11-24 17:10:46 +08:00
    wutiantong
        1
    wutiantong  
       2018-11-23 14:42:48 +08:00
    Good idea, I will try
    XIAOAcao
        2
    XIAOAcao  
       2018-11-23 14:52:57 +08:00
    京东叮咚智能音箱上有一款单词拼写的语音技能。
    marcushbs
        3
    marcushbs  
    OP
       2018-11-23 15:38:25 +08:00
    @wutiantong 有进展请这里通知一下啊!
    marcushbs
        4
    marcushbs  
    OP
       2018-11-23 15:40:49 +08:00
    @XIAOAcao

    技能使用说明:



    1、直接说出想要查询的单词,中文或英文都可以:苹果、苹果的英语怎么说、苹果怎么拼

    2、没听清可以说:重复一遍

    这个 stt 模型还是通用的,和听写 letter 不一样
    XIAOAcao
        5
    XIAOAcao  
       2018-11-23 16:01:00 +08:00
    @marcushbs 你说的这几点,单词拼写这个技能都是支持的,你可以加我个联系方式我录个视频给你。微信:1141020002
    marcushbs
        6
    marcushbs  
    OP
       2018-11-23 16:15:35 +08:00
    @XIAOAcao 我看介绍意思是:音箱听人说“苹果”,音箱说“ A P P L E"几个字母;顶楼里说的听人拼单词判定对不对也支持?
    KingEngine
        7
    KingEngine  
       2018-11-23 16:22:27 +08:00
    从步步高学习机上提取软件。。哈哈
    XIAOAcao
        8
    XIAOAcao  
       2018-11-23 16:32:09 +08:00
    @marcushbs 你有京东叮咚智能音箱的话可以体验一下就知道了 。没有听人拼单词判定。
    SeaRecluse
        9
    SeaRecluse  
       2018-11-23 16:38:30 +08:00   1
    你这个需求正则表达就够了。现在的语音助手还是一种宽泛式的,而你这个是一个专门的需求,所以没必要做。
    nedu
        10
    nedu  
       2018-11-23 19:50:14 +08:00
    这个各个 AI 助手都可以实现吧
    nedu
        11
    nedu  
       2018-11-23 19:51:03 +08:00
    可以尝试在 Google assistant 平台上做开发
    Newbing
        12
    Newbing  
       2018-11-24 15:36:36 +08:00
    楼主说的这个其实不容易实现,识别单个字母还是有很多问题的。很多 ASR 都是针对词组 /短语做优化。
    Newbing
        13
    Newbing  
       2018-11-24 15:40:43 +08:00
    再补充一点,有的孩子可能擅长图形记忆,有的孩子可能擅长声音记忆。
        14
    marcushbs  
    OP
       2018-11-24 17:10:46 +08:00
    @Newbing 说得太对了,看来做过
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     4278 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 10:09 PVG 18:09 LAX 02:09 JFK 05:09
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86