在北京InfoComm China 2024展会上,外国客商在科大讯飞展位前体验智能同传系统。受访单位供图
6月26日,中国科学院举办学部第九届学术年会,中国科学院外籍院士盖博·施德潘作学术报告。他一边用英语讲,同传系统一边将他的报告内容实时翻译为中文,呈现在大屏幕上。内容准确,翻译迅速,即使是专业名词也不在话下。
该同传系统所采用的技术正来自于不久前获得2023年度国家科学技术进步奖一等奖的“多语种智能语音关键技术及产业化”项目。
该项目由科大讯飞牵头,联合中国科学技术大学、清华大学、华为、中移(杭州)公司等高校及行业领军企业联合完成。项目历时10余年研发成功,攻克多项关键技术,构建起具有中国自主知识产权的多语种智能语音技术体系,为我国智能产业升级发展奠定坚实技术基础。
语音是人类最自然便捷的沟通方式,也是智能时代人机交互的关键入口。如今我们只需张张嘴,机器就能代替人类完成一系列任务。在这“丝滑”的交互体验背后,是一系列关键技术的创新突破。
要让机器听清、听懂人类语言并不是一件容易的事。语音识别研究中有一道最具挑战性的典型难题被称为“鸡尾酒会”效应,即远场环境、噪声干扰、多人语音混叠等现象导致的语音识别困难。“比如在一个嘈杂的鸡尾酒会上,很多人同时说话,背景音乐也很响,如何让机器在这样的环境中精准识别出需要的声音?这是很常见的应用场景,也是非常有挑战性的难题。”科大讯飞副总裁、研究院院长刘聪介绍,针对这一典型难题,研发团队提出了多通道语音信号时空分离建模方法,即先将人声和不同的噪音分离,再进行建模。同时,团队还提出多维度语音属性解耦表征方法。“简单来说就是解耦、提取内容、韵律、音色等语音属性,以便更准确地识别和传达语音信息,解决了‘鸡尾酒会’效应难题,使得复杂场景下语音识别准确率得到非常明显提升。”他说。
刘聪向记者展示的一个典型应用场景中,在人声嘈杂的大型会议现场,三人同时就不同主题进行混叠发言,此时正常人已难以分辨讲话人的详细的细节内容。但智能语音技术不但可以实现三人重叠语音的角色分离,还可以对每个人的发言进行实时转写,准确率在86%以上。
多语种翻译是智能语音技术另一高频、高需求应用场景,也是最能体现智能语音技术实力的场景之一。数据是语音技术训练的关键因素之一,但部分小语种训练知识匮乏、训练数据稀缺,成为困扰技术发展的瓶颈。
2014年,科大讯飞等单位开始研究包括中国部分民族语言在内的小语种智能语音技术。他们从维语和藏语等民族语言切入,与北京外国语大学、上海外国语大学等建立密切合作,积累了宝贵资源,沉淀大量技术。
在此基础上,研发团队设计出全新的多语种通用音素体系和基本语言单元,实现多语种统一音素韵律体系的构建。“我们将不同的小语种进行分类,找到同类语种的共同规律,在此基础上进行分析建模和训练。最终在训练数据数量、质量有限的情况下,显著提升了小语种语音系统性能。”刘聪介绍。
此外,为解决复杂应用场景下语音交互、语音翻译面临的深层次语义理解困难、专业性不足等难题,研发团队还提出了多源知识增强的可信文本生成技术,提升专有词汇及领域知识引用的准确率。为解决使用国产芯片开展智能语音算法模型训练和推理面临的性能低、适配难等问题,团队通过软硬件协同优化的动态张量算子自动融合、多硬件联合的量化计算模拟等方法,解决了智能语音技术硬件平台受制于人的问题。
近年来,大模型引发的人工智能浪潮席卷多个领域。智能语音技术同样也在大模型助力下不断取得新突破。“大模型+语音”的发展模式,被认为将给智能语音技术和产业带来新一轮革命性突破。
“比如大模型能轻松实现语音技术的超拟人合成,让机器说话不再有浓厚的朗读腔,能够像真人一样自然对话。而全双工交互,则可以同时、瞬时进行信号的双向传输,让人机对话可以随时打断和继续等。这些都让大模型在智能语音领域备受关注。”科大讯飞研究院常务副院长高建清介绍说,智能语音技术的关键创新与大模型技术相结合后,二者可以相互补充、相互促进。
例如,借助语音属性解耦、语音信号时空分离等技术突破,可以将语音信号经过编码后输入到大语言模型中,明显提升语音大模型的效果。“原来的语音合成、语音识别、机器翻译等单点技术,借助大模型后台的理解能力、文本生成能力,在语义理解、指令跟随、多轮对话、情绪感知、超拟人合成等方面实现了显著提升,使语音交互体验得到极大改善。”高建清说。
着眼未来,大模型技术可以在复杂语义理解、长文本建模能力上进一步提升语音识别、合成和翻译的效果。同时基于大模型强大的语义理解、知识问答、多轮对话、多模态建模能力,它也能进一步提升智能语音技术的使用场景和应用价值,支撑实现语音同传、自动客服、辅学答疑、家庭医生、虚拟员工、陪伴机器人、服务机器人等未来智能产品创新,培育出更多产业机会,加速通用人工智能时代到来。高建清认为,大模型时代的语音技术本质上是一次推动万物互联和原有人机交互场景重构的巨大产业机会,是语音产业的全新战略机遇。
目前,科大讯飞自主研发的多语种智能语音技术已支持69个语种,除了6个联合国通用语种(汉语、英语、法语、西班牙语、俄语、阿拉伯语)之外,还包括挪威语、丹麦语等小语种63个,均达到使用门槛。搭载相关技术的智能手机海内外累计激活超10亿台,车载智能化产品累计前装超5300万套,支持奇瑞、比亚迪、长安等车企超200万套“出海”订单。
探索人工智能新型安全挑战与创新应用赋能——学会服务365TALK品牌沙龙走进瑞莱智慧
学会大咖谈|中国力学学会冯西桥:发挥学会优势,让科学研究服务于国家战略需求
学会大咖谈|中国科学技术期刊编辑学会魏均民:推动平台建设和集约化发展,向期刊强国迈进
当今世界面临气候变化、粮食安全、能源资源短缺等挑战,如何把二氧化碳转化成对人类有意义且有市场价值的物质?人工合成淀粉项目便是其中一个尝试。
随着全球对绿色能源需求的增长,太阳能光伏技术正迅速发展,其中,钙钛矿太阳能电池因其高效率和低成本而非常关注,被认为是“最有前景的下一代光伏技术”。
对于医学院校而言,要在健康中国建设的背景下,加强新医科建设的顶层设计和统筹谋划,增强系统观念和前瞻思维,把实现高水平质量的发展作为最核心、最紧迫的任务。
在教育、科技、人才“三位一体”统筹推进的要求下,学科交叉研究成为促进高水平质量的发展、推动新质生产力发展的有效举措。
在众多锂电池阳极材料中,锂金属阳极因其具有最高的理论比容量和低电化学电位而受到持续关注。
但Numina团队在获奖后表示,要解决更难的数学问题,仅靠语言模型可能还不够。英国伦敦数学科学研究所何杨辉称,AlphaProof这样的系统对于帮助数学家证明问题很有用,但它无法帮助研究人员确定要解决和研究的问题。
中国在参与建设平方公里阵列射电望远镜(SKA)的道路上又迈出了坚实一步。近日,中方向国际组织平方公里阵列天文台(SKAO)实物贡献的首批SKA中频天线结构,在河北石家庄完成出厂验收,启程运往位于南非卡鲁地区的SKA中频天线
记者近日从国家林业和草原局获悉:在各方一起努力下,我国国家公园建设取得重要成果,重点工作有序推进。国家林草局与第一批5个国家公园所在省份建立了联席会议协调推进机制,一同研究问题、部署工作。
人工智能作为新一轮科技革命和产业变革的重要驱动力量,具有技术属性与社会属性高度融合的特点,在推动生产力发展的同时,也带来新的风险和挑战。适应产学研用深层次地融合的AI发展态势,健全纵向有机衔接、横向有机联系的监管网络,将安全治理嵌入研究开发应用的全过程。
中国石化“齐鲁石化—胜利油田百万吨级CCUS项目”二氧化碳输送管道工程首站。今年6月,正理庄油田生产区已累计注入二氧化碳90万吨,有21口油井实现自喷,日产原油从220吨提升至415吨。
7月31日,国网新源新疆阜康抽水蓄能电站4号机组正式投入商业运行,标志着新疆首座抽水蓄能电站、我国西北地区首座百万千瓦级大型抽水蓄能电站全面投产发电,将有效助力新疆建设新型电力系统和新型能源体系。
8月1日,中国科学院空天信息创新研究院(以下简称“空天院”)公布消息,国家重大科学技术基础设施——航空遥感系统近日成功在河北省塞罕坝机械林场、御道口牧场等地开展“植被与土壤的水分遥感试验”。
8月1日21时14分,我国在西昌卫星发射中心使用长征三号乙运载火箭,成功将卫星互联网高轨卫星02星发射升空,卫星顺利进入预定轨道,发射任务获得圆满成功。卫星互联网高轨卫星02星由航天科技集团五院抓总研制。
弹跳、腾空、旋转、稳落……巴黎奥运会体操跳马项目是技巧与力量的完美结合。目前,除了体操项目,“时间切片”技术也在巴黎奥运会跳水、乒乓球等项目的赛事转播中得到全面应用。
钟崴提到的“工作”,即宁夏回族自治区银川市选聘“周末工程师”活动。银川市此次选聘的“科技副总”和“周末工程师”,合作企业共93家,涉及新材料、新能源、装备制造等多个产业领域。
暑假期间,各地公共文化机构精心策划、用心准备了别开生面的“科技大餐”,以生动有趣的形式向公众传播科学知识,弘扬科学家精神,助力涵育创新文化。
西湖大学副校长邓力团队在有机小分子催化实验中,实现转化数(TON)1∶100万,即1个催化剂分子,完成100万次催化。据了解,由于这种有机小分子催化物改变了科学界对小分子催化剂和生物酶的传统认知,研究团队将其命名为“小分子酶”。
研究团队认为,刚果和圣佛朗西斯科克拉通(前寒武纪形成的稳定陆块)的碰撞及合并成一处,产生了独特且丰富的水下火山活动。尽管第一次产生的复杂生命未能在全球“遍地开花”,但第二次进化创造了人们今天在地球上看到的动物多样性。
31日,国家中医药管理局召开新闻发布会,介绍《中医药标准化行动计划(2024—2026年)》及中医药标准化工作进展。在中医药国际标准方面,国际标准化组织中医药技术委员会(ISO/TC249)已发布中医药国际标准112项,包括中医术语类、医疗器械类等内容。
智能技术进入快速地发展期,随着ChatGPT、Sora等生成式人工智能模型的突破性进展,人工智能加速渗透到军事领域的各个角落,智能化战争慢慢的变成了未来战争的重要趋势。 碳纤维复合材料既是实现高隐身性能不可或缺的基础性材料,也是衡量武器装备系统先进性的重要标志。
关注官方微信