炬芯周正宇博士出席2022中国IC领袖峰会发表主题演讲

1877年,以爱迪生发明留声机为起点,现代音频产品开始出现,并充满活力,不时地引领时尚风潮;1964年卡带机首次面世,80年代传入中国,和牛仔喇叭裤一起成为80年代中国最时尚icon;1982年,第一台CD机出现,开启音乐数字化先河;2001年,苹果发布第一款iPod。这100多年间,音频产品的发展主要集中在存储介质的进化以及模拟到数字的转变。

在2001年之后,音频产品进入高速发展时期,主要变化聚焦于网络的音频传输,包括近年的智能音箱,无线耳机等以PAN和WAN传输的音频产品。在这期间,苹果通过两款音频产品给行业带来了两次巨变,第一次是iPod引起的MP3浪潮,第二次是Air Pods造就的昨日当红炸子鸡TWS耳机。

这两轮的音频进化都昭示着人类对美好声音的追求是永无止境的,8月17日,南京,炬芯科技股份有限公司董事长兼CEO周正宇博士,受邀出席2022中国IC领袖峰会,结合传统音频行业的发展趋势及炬芯科技的最新产品技术进展,发表主题演讲:让高品质的声音如影随“行”。

传统音频行业的未来发展

对于传统音频行业未来发展方向,周正宇博士认为主要发展趋势可能是以下五个方向。

第一个是无线化,从穿戴式的TWS耳机,再到7.1.4声道的沉浸式无线音频家庭影院都是无线化的标志性应用场景。

第二个是低延迟,由于无线化的需求,必然产生了低延迟的需求和挑战,这个挑战是非常值得探讨的重点。

第三个是高音质,人类对美好声音永无止境的追求可以分成两个维度,一个是采样率的不断提高,从过去CD时代的44.KHz或者48KHz,到现在高清或者Hi-Res的96KHz@24bit或者192K@24bit,再到发烧级别的384KHz@32bit;另一个是高保真度的升级,也就是所谓的THD+N,现在追求到-135dB,接近千万分之一到千万分之二左右的精度,虽然大部分人耳朵不能直接区分,但是仍会有不同的听觉舒适度感受。

第四个趋势是音乐分享和多连接需求也会不断提高。

而最后第五点,以上所有的需求和变化都会持续伴随着便携化和低功耗的强需求,这也是未来音频技术发展的不变法则。

所有趋势中最具有挑战的正是在无线传输条件下如何在满足高音质前提下达成低延迟目标。

炬芯科技的过去、现在、未来

回顾炬芯科技的前身炬力集成,是中国最早的大型芯片设计公司之一,凭借着MP3之王的全球最高市占,于2005年在纳斯达克上市。

作为在行业耕耘20多年的领军人物,周正宇博士带领的炬芯科技于2021年成功在国内科创板上市,并一直深耕音频技术领域。

炬芯科技凭借在音频领域20多年的技术积累和经验,在多个领域做出了骄人成绩。根据TSR统计报告显示,2020年炬芯科技在品牌蓝牙音箱市占位列全球第二;在2018年-2020年期间,炬芯科技TWS耳机芯片复合增长率超过100%;2021年炬芯科技推出了双模蓝牙音频智能手表芯片,并在2022年Q2终端品牌客户量产出货。炬芯科技的智能手表单芯片解决方案不仅满足低功耗长待机和高显示帧率等刚需,同时支持可以手表上接听手机电话,还支持本地音频播放和蓝牙发射,跑步时不用带手机,带着手表和耳机就可以听音乐。

过去炬芯科技的产品主要以低功耗作为核心价值,在低功耗下打造高音质,在典型情况下,基于炬芯科技芯片方案的MP3音乐播放可持续20至30小时,TWS耳机听歌的模式下使用时间达到8至10小时,手表典型使用场景下续航长达10天左右。

今天在继续深耕低功耗的基础上,炬芯科技进而追求无线传输下的高音质音频,并抓住低延迟核心痛点来打造自身产品,基于最新炬芯科技芯片方案的Soundbar音频传输延迟目标低于15毫秒,无线电竞耳机延迟目标低于20毫秒,无线麦克风延迟目标低于10毫秒。

周正宇博士认为:在过去,高品质声音如影随“行”更多体现在便携,实现产品随身携带,让人随时随地享受美好声音;在未来,如影随“行”被赋予新的内涵,在体验无线音频的同时,实现声音和图像的低延迟同步,最终呈现双重维度的如影随“行”。

低延迟高音质为音频领域注入新的活力

周正宇博士指出当下音频应用场景中三个痛点应用场景,进一步强调低延迟下的高音质将给当下音频市场注入新的活力。

第一个应用场景是家庭影院,过去是杜比digital或杜比digital plus 5.1声道,现在是杜比全景深7.1.4声道。在7.1.4声道中,前面有三个喇叭或者使用一个条形音箱(Soundbar),后方有两个,头顶有两个,再加一个低音炮。如果没有预先埋线,低音炮,后方和头顶喇叭需要用明线连接,这将严重影响美观,由此产生了强烈无线连接的需求。无线连接的沉浸式家庭影院对音质和低延迟的要求均很高,需要让画面跟音箱声音之间是低延迟的(20毫秒以内),否则就会感受到音视频不同步。同时七个声道之间相对延迟不能超过100微秒,并需要至少满足五声道的单向无线低延迟传输。这对低延迟下的高音质技术提出了更高的要求。

第二个应用场景是无线电竞耳机,大家熟悉的TWS耳机除了通话和听音乐这两个基本诉求外,第三个诉求就是玩游戏。电竞游戏的快速发展和全球风靡,使得游戏玩家对耳机的延迟要求非常高,如果延迟太长,反应太慢,玩家用户体验和游戏竞赛效果都会受到很大影响。传统游戏耳机为了保证低延迟和高音质,基本都是有线形态;近年来无线化需求不断提升,早期无线电竞耳机主要采用私有协议2.4G,但采用私有协议2.4G除了功耗高以及成本高外,还有一个最大的问题,就是游戏过程中无法同时连接手机,容易错过手机来电,同时音频品质也不够高。因此,蓝牙双模共存无线电竞耳机需求正不断上升。

第三个应用场景就是无线麦克风,短视频直播风口催生了无线麦克风产品,它需要外观小巧便携,并且满足非常低延迟的高品质音频传输要求,以实现音视频同步,还需要支持两发一收或多发一收,当下炬芯科技的低延迟高音质技术芯片,以及炬芯科技的客户基于炬芯科技芯片所开发的低延迟无线麦克风方案已经在全球多个知名品牌中应用。

如何实现蓝牙音频传输的低延迟

周正宇博士指出,蓝牙音频传输延迟来源主要有几个。一是所有硬件本身所带来的音频延迟,比如说ADC、DAC所带来的延迟;二是无线传输本身的发射和接受端带来的延迟;三是为了增强抗干扰使用的重传机制带来的延迟;最重要的是无线音频传输的带宽限制,导致音频一定要做压缩和解压缩,不同的压缩算法会引入压缩和解压缩所带来的延迟;以及实现以上各技术功能需要的缓存机制。

炬芯科技利用20多年音频技术积累作为基础,以及不断的技术经验总结,逐一攻克每一个产生延迟原因的技术关卡,最终凝结出以下音频技术的核心:

1、CPU+DSP双核异构音频处理架构;

2、算法软件和硬件一体化的设计方法;

3、以ADC和DAC为核心的音频信号链,音频ADC可以达到SNR 110dB,DAC可以达到SNR 120dB,延迟目标均低于100微秒。

低延迟高音质技术第一代解决方案

周正宇博士表示,炬芯科技基于自身的核心技术,抓住蓝牙5.3 LE Audio的技术特点和新机遇,针对三个痛点应用场景,分别推出了相应的第一代解决方案,也是基于最新蓝牙标准范围内的技术创新。

首先是ATS2835PL低延迟5.1声道高音质家庭影院解决方案,采用蓝牙5.3 LE Audio与经典蓝牙共存的模式,基于LC3+编码的延迟可以低至15毫秒以下。相对2.4G私有协议功耗更低,并且音质更高。它可以跟经典蓝牙共存,可支持五个声道,家庭影院中的低音炮以及背后的两个喇叭都可通过无线连接,通过蓝牙LE Audio 实现低延迟高音质的无线音频体验。

再者是ATS2831PL低延迟高音质无线电竞耳机方案,端到端的延迟小于20毫秒,相比经典蓝牙大幅降低。同时和PC/游戏主机/手机全面兼容,支持LE audio和经典蓝牙共存,如果用户戴着电竞耳机时电话进来,可以把游戏暂停接电话,电话接完之后,可以再恢复到游戏,而不需要中断游戏去用另外一个耳机接听电话。同时它支持双向48KHz高清语音传输,可以在单向的音乐和游戏音效外,同时满足不同游戏玩家之间进行高音质语音对话的需求。

最后也就是低延迟高音质无线麦克风解决方案,无线麦克风是炬芯科技当下把延迟做到极致的一个产品,延迟可以做到10毫秒以内,集低延迟传输,高品质音频编解码和AI降噪于一体,支持LC3+编解码,支持两发一收,全链路48KHz高清语音传输。目前炬芯科技的芯片已经在Rode、科大讯飞、猛犸、绿联等多家知名品牌的无线麦克风产品中应用。

炬芯科技低延迟高音质技术的三级跳

为打造低延迟下的高音质,周正宇博士提出三级跳计划,首先是在蓝牙标准允许的范围内,以LE Audio 最新标准为契机将延迟做到10毫秒以内。再是在类似蓝牙音频的大框架之下,全面创新自己的私有协议,来把低延迟高音质拉到再上一个台阶—5毫秒以内。最后引入更高带宽的新型无线传输技术来打造低延迟高音质—延迟低于2毫秒。

1、蓝牙5.3,LE Audio

根据蓝牙SIG公布的最新标准LE Audio,也就是蓝牙5.3,相较于经典蓝牙它在协议层提供了更多实现低延迟的武器。

如效率更高的编码帧传输机制、可预测的包接收时间,更低延迟的编解码LC3和LC3 plus技术等。这些新的技术变革已经迅速的应用于炬芯科技的产品,把过去经典蓝牙25毫秒以上的延迟目标打造到10毫秒以下。

2、提升2.4G和5.8G私有协议

在2.4G和5.8G私有协议下追求更高的音质和更低的延迟,首先通过进一步增加无线传输的带宽,再通过研发自有的更低延迟的和传输高带宽匹配的音频编解码技术,引入前向纠错的技术,对错误的数据进行纠正,整体系统化减少重传,甚至不重传,再加上输入/输出硬件的延迟优化,从而实现延迟目标到5毫秒以下。

3、UWB超带宽技术或类UWB技术

通过UWB超带宽技术或类UWB技术,不对数据进行压缩,从而不用编解码,或者使用无损压缩技术,SNR可以达到最优,延迟也会最低,相较于窄带宽具有更好的抗干扰性,不需要重传或者少重传,实现音频的高音质超低延迟传输,打造2毫秒以下的极致延迟目标。

周正宇博士最后总结道:回到人类对音频体验的追求,希望炬芯科技以低延迟高音质技术给音频领域注入更多新的活力,真正实现让高品质的声音如影随“行”。