得到目标语言的文本信息后,传送给结果确认模块;a4:结果确认模块按照用户的预设的翻译结果确认方式,将目标语言的文本信息以文本的形式显示给用户,或者将得到的目标语言的文本信息通过语音合成模块转换为音频数据后,通过播放软件将音频数据实时播放给用户;翻译模块单独安装在移动设备上,如手机、pad等设备,在普通模式下,基于其所在移动设备的声音采集模块采集目标声源的声信号,然后送入翻译模块进行实时翻译。本实施例中,翻译模块为使用java语言通过androidstudio开发环境开发,作为软件安装在手机中,通过无线方式与语音增强模块进行通信;翻译模块中通过三个子功能模块实现实时翻译流程:读转写模块:实现实时语音转文字功能;实时翻译模块:基于现有的翻译引擎实现实时翻译功能;语音合成模块:实现将文本数据转为音频数据的语音合成功能;读转写模块的实时语音转文字功能通过讯飞开放平台的语音转写技术实现;支持采样率为16k,位长为16bits,格式为pcm_s16le的单声道音频;字符编码为utf-8,响应格式采用统一的json格式;实时语音转写接口的调用过程分为两个阶段,个阶段为握手阶段,第二个阶段为实时通信阶段。握手阶段需要生成signal。平面麦克风阵列实现平面360度等效拾音麦克风越多,语音增强和降噪效果越好用于智能音箱和交互机器人上。重庆移动麦克风阵列
说明是本实用新型实施方式的装置立体分解;本实用新型实施方式的印刷电路板的背面图;本实用新型实施方式的电连接关系;本实用新型实施方式的整体示意;1、包体;2、印刷电路板;3、音频采集装置;4、视频采集装置;5、wifi模块;6、电池;7、便携式平板电脑;8、图像出孔;9、透光挡片;10、夹层布料;11、图像采集装置安装孔;12、声音出孔;13、排线穿孔;14、吸音材料。具体实施方式下面结合和具体实施例对本实用新型的技术方案进行详细说明。以下所述为本实用新型的较佳实施例,并不用以限制本实用新型,凡在本实用新型的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本实用新型的保护范围之内。所举实例只用于解释本实用新型,并非用于限定本实用新型的范围。一种便携式可视化麦克风阵列装置,包括包体,设置在包体内的印刷电路板、音频采集装置、视频采集装置、无线模块和供电装置,以及便携式操作终端;包体的正面设有一图像出孔,视频采集装置安装在印刷电路板上,且其镜头与图像出孔重合,音频采集装置阵列式排布在印刷电路板上,无线模块分别与视频采集装置和音频采集装置电连接。重庆移动麦克风阵列至于麦克风阵列的阵元数量,也就是麦克风数量,可以从2个到上千个不等。
k)在a3×δ1以下时,目标信号在这些视频单元内占据成分较低,则对延迟系数t(l,k)在这个范围内的时频单元中的能量进行舍弃;终设计了一个掩蔽权重矩阵,掩蔽权重b(l,k)的表达式为:其中,掩蔽矩阵b(l,k)的维度与m1、m2的维度相同,式中a1、a2、a3的取值范围是在0~1间的实数;综上,通过本发明技术方案获得的掩蔽矩阵会更好的保留原始信号,并且去除噪声。对于同声传译系统来说,可以更好的提升系统的精度。s5:对增强信号进行傅里叶反变换,然后利用重叠相加法,可以得到增强后的信号此时获得的信号中方向性的竞争语音噪声已经被抑制。本实施例选用dsp作为处理器来实现上述算法。数据传输协议为iis协议,一个采样周期内同时传输左右声道的数据,数据长度为16bit;本实施例的系统采样频率为16khz,每次传输的采样数据为左右声道各256点,dsp实际处理的数据由上次采集数据和本次采集数据拼接而成,音频处理的帧移为16ms,帧长为32ms。一级放大电路包括:放大器u1、电容c5、c6、c7、c8、电阻r5、r10,放大器u1的1脚连接电阻r10的一端,放大器u1的2脚连接电阻r10的另一端后接地,放大器u1的3脚和16脚分别连接电阻r5的两端。
在NumLock键锁定时保持原有等号″=″功能,BackSpace键紧邻3*3数字小键盘以便纠错,原键盘字符键排列顺序保持不变;本技术的目的及其技术方案还可采用以下技术措施进一步实现。该键盘由物理键盘+触摸屏虚拟键盘两部分组成,物理键盘在QWERTYUIOP行中,以″O″,在ZXCVBNM行中以2个″M″和″<,″,使三行字符键右边对齐,实现单键区键盘内涵九宫格键盘,数字小键盘映射到内涵九宫格键区上,BackSpace键左边的等号″=″键不叠加复用,在NumLock键锁定时保持原有等号″=″功能,BackSpace键紧邻3*3数字小键盘以方便纠错,原键盘字符键排列顺序保持不变;内涵九宫格优化键盘以单区键盘实现台式机三区键盘的全部功能,节省出桌面空间给电容触摸屏,触摸屏与电容笔或电磁笔配合实现数理化公式手写输入,并经过手写识别软件将手写公式数字化;该键盘内置麦克风阵列,配合语音识别软件实现远场拾音,并具有降噪功能;该键盘的电容触摸屏上有映射希腊字母、符号、几何符号、逻辑符号、数理化特殊符号的虚拟键盘,通过触摸屏虚拟键盘快速输入数理化特殊符号,提升学生作业数字化的输入效率;该键盘的连接方式可以是有线方式连接,也可以是无线方式连接。线性麦克风阵列的输出是各阵元的加权和优波束方向,可调结构简单、方便布局,适用于车载、家电等场合。
麦克风阵列波束形成,是对各阵元的输出进行时延或相位补偿、幅度加权处理,以形成指向特定方向的波束。在远场模型中,假设输入是一个平面波。设传播方向为θ,时域频率(弧度)为ω,声音在介质中的传播速度为c,对于在一个局部均匀的介质里传播的平面波,定义波束k为k=ωsinθ/c=2sinθ/λ,其中λ是对应于频率ω的波长。由于信号到达不同的传感器的时间不同,则阵列接收到的信号可表示为f(t)=[f(t-τ0)f(t-τ1)…f(t-τN-1)]T=[exp(jω(t-kτ0))exp(jω(t-kτ1))…exp(jω(t-kτN-1))]T其中τn为第n个阵元接收到的信号相对于参考点的时延,N为阵元个数,T表示转置。定义v(k)=[e-jωkτ0e-jωkτ1…e-jωkτN-1]T矢量v包含了阵列的空间特征,称为阵列流行矢量。则f(t)可表示为f(t)=ejωtv(k)。阵列处理器对一个平面波的响应为y(t,k)=HT(ω)v(k)ejωt其中H(ω)是滤波器系数向量的傅里叶变换。符号y(t,k)强调了输出和输入波数k的关系。时域上的相关性体现在输出是一个复指数,和输入平面波有相同的频率。在频域上式可表示为Y(ω,k)=HT(ω)v(k)。注意此处ω对应单一的输入频率,所以是窄带的。阵列的空时处理关系完全可以由上式的右端描述,称为阵列的频率-波数响应函数。音频采集装置为4×12的麦克风阵列,单个麦克风为底部出孔的mems麦克风。重庆移动麦克风阵列
差分麦克风阵列阵列的输出是两两麦克风之间的加权相减波束方向,只能在末端方向适用于耳机通话等场合。重庆移动麦克风阵列
麦克风越多越容易实现更好的降噪和语音增果,所以为了达到同样或者类似的效果,双麦克阵列技术相对多麦克阵列的技术挑战性更高。但因为成本问题,采用双麦克阵列的技术挑战虽然大,但从应用普及的角度上却是大势所趋。另外,从效果上看,如果技术优化足够好,在3~5米的家庭环境中,双麦克阵列虽然可以和多麦克阵列做到几乎一样的降噪和语音增果。但双麦克有个缺点,就是声源定位只能定位180°内的范围,而环形麦克风阵列(不管是4Mic、6Mic还是8Mic)都可以做到360°全角度范围内的定位。所以GoogleHome只能有四个LED灯来显示状态,而AmazonEcho可以用LED灯显示说话人的方向。当然,这个差别对具有声源定位需求的产品存在影响,而且对一些本来就需要靠墙摆放的设备如空调、电视机等是没有任何问题的。而对于类似机器人等摆放在室内的产品,如果希望它能定位说话人位置,那就只能采用多麦克方案了。后,从产品的角度,双麦克方案简单更易落地。多麦克阵列大的问题是,无论线性阵列还是环形阵列,其对产品的外观、结构设计都有极为严苛的要求,因为麦克风是要求必须在空间上均匀分布的。而双麦克显然就不必考虑这些因素。重庆移动麦克风阵列