基于OpenHarmony音符檢測(cè)實(shí)現(xiàn)原理

一、音符檢測(cè)的基本原理

本文基于 OpenHarmony 開源系統(tǒng)提供了一種音符檢測(cè)的原理方法，結(jié)合多首音樂，運(yùn)用了 python 和 C++ 兩種編程環(huán)境實(shí)現(xiàn)了預(yù)期的檢出效果。旨在為振動(dòng)馬達(dá)(vibrator)提供音樂節(jié)奏感的觸覺效果，代碼所在目錄 .basesensorssensorvibration_convert。
先從 python 實(shí)現(xiàn)說起，Librosa 關(guān)于音符檢測(cè)主要用到了兩個(gè)函數(shù)，一個(gè)是 onset_strength(),負(fù)責(zé)生成包含音符產(chǎn)生的頻率突變的包絡(luò)線，如藍(lán)色線條所示。另一個(gè)是 onset_detect()，主要運(yùn)用峰點(diǎn)檢測(cè)找到每個(gè)音符的位置，如黃色線條所示。

圖 1 音符檢測(cè)包絡(luò)圖
包含有用的頻率突變的包絡(luò)線是音符檢測(cè)的核心所在。傅里葉變換能夠得到全部信號(hào)采樣的頻譜圖，即每個(gè)頻率的能量貢獻(xiàn)，如圖 2 所示。但是每個(gè)時(shí)刻頻譜圖卻得不到，于是將全部采樣分割成若干固定長(zhǎng)度的窗口，每個(gè)窗口應(yīng)用傅里葉變化，從而得到這一窗口的頻率分布，水平軸為時(shí)間，縱軸為頻率，顏色代表能量大小如圖 3 所示。

圖 2 整體頻率分布圖

圖 3 時(shí)頻圖

每種樂器在音符產(chǎn)生時(shí)，前后時(shí)間片段的頻率將會(huì)發(fā)生明顯變化，如圖 4 所示。于是將時(shí)頻圖相鄰列做差分，將明顯看到變化的頻率。為了便于分析，只取正值，具有相同的效果，所以負(fù)值填零。一個(gè)時(shí)刻變化的頻率有多個(gè)，如何取舍，有三種方法，平均數(shù)、中位數(shù)和聯(lián)合，目前常用到的是中位數(shù)和平均數(shù)。至此，將得到任意時(shí)刻發(fā)生明顯頻率變化的單一能量，如圖 1 藍(lán)色線條所示。

圖 4 時(shí)頻圖相鄰列差分前后變化

二、音符檢測(cè)的準(zhǔn)確性

目前采用頻譜光通量（相鄰列差分）方法檢測(cè)是業(yè)界公認(rèn)且較為準(zhǔn)確的方法，音符檢出率僅為 70% 多。不準(zhǔn)確的原因可能有樂器多且差異較大，信號(hào)衰減對(duì)性能的影響，顫音影響，峰點(diǎn)檢測(cè)時(shí)不同參數(shù)的影響，這些主要是針對(duì)音樂的研究。

三、音符檢測(cè)的程序流程

3.1 程序?qū)崿F(xiàn)

音符檢測(cè)功能核心就是頻譜圖和梅爾濾波器，頻譜圖的核心就是短時(shí)傅里葉變換，C++ 代碼片段如下,參考鏈接 https://github.com/kooBH/STFT/blob/main/cpp/STFT.h

void STFT::stft(short*in,int length,double**out){ int i,j; /*** Shfit & Copy***/ for (j = 0; j < channels; j++) { for (i = 0; i < ol; i++) { buf[j][i] = buf[j][i + shift_size]; } } // EOF if(length!=shift_size*channels){ length = length/channels; for (i = 0; i < length; i++) { for (j = 0; j < channels; j++) buf[j][i + ol] = (double)(in[i * channels+ j]); } for (i = length; i < shift_size; i++) { for (j = 0; j < channels; j++) buf[j][i + ol] = 0; } //continue }else{ for (i = 0; i < shift_size; i++) { for (j = 0; j < channels; j++){ buf[j][i + ol] = (double)(in[i * channels+ j]); } } } /*** Copy input -?> hann_input buffer ***/ for (i = 0; i < channels; i++) memcpy(out[i], buf[i], sizeof(double) * frame_size); // scaling for precision if(opt_scale) for (i = 0; i < channels; i++) for (j = 0; j < frame_size; j++) out[i][j] /= MATLAB_scale; /*** Window ***/ hw-?>Process(out, channels); /*** FFT ***/ fft->FFT(out); } void STFT::stft(short*in,int length,double**out){ int i,j; /*** Shfit & Copy***/ for (j = 0; j < channels; j++) { for (i = 0; i < ol; i++) { buf[j][i] = buf[j][i + shift_size]; } } // EOF if(length!=shift_size*channels){ length = length/channels; for (i = 0; i < length; i++) { for (j = 0; j < channels; j++) buf[j][i + ol] = (double)(in[i * channels+ j]); } for (i = length; i < shift_size; i++) { for (j = 0; j < channels; j++) buf[j][i + ol] = 0; } //continue }else{ for (i = 0; i < shift_size; i++) { for (j = 0; j < channels; j++){ buf[j][i + ol] = (double)(in[i * channels+ j]); } } } /*** Copy input -?> hann_input buffer ***/ for (i = 0; i < channels; i++) memcpy(out[i], buf[i], sizeof(double) * frame_size); // scaling for precision if(opt_scale) for (i = 0; i < channels; i++) for (j = 0; j < frame_size; j++) out[i][j] /= MATLAB_scale; /*** Window ***/ hw-?>Process(out, channels); /*** FFT ***/ fft->FFT(out); }

Mel 濾波器構(gòu)造代碼如下：

if fmax is None: fmax = float(sr) / 2 # Initialize the weights n_mels = int(n_mels) weights = np.zeros((n_mels, int(1 + n_fft // 2)), dtype=dtype) # Center freqs of each FFT bin fftfreqs = fft_frequencies(sr=sr, n_fft=n_fft) # 'Center freqs' of mel bands - uniformly spaced between limits mel_f = mel_frequencies(n_mels + 2, fmin=fmin, fmax=fmax, htk=htk) fdiff = np.diff(mel_f) ramps = np.subtract.outer(mel_f, fftfreqs) for i in range(n_mels): # lower and upper slopes for all bins lower = -ramps[i] / fdiff[i] upper = ramps[i + 2] / fdiff[i + 1] # .. then intersect them with each other and zero weights[i] = np.maximum(0, np.minimum(lower, upper)) if norm == "slaney": # Slaney-style mel is scaled to be approx constant energy per channel enorm = 2.0 / (mel_f[2 : n_mels + 2] - mel_f[:n_mels]) weights *= enorm[:, np.newaxis] else: weights = util.normalize(weights, norm=norm, axis=-1) # Only check weights if f_mel[0] is positive if not np.all((mel_f[:-2] == 0) | (weights.max(axis=1) > 0)): # This means we have an empty channel somewhere warnings.warn( "Empty filters detected in mel frequency basis. " "Some channels will produce empty responses. " "Try increasing your sampling rate (and fmax) or " "reducing n_mels.", stacklevel=2, ) return weights

3.2 功能流程圖

為了能讓大家更好的學(xué)習(xí)鴻蒙 (OpenHarmony) 開發(fā)技術(shù)，這邊特意整理了《鴻蒙 (OpenHarmony)開發(fā)學(xué)習(xí)手冊(cè)》，希望對(duì)大家有所幫助：

《鴻蒙（Harmony OS）開發(fā)學(xué)習(xí)手冊(cè)》

入門必看：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.應(yīng)用開發(fā)導(dǎo)讀（ArKTS）
2.……

HarmonyOS概念：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.系統(tǒng)定義
2.技術(shù)框架
3.技術(shù)特性
4.系統(tǒng)安全

快速入門：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.基本概念
2.構(gòu)建第一個(gè)ArkTS應(yīng)用
3.……

開發(fā)基礎(chǔ)知識(shí)：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.應(yīng)用基礎(chǔ)知識(shí)
2.配置文件
3.應(yīng)用數(shù)據(jù)管理
4.應(yīng)用安全管理
5.應(yīng)用隱私保護(hù)
6.三方應(yīng)用調(diào)用管控機(jī)制
7.資源分類與訪問
8.學(xué)習(xí)ArkTS
9…

基于ArkTS 開發(fā)：https://docs.qq.com/doc/DUk51cHZJaUpmSlhH
1.Ability開發(fā)
2.UI開發(fā)
3.公共事件與通知
4.窗口管理
5.媒體
6.安全
7.網(wǎng)絡(luò)與鏈接
8.電話服務(wù)
9.數(shù)據(jù)管理
10.后臺(tái)任務(wù)(Background Task)管理
11.設(shè)備管理
12.設(shè)備使用信息統(tǒng)計(jì)
13.DFX
14.國(guó)際化開發(fā)
15.折疊屏系列
16………

審核編輯 黃宇