如何应用二进制掩码和STFT生成音频文件？

Question

所以我们的想法是：你可以用短时傅立叶变换（stft）从音频文件中生成频谱图。然后一些人产生了一种叫做“二进制掩模”的东西来从反向stft中产生不同的音频（例如，去除背景噪声等）。在

我的理解是：

stft是一个简单的公式，应用于音频文件，它生成的信息可以很容易地显示在频谱图中。 通过取stft矩阵的逆矩阵，并将其乘以一个相同大小的矩阵（二进制矩阵），您可以创建一个包含信息的新矩阵，以生成带有屏蔽声音的音频文件。在

一旦我做了矩阵乘法，如何创建新的音频文件？

虽然不多，但我的代码如下：

from librosa import load
from librosa.core import stft, istft
y, sample_rate = load('1.wav')
spectrum = stft(y)
back_y = istft(spectrum)

谢谢，这里有一些幻灯片让我走了这么远。如果您能给我一个python示例/演示，我将不胜感激

Answer 1

Librosa的STFT是全功能的，所以除非你非常小心地操作频谱，否则你不会从它的istft中得到合理的输出。在

这里有一对函数，stft和istft，它们代表正向和反向STFT，还有一个helper方法，它提供STFT数组中每个像素的时间和频率位置，还有一个演示：

import numpy as np
import numpy.fft as fft


def stft(x, Nwin, Nfft=None):
    """
    Short-time Fourier transform: convert a 1D vector to a 2D array

    The short-time Fourier transform (STFT) breaks a long vector into disjoint
    chunks (no overlap) and runs an FFT (Fast Fourier Transform) on each chunk.

    The resulting 2D array can 

    Parameters
         
    x : array_like
        Input signal (expected to be real)
    Nwin : int
        Length of each window (chunk of the signal). Should be ≪ `len(x)`.
    Nfft : int, optional
        Zero-pad each chunk to this length before FFT. Should be ≥ `Nwin`,
        (usually with small prime factors, for fastest FFT). Default: `Nwin`.

    Returns
       -
    out : complex ndarray
        `len(x) // Nwin` by `Nfft` complex array representing the STFT of `x`.

    See also
        
    istft : inverse function (convert a STFT array back to a data vector)
    stftbins : time and frequency bins corresponding to `out`
    """
    Nfft = Nfft or Nwin
    Nwindows = x.size // Nwin
    # reshape into array `Nwin` wide, and as tall as possible. This is
    # optimized for C-order (row-major) layouts.
    arr = np.reshape(x[:Nwindows * Nwin], (-1, Nwin))
    stft = fft.rfft(arr, Nfft)
    return stft


def stftbins(x, Nwin, Nfft=None, d=1.0):
    """
    Time and frequency bins corresponding to short-time Fourier transform.

    Call this with the same arguments as `stft`, plus one extra argument: `d`
    sample spacing, to get the time and frequency axes that the output of
    `stft` correspond to.

    Parameters
         
    x : array_like
        same as `stft`
    Nwin : int
        same as `stft`
    Nfft : int, optional
        same as `stft`
    d : float, optional
        Sample spacing of `x` (or 1 / sample frequency), units of seconds.
        Default: 1.0.

    Returns
       -
    t : ndarray
        Array of length `len(x) // Nwin`, in units of seconds, corresponding to
        the first dimension (height) of the output of `stft`.
    f : ndarray
        Array of length `Nfft`, in units of Hertz, corresponding to the second
        dimension (width) of the output of `stft`.
    """
    Nfft = Nfft or Nwin
    Nwindows = x.size // Nwin
    t = np.arange(Nwindows) * (Nwin * d)
    f = fft.rfftfreq(Nfft, d)
    return t, f


def istft(stftArr, Nwin):
    """
    Inverse short-time Fourier transform (ISTFT)

    Given an array representing the output of `stft`, convert it back to the
    original samples.

    Parameters
         
    stftArr : ndarray
        Output of `stft` (or something the same size)
    Nwin : int
        Same input as `stft`: length of each chunk that the STFT was calculated
        over.

    Returns
       -
    y : ndarray
        Data samples corresponding to STFT data.

    See also:
    stft : the forward transform
    """
    arr = fft.irfft(stftArr)[:, :Nwin]
    return np.reshape(arr, -1)


if __name__ == '__main__':
    sampleRate = 100.0  # Hertz
    N = 1024
    Nwin = 64

    # Generate a chirp: start frequency at 5 Hz and going down at 2 Hz/s
    time = np.arange(N) / sampleRate  # seconds
    x = np.cos(2 * np.pi * time * (5 - 2 * 0.5 * time))

    # Test with Nfft bigger than Nwin
    Nfft = Nwin * 2
    s = stft(x, Nwin, Nfft=Nfft)
    y = istft(s, Nwin)

    # Make sure the stft and istft are inverses. Caveat: `x` and `y` won't be
    # the same length if `N/Nwin` isn't integral!
    maxerr = np.max(np.abs(x - y))
    assert (maxerr < np.spacing(1) * 10)

    # Test `stftbins`
    t, f = stftbins(x, Nwin, Nfft=Nfft, d=1 / sampleRate)
    assert (len(t) == s.shape[0])
    assert (len(f) == s.shape[1])

    try:
        import pylab as plt
        plt.imshow(np.abs(s), aspect="auto", extent=[f[0], f[-1], t[-1], t[0]])
        plt.xlabel('frequency (Hertz)')
        plt.ylabel('time (seconds (start of chunk))')
        plt.title('STFT with chirp example')
        plt.show()
    except ModuleNotFoundError:
        pass

这是在gist中，如果你更容易阅读的话。在

整个模块假设只有真实数据，并使用Numpy的rfft函数。当然，您可以将其推广到复杂数据（或使用librosa），但对于您的应用程序（音频屏蔽），使用纯实数转换可以更容易地确保一切正常，并且逆STFT的输出仅为实数（如果您正在执行完全通用的复杂STFT，则很容易将其搞砸，您需要小心保持对称性）。在

演示程序首先生成一些测试数据，并确认数据的istft再次生成数据。测试数据是一个啁啾，从5赫兹开始，以每秒2赫兹的频率下降，因此在大约10秒的数据中，啁啾的频率会在15赫兹左右结束。演示绘制STFT（通过获取STFT数组的绝对值）：

所以

1. 将此代码放入stft.py文件中
2. 将其作为import stft导入
3. 将STFT计算为spectrum = stft.stft(y, 128)
4. {{cd7>中定义为的函数你说
5. 选择要衰减/放大的频率，并在spectrum阵列上应用这些效果
6. 最后通过back_y = stft.istft(spectrum, 128)获得处理过的音频。在

掩蔽/放大/衰减频率内容意味着只需缩放spectrum阵列的一些单元。如果你有具体的问题，请告诉我们。但希望这会给你一个简单的方法来应用任意效果。在

如果您真的想使用librosa的函数，请告诉我们，我们也可以向您展示如何做到这一点。在