作者：戴安娜DianaKok | 来源：互联网 | 2023-09-18 18:59
作为一个正经八百的技术男，绞尽脑汁想把文章写得轻松有趣一些，但把文章转给朋友，直接回复我“典型初中教材”。技术男表示很受打击，为了改变码农形象，我冥思苦想了十分钟，最后的最后，我终于决定：不做改变！能坚持读完这篇文章的，都是懂我之人！那么让我们一起来学习初中教材吧。从语音到自然语言处理的整个流程中，最基本的一步是要得到语音数据，有了语音数据我们就可以转换为文字，然后做各种应用，诸如机器翻译、问答系统等。如果你能够实现一个简易的系统，例如让机器直接和人对话，或者让机器识别人的指令进行一系列的操作，是不是挺酷的一件事？这一篇我们就来看看当人对计算机说话的时候，计算机怎么获取语音数据，以及这中间常见的几种问题。Python是当前机器学习和数据处理最常用的语言，我们选用基于python的PyAudio库来实现。PyAudio底层是基于一个跨平台的音频IO库PortAudio，使用PyAudio可以在常见的Linux、Windows和Mac平台录音和播放音频。此次我们以Mac平台为例描述主要的步骤，除安装之外，各种平台没有区别。
Windows和Linux平台使用各自平台的安装方式安装PortAudio，然后使用pip安装PyAudio。关于创建python虚拟环境和如何使用pip等本文不做介绍。
获取数据分为两种方式：阻塞模式和非阻塞模式。以下分别描述。PyAudio从声卡得到数据后放入一个host buffer(host buffer大小自行设定)，我们以自行指定的数据块大小从host buffer中读取，每次读取时阻塞直到这个指定大小的数据块读取完成。以下代码使用阻塞模式录音20秒，存入名为output.wav的文件。
import pyaudio
import wave
CHUNK = 512
FORMAT = pyaudio.paInt16
CHANNELS = 2
RATE = 48000
BUFFER_SIZE = 1024
RECORD_SECOnDS= 20
WAVE_OUTPUT_FILENAME = "output.wav"
p = pyaudio.PyAudio()
stream = p.open(format=FORMAT,
channels=CHANNELS,
rate=RATE,
input=True,
frames_per_buffer=BUFFER_SIZE)
frames = []
for i in range(0, int(RATE / CHUNK * RECORD_SECONDS)):
data = stream.read(CHUNK)
frames.append(data)
stream.stop_stream()
stream.close()
p.terminate()
wf = wave.open(WAVE_OUTPUT_FILENAME, 'wb')
wf.setnchannels(CHANNELS)
wf.setsampwidth(p.get_sample_size(FORMAT))
wf.setframerate(RATE)
wf.writeframes(b''.join(frames))
wf.close()
其中 input=True表示录数据，如果是output=True则表示播放数据。BUFFER_SIZE=1024 表示host buffer存1024个数值，CHUNK=512 表示每次读取512个数，CHANNELS=2 表示声卡是两通道的，RATE=48000表示声卡以每秒48k的频率采样数据。录音20秒，需要读取数据的次数为(48000/512)*20次。然后把所有数据存入wav文件，播放wav文件听听就是刚才录音的内容。
上面的阻塞模式，如果从host buffer读取并处理数据的速度比实时往host buffer填入数据的速度慢，比如读取数据后做一些数据操作，那么就会存在数据丢帧现象。一个解决的办法就是通过非阻塞模式读取。使用非阻塞模式，PyAudio使用一个单独的线程调用自定义的callback函数，callback里获取到及时数据不用阻塞等待，进而可以进行及时操作。下面是实现同样功能录音20秒的例子。import pyaudio
import wave
import time
frames = []
CHUNK = 512
FORMAT = pyaudio.paInt16
CHANNELS = 2
RATE = 48000
RECORD_SECOnDS= 20
WAVE_OUTPUT_FILENAME = "output.wav"
def callback(in_data, frame_count, time_info, status):
frames.append(in_data)
return (None, pyaudio.paContinue)
p = pyaudio.PyAudio()
stream = p.open(format=FORMAT,
channels=CHANNELS,
rate=RATE,
input=True,
frames_per_buffer=CHUNK,
stream_callback=callback)
stream.start_stream()
time.sleep(RECORD_SECONDS)
stream.stop_stream()
stream.close()
p.terminate()
wf = wave.open(WAVE_OUTPUT_FILENAME, 'wb')
wf.setnchannels(CHANNELS)
wf.setsampwidth(p.get_sample_size(FORMAT))
wf.setframerate(RATE)
wf.writeframes(b''.join(frames))
wf.close()
p.open()函数里和阻塞方式有两个区别, frames_per_buffer=CHUNK表示每次往callback里发送CHUNK大小的数据，stream_callback=callback设置要调用的callback方法名。callback()里in_data就是每次得到的数据，我们把它存在frames list中。stream.start_stream()启动stream，然后sleep 20秒，此时PyAudio一直在调用callback()发送数据。最后我们把frames list里的数据存进wav文件。
上述两种获取语音的方式很直观，大家一看就知道怎么用了，但是在实际应用中会遇到各种问题，介绍这些问题和对应的解决方法才是我想讲的重点，下面列举就我所遇到过的问题。OSError: [Errno -9981] Input overflowed有多种原因会导致这个错误，最常见的原因是读取并处理数据的速度慢于实时语音产生的速度，host buffer撑满了。
避免错误让程序继续执行的一个办法是读取数据时增加一个参数：
data = stream.read(CHUNK, exception_on_overflow=False)意思是如果有overflowed错误不报告，实际是忽略了错误，没有真正解决问题，会丢掉一些帧。
真正解决方法是增大host buffer参数frames_per_buffer的值,这种方法只适用于之后读取和处理数据速度能追上产生数据的速度，host buffer设置大一点作为缓冲，否则的话buffer再大也会撑满，只能用callback模式。
如果处理数据的速度一直都慢，赶不上产生数据的速度，就算用callback也会丢掉一些帧。此时可以在callback的基础上获得所有数据，存入自定义的存储比如队列或者文件等，再另行处理。
其中一个原因是open()中的参数和声卡真实参数不匹配，比如声卡通道数，声卡采样率。下面是我的电脑声卡默然参数，通道数2，采样率48k。如果脚本中参数设置不对，采集到的数据不正确或者脚本会报错。
比如你的声卡最低采样率为44.1k，但是你的应用需要24k的数据，没法直接采集到24k的数据。这时可以把声卡采样率设置为48k，然后每两个采样数据取一个，或者用其他降采样的方法转换，比如scipy.signal.resample等，要根据实际情况测试降采样的方法是否可行。多通道获得的数据是交织在一起的，比如2通道声卡，需要隔一个数据取一个才是其中一个通道的数据。本文主要关注数据获取，是stream流中的input stream。如果要播放音频，用同样的方法处理output stream即可，也可以同时处理，不加累述。希望阅读本文后你对如何让电脑获取音频数据有了一个全面的了解。
京公网安备 11010802041100号