Introduction of OpenAI FM

音频与语音

探索 OpenAI API 中的音频和语音功能。

复制页面

OpenAI API 提供了一系列音频功能。如果您已经知道要构建的内容，可以在下方找到相应的使用案例开始开发。如果您不确定从哪里开始，可以阅读本页面的概述。

音频使用案例概览

LLM（大语言模型）可以通过声音输入处理音频，生成声音输出，或两者兼具。OpenAI 提供多个 API 端点，帮助您构建音频应用程序或语音代理。

语音代理

语音代理可以理解音频，以处理任务并以自然语言响应。有两种主要方式实现语音代理：使用语音到语音模型和 Realtime API，或者通过组合语音到文本模型、文本语言模型（用于处理请求）以及文本到语音模型来实现。语音到语音方法延迟更低，更加自然，而组合多个模型的方法则是将文本代理扩展为语音代理的可靠方式。

流式音频

实时处理音频，以构建语音代理和其他低延迟应用程序，包括转录功能。您可以使用 Realtime API 在模型内外进行音频流式传输。我们的高级语音模型提供自动语音识别功能，以提高准确性、降低延迟，并支持多语言交互。

文本转语音

要将文本转换为语音，可以使用 Audio API audio/speech 端点。与该端点兼容的模型包括 gpt-4o-mini-tts、tts-1 和 tts-1-hd。使用 gpt-4o-mini-tts，您可以让模型以特定方式或特定语调进行发声。

语音转文本

要将语音转换为文本，可以使用 Audio API audio/transcriptions 端点。与该端点兼容的模型包括 gpt-4o-transcribe、gpt-4o-mini-transcribe 和 whisper-1。通过流式传输，您可以持续输入音频，并获得连续的文本输出。

OpenAI API 提供强大的音频和语音功能，使开发者能够将 AI 工具 集成到各种应用中。AI 模型 可处理和生成音频，实现语音代理、实时流式传输、文本转语音和语音转文本等功能。

语音代理 可通过语音到语音的 AI 模型 构建，或结合多个 AI 工具（如语音识别和语言处理）来实现。Realtime API 支持流式音频传输，确保低延迟交互。此外，gpt-4o-mini-tts 和 whisper-1 等 AI 模型可增强语音合成和转录功能，使 AI 驱动的音频应用更自然高效。