問題重現

在調用 ChatGPT API 并使用流式輸出時，我們經常會遇到網絡問題導致的超時情況。有趣的是，筆者發現在本地調試遇到的超時，會在 10 分鐘后自動恢復（為什么是 10 分鐘？我們留到后面解釋），但是在服務器上等待一會兒卻會失敗，報出超時異常（錯誤代碼 502）。

筆者認為，本地能恢復的原因可能是自動重試，只是重試的時間有點久（ChatGPT API 沒有重試功能，這是項目加入的）。服務器返回「502」是因為內容從后臺返回到前端需要經過網關層，而網關層超時校驗的時間比自動重試的時間（10 分鐘）更短，所以撐不到重試就會報超時異常。

基于以上場景，本文著手解決 ChatGPT API 調用超時問題。

優化訴求

不向用戶展示超時的報錯信息。

縮短超時后重試的時間間隔。

解決思路

筆者考慮了兩種方案。

一是徹底解決網絡問題，但難度有點大。這屬于 OpenAI 服務器問題，即使是部署在國外的服務器也會出現超時的情況。

二是利用自動重試解決問題。通過調整超時的時間，提升響應速度，方案可行。

實施解決方案

解決過程中，筆者分兩步由淺至深地調整了超時時間；如果想直接了解最終方案，請移步「解決方案二」~

運行環境：

Python: 3.10.7

openai: 0.27.6

調用方法：?

openai.api_resources.chat_completion.ChatCompletion.acreate

（ 這是異步調用 ChatGPT 的方法。）

方法調用鏈路：

超時參數 ClientTimeout，一共有 4 個屬性 total、connect、sock_read 和 sock_connect。

#?方法?->?超時相關參數
openai.api_resources.chat_completion.ChatCompletion.acreate?->?kwargs
openai.api_resources.abstract.engine_api_resource.EngineAPIResource.acreate?->?params
openai.api_requestor.APIRequestor.arequest?->?request_timeout
#?request_timeout?在這一步變成了?timeout，因此，只需要傳參?request_timeout?即可
openai.api_requestor.APIRequestor.arequest_raw?->?request_timeout
aiohttp.client.ClientSession.request?->?kwargs
aiohttp.client.ClientSession._request?->?timeout
????tm?=?TimeoutHandle(self._loop,?real_timeout.total)?->?ClientTimeout.total
????async?with?ceil_timeout(real_timeout.connect):?->?ClientTimeout.connect
#?子分支1
aiohttp.connector.BaseConnector.connect?->?timeout
aiohttp.connector.TCPConnector._create_connection?->?timeout
aiohttp.connector.TCPConnector._create_direct_connection?->?timeout
aiohttp.connector.TCPConnector._wrap_create_connection?->?timeout
????async?with?ceil_timeout(timeout.sock_connect):?->?ClientTimeout.sock_connect
#?子分支2
aiohttp.client_reqrep.ClientRequest.send?->?timeout
aiohttp.client_proto.ResponseHandler.set_response_params?->?read_timeout
aiohttp.client_proto.ResponseHandler._reschedule_timeout?->?self._read_timeout
????if?timeout:
????self._read_timeout_handle?=?self._loop.call_later(
????????timeout,?self._on_read_timeout
????)?->?ClientTimeout.sock_read

解決方案一

openai.api_requestor.APIRequestor.arequest_raw?方法中的?request_timeout?參數可以傳遞 connect 和 total?參數，因此可以在調用openai.api_resources.chat_completion.ChatCompletion.acreate時，設置 request_time(10, 300)。

#
async?def?arequest_raw(
????self,
????method,
????url,
????session,
????*,
????params=None,
????supplied_headers:?Optional[Dict[str,?str]]?=?None,
????files=None,
????request_id:?Optional[str]?=?None,
????request_timeout:?Optional[Union[float,?Tuple[float,?float]]]?=?None,
)?->?aiohttp.ClientResponse:
????abs_url,?headers,?data?=?self._prepare_request_raw(
????????url,?supplied_headers,?method,?params,?files,?request_id
????)
????
????if?isinstance(request_timeout,?tuple):
????????timeout?=?aiohttp.ClientTimeout(
????????????connect=request_timeout[0],
????????????total=request_timeout[1],
????????)else:
????????????timeout?=?aiohttp.ClientTimeout(
????????????????total=request_timeout?if?request_timeout?else?TIMEOUT_SECS
????????????)
????...

該方案有效，但沒有完全生效：它可以控制連接時間和請求的全部時間，但沒有徹底解決超時異常，因為「請求連接時間」和「第一個字符讀取時間」是兩碼事。「請求連接時間」基于 total 時間重試（300s），而網關時間并沒有設置這么久。

于是，筆者繼續提出「解決方案二」。

解決方案二

使用 monkey_patch?方式重寫openai.api_requestor.APIRequestor.arequest_raw?方法，重點在于重寫 request_timeout 參數，讓其支持原生的 aiohttp.client.ClientTimeout 參數。

1. 新建 api_requestor_mp.py 文件，并寫入以下代碼。

#?注意?request_timeout?參數已經換了，Optional[Union[float,?Tuple[float,?float]]]?->?Optional[Union[float,?tuple]]
async?def?arequest_raw(
????????self,
????????method,
????????url,
????????session,
????????*,
????????params=None,
????????supplied_headers:?Optional[Dict[str,?str]]?=?None,
????????files=None,
????????request_id:?Optional[str]?=?None,
????????request_timeout:?Optional[Union[float,?tuple]]?=?None,
)?->?aiohttp.ClientResponse:
????abs_url,?headers,?data?=?self._prepare_request_raw(
????????url,?supplied_headers,?method,?params,?files,?request_id
????)
????#?判斷?request_timeout?的類型，按需設置?sock_read?和?sock_connect?屬性
????if?isinstance(request_timeout,?tuple):
????????timeout?=?aiohttp.ClientTimeout(
????????????connect=request_timeout[0],
????????????total=request_timeout[1],
????????????sock_read=None?if?len(request_timeout)?

	2. 在初始化 ChatGPT API 的文件頭部補充：
from?*.*.api_requestor_mp?import?monkey_patch

do_api_requestor?=?monkey_patch


	設置參數 request_timeout=(10, 300, 15, 10)?后，再調試就沒什么問題了。

	交付測試，通過。

	經驗總結

	直接看代碼、看方法調用鏈路會有點困難，可以通過異常堆棧來找調用鏈路，這樣更方便。

	ChatGPT API 暴露的?request_timeout?參數不夠用，需要重寫；搜索了一下重寫方案，了解到 monkey_patch，非常實用。

	項目過程中，筆者發現改代碼本身不難，難的是知道「改哪里」「怎么改」以及「為什么」。

	審核編輯：黃飛

	?