如何用OpenAI的形式流式访问ChatGLM2-6B？30行代码简单解决！
最近我正在开发基于LangChain的知识库。为了降低tokens的费用，需要完成接口替换。将原来调用OpenAI接口的方式改为使用ChatGLM2-6B接口。这样的改变不仅可以节省成本，还能提高文本输出速度。以下是我们在实践中取得的成果，现在与大家分享！
一、环境配置：
去github上搜索并下载chatglm2-6B库（搜索chatglm2-6B，下载第一个链接的库即可）
启动python openai_api.py
监听端口为8000。
二、代码编写：
1、首先要有一个“openai.api_key”，这里直接输入个test进行测试即可。
2、还要有一个域名，这里设置的是“http://localhost:8000/v1”
3、用chatglm2-6b查询输入的文字
（4、输出总耗时）
总代码如下：
import openai
import time
import json
openai.api_key = 'test'
openai.api_base = "http://localhost:8000/v1"
start_time = time.time()
while True:
query = input("请输入:")
if "end" == query:
break
start_time = time.time()
response = openai.ChatCompletion.create(
model="chatglm2-6b",
messages=[
{"role": "system", "content": ""},
{"role": "user", "content": query}
],
stream = True
)
response_time = time.time()
print(f'请求耗时：{response_time - start_time:.2f} s')
for i in response:
t = time.time()
if "content" in i.choices[0].delta:
msg = i.choices[0].delta.content
print(msg, end='', flush=True)
print(f'\n总耗时： {t - start_time:.2f} s')
print("===结束===")
三、运行此文件即可进行测试，效果如下：
请输入:讲一个笑话
请求耗时：0.00 s
下面是一个简短的笑话:
为什么小鸟站在电线上不会被电到呢?
因为它们不接地啊!
总耗时： 0.67 s
===结束===
以上就是我在配置并使用OpenAI的形式流式访问ChatGLM2-6B的简单方法，希望可以帮到大家。欢迎发私信与我共同讨论更多该领域的知识！