©2020-2024 ioDraw All rights reserved,
Privacy Policy
我们知道Openai的聊天机器人可以回答用户提出的绝大多数问题,它几乎无所不知，无所不能，但是由于有机器人所学习到的是截止到2021年9月以前的知识，所以当用户询问机器人关于2021年9月以后发送的事情时，它无法给出正确的答案，另外用户向机器人提问的字符串(prompt)长度被限制在4096个token(token可以看作是一种词语单位)。如果用户的prompt的长度超过4096个token时，机器人通常会抛出一个“异常”提示信息：
我们想要做的是让像openai聊天机器人这样的大型语言模型(LLMs)学习特定领域内的知识，这些特定的领域的知识可能是几本电子书，几十个文本文件，或者是关系型数据库,我们想要LLMs模型学习用户给定的数据，并且只回答给定数据范围内的相关问题,如果问题超出范围,一律告知用户问题超出范围无法回答,也就是我们要限制LLMs模型自由发挥，不能让它随便乱说。能否执行这样的功能呢？
LangChain
LangChain 是一种LLMs接口框架，它允许用户围绕大型语言模型快速构建应用程序和管道。 它直接与 OpenAI 的 GPT-3 和 GPT-3.5 模型以及 Hugging Face 的开源替代品（如 Google 的 flan-t5 模型）集成。
LangChain可用于聊天机器人、生成式问答(GQA)、本文摘要等。
LangChain的核心思想是我们可以将不同的组件“链接”在一起，以围绕 LLM 创建更高级的用例。 链(chain)可能由来自多个模块的多个组件组成。
今天我们要实现的功能是，让LLMs模型(如openai的聊天机器人)学习我提供的3个文本文件中的内容，并根据这些文件中的内容来回答相关问题，当问题超出范围时一律给出提示，并且机器人不会有任何自由发挥的空间。而我们提供的3个文本文件都是百度百科中拷贝下来的2022年发生的国内外时事新闻：
* 2022年卡塔尔世界杯。
* 日本请首相安倍晋三遇刺案。
* 埃隆·马斯克收购推特案。
为此我们从百度百科中将上述三个2022年的时事新闻网页中的内容拷贝出来，分别存储为三个文本文件：
* 2022世界杯.txt
* 埃隆·马斯克收购推特案.txt
* 安倍晋三遇刺案.txt
由于我们从百度百科上下载的这3篇时事新闻均发生在2022年,而ChatGPT只学习到了截止2021年9月之前的知识，因此它将无法准确回答关于这3个时事新闻的以外的其他问题。并且这些时事新闻都有较大的篇幅，且长度均超过了4096个token的长度，这正好被用来测试ChatGPT对特定数据的学习能力以及回答相关问题的能力。
这里我们会用到一种称为文本嵌入(Embeddings)的技术：
安装依赖包
我们需要安装如下依赖包：
pip install langchain pip install openai pip install chromadb pip install
jieba pip install unstructured
导入依赖包
import os from langchain.embeddings.openai import OpenAIEmbeddings from
langchain.vectorstores import Chroma from langchain.text_splitter import
TokenTextSplitter from langchain.llms import OpenAI from langchain.chains
import ChatVectorDBChain from langchain.document_loaders import DirectoryLoader
import jieba as jb
文档预处理
由于中文的语法的特殊性，对于中文的文档必须要做一些预处理工作：词语的拆分，也就是要把中文的语句拆分成一个个基本的词语单位，这里我们会用的一个分词工具：jieba，它会帮助我们对资料库中的所有文本文件进行分词处理。不过我们首先将这3个时事新闻的文本文件放置到Data文件夹下面，然后在data文件夹下面再建一个子文件夹:cut,
用来存放被分词过的文档：
files=['2022世界杯.txt','埃隆·马斯克收购推特案.txt','安倍晋三遇刺案.txt'] for file in files:
#读取data文件夹中的中文文档 my_file=f"./data/{file}" with
open(my_file,"r",encoding='utf-8') as f: data = f.read() #对中文文档进行分词处理 cut_data
= " ".join([w for w in list(jb.cut(data))]) #分词处理后的文档保存到data文件夹中的cut子文件夹中
cut_file=f"./data/cut/cut_{file}" with open(cut_file, 'w') as f:
f.write(cut_data) f.close()
文本嵌入(Embeddings)
接下来我们要按照LangChain的流程来处理这些经过中文分词处理的数据，首先是加载文档,然后要对文档进行切块处理，切块处理完成以后需要调用openai的Embeddings方法进行文本嵌入操作和向量化操作，最后我们需要创建一个聊天机器人的chain,
这个chain可以加载openai的各种语言模型，这里我们加载gpt-3.5-turbo模型。
#加载文档 loader = DirectoryLoader('./data/cut',glob='**/*.txt') docs =
loader.load() #文档切块 text_splitter = TokenTextSplitter(chunk_size=1000,
chunk_overlap=0) doc_texts = text_splitter.split_documents(docs) #调用openai
Embeddings os.environ["OPENAI_API_KEY"] = "your-openai_api_key" embeddings =
OpenAIEmbeddings(openai_api_key=os.environ["OPENAI_API_KEY"]) #向量化 vectordb =
Chroma.from_documents(doc_texts, embeddings, persist_directory="./data/cut")
vectordb.persist() #创建聊天机器人对象chain chain =
ChatVectorDBChain.from_llm(OpenAI(temperature=0, model_name="gpt-3.5-turbo"),
vectordb, return_source_documents=True)
创建聊天函数
接下来我们要创建一个聊天函数，用来让机器人回答用户提出的问题，这里我们让机器人每次只针对当前问题进行回答，并没有将历史聊天记录保存起来一起喂给机器人。
def get_answer(question): chat_history = [] result = chain({"question":
question, "chat_history": chat_history}); return result["answer"]
下面是我和机器人之间就2022年3个时事新闻进行针对性聊天的内容：
总结
今天我们用LangChain对接了大型语言模型(LLMs),
并让LMMs可以针对性的学习用户给定的特定数据，这些数据可以是文本文件，数据库，知识库等结构化或者非结构化的数据。当用户询问的问题超出范围时，机器人不会给出任何答案，只会给出相关的提示信息显示用户的问题超出了范围，这样可以有效限制机器人自由发挥，使机器人不能让它随便乱说。