ConversationSummaryBufferMemory
ConversationSummaryBufferMemory
结合了前两个想法。它在内存中保留了最近的交互缓冲区,但不仅仅是完全清除旧的交互,而是将它们编译成摘要并同时使用。与先前的实现不同的是,它使用令牌长度而不是交互次数来确定何时清除交互。
让我们首先了解如何使用这些工具
from langchain.memory import ConversationSummaryBufferMemory
from langchain.llms import OpenAI
llm = OpenAI()
API 参考:
- ConversationSummaryBufferMemory 来自
langchain.memory
- OpenAI 来自
langchain.llms
memory = ConversationSummaryBufferMemory(llm=llm, max_token_limit=10)
memory.save_context({"input": "hi"}, {"output": "whats up"})
memory.save_context({"input": "not much you"}, {"output": "not much"})
memory.load_memory_variables({})
{'history': 'System: \nThe human says "hi", and the AI responds with "whats up".\nHuman: not much you\nAI: not much'}
我们还可以将历史记录作为消息列表获取(如果您正在与聊天模型一起使用,这将非常有用)。
memory = ConversationSummaryBufferMemory(
llm=llm, max_token_limit=10, return_messages=True
)
memory.save_context({"input": "hi"}, {"output": "whats up"})
memory.save_context({"input": "not much you"}, {"output": "not much"})
我们还可以直接使用predict_new_summary
方法。
messages = memory.chat_memory.messages
previous_summary = ""
memory.predict_new_summary(messages, previous_summary)
'\nThe human and AI state that they are not doing much.'
在链中使用
让我们通过一个示例来了解,再次设置verbose=True
以便查看提示。
from langchain.chains import ConversationChain
conversation_with_summary = ConversationChain(
llm=llm,
# We set a very low max_token_limit for the purposes of testing.
memory=ConversationSummaryBufferMemory(llm=OpenAI(), max_token_limit=40),
verbose=True,
)
conversation_with_summary.predict(input="Hi, what's up?")
API 参考:
- ConversationChain 来自
langchain.chains
> 进入新的 ConversationChain 链...
格式化后的提示:
以下是人类和 AI 之间友好对话的示例。AI 健谈并提供了许多来自其上下文的具体细节。如果 AI 不知道问题的答案,它会真实地说自己不知道。
当前对话:
人类:Hi, what's up?
AI:
> 链结束。
" Hi there! I'm doing great. I'm learning about the latest advances in artificial intelligence. What about you?"
conversation_with_summary.predict(input="Just working on writing some documentation!")
> 进入新的 ConversationChain 链...
格式化后的提示:
以下是人类和 AI 之间友好对话的示例。AI 健谈并提供了许多来自其上下文的具体细节。如果 AI 不知道问题的答案,它会真实地说自己不知道。
当前对话:
人类:Hi, what's up?
AI: Hi there! I'm doing great. I'm spending some time learning about the latest developments in AI technology. How about you?
人类: Just working on writing some documentation!
AI:
> 链结束。
' That sounds like a great use of your time. Do you have experience with writing documentation?'
我们可以看到这里有对话的摘要,然后是一些先前的交互。
conversation_with_summary.predict(input="For LangChain! Have you heard of it?")
> 进入新的 ConversationChain 链...
格式化后的提示:
以下是人类和 AI 之间友好对话的示例。AI 健谈并提供了许多来自其上下文的具体细节。如果 AI 不知道问题的答案,它会真实地说自己不知道。
当前对话:
系统:
人类问 AI 它在做什么,AI 回答说它正在学习最新的 AI 技术发展。
人类:Just working on writing some documentation!
AI: That sounds like a great use of your time. Do you have experience with writing documentation?
人类:For LangChain! Have you heard of it?
AI:
> 链结束。
" No, I haven't heard of LangChain. Can you tell me more about it?"
我们可以看到这里有摘要和缓冲区的更新。
conversation_with_summary.predict(
input="Haha nope, although a lot of people confuse it for that"
)
> 进入新的 ConversationChain 链...
格式化后的提示:
以下是人类和 AI 之间友好对话的示例。AI 健谈并提供了许多来自其上下文的具体细节。如果 AI 不知道问题的答案,它会真实地说自己不知道。
当前对话:
系统:
人类问 AI 它在做什么,AI 回答说它正在学习最新的 AI 技术发展。人类随后提到他们正在写文档,AI 回答说这听起来是他们时间的很好利用,并问他们是否有写文档的经验。
人类:For LangChain! Have you heard of it?
AI: No, I haven't heard of LangChain. Can you tell me more about it?
人类:Haha nope, although a lot of people confuse it for that
AI:
> 链结束。
' Oh, okay. What is LangChain?'