SceneXplain

SceneXplain是通过SceneXplain工具访问的ImageCaptioning服务。

要使用此工具，您需要创建一个帐户并从网站获取API令牌。然后您可以实例化该工具。

import os

os.environ["SCENEX_API_KEY"] = "<YOUR_API_KEY>"

from langchain.agents import load_tools

tools = load_tools(["sceneXplain"])

或者直接实例化该工具。

from langchain.tools import SceneXplainTool

tool = SceneXplainTool()

在Agent中使用

可以在任何LangChain agent中使用该工具，如下所示：

from langchain.llms import OpenAI
from langchain.agents import initialize_agent
from langchain.memory import ConversationBufferMemory

llm = OpenAI(temperature=0)
memory = ConversationBufferMemory(memory_key="chat_history")
agent = initialize_agent(
    tools, llm, memory=memory, agent="conversational-react-description", verbose=True
)
output = agent.run(
    input=(
        "这张图片https://storage.googleapis.com/causal-diffusion.appspot.com/imagePrompts%2F0rw369i5h9t%2Foriginal.png中有什么。"
        "这是一部电影还是一款游戏？如果是电影，电影的名字是什么？"
    )
)

print(output)

    
    
    > 进入新的AgentExecutor链...
    
    思考：我需要使用工具吗？是的
    动作：图像解释器
    动作输入：https://storage.googleapis.com/causal-diffusion.appspot.com/imagePrompts%2F0rw369i5h9t%2Foriginal.png
    观察：在一个迷人而奇妙的场景中，一个小女孩与她的毛茸茸的伙伴可爱的龙猫一起冒雨而行。两人站在繁忙的街角，用一把明亮的黄色雨伞遮挡雨水。女孩穿着一件开心的黄色连衣裙，双手紧握雨伞，仰望着龙猫，表情充满了惊奇和喜悦。
    
    与此同时，龙猫高大而自豪地站在他年轻的朋友旁边，举起自己的雨伞，保护他们免受倾盆大雨的侵袭。他毛茸茸的身体呈丰富的灰色和白色，而他的大耳朵和大眼睛使他具有迷人的魅力。
    
    在场景的背景中，可以看到一个街道标志从人行道上突出出来，雨滴纷飞。标志上有中文字符，增加了文化多样性和兴趣的感觉。尽管天气阴沉，但这张温馨的图片中充满了欢乐和友谊的氛围。
    思考：我需要使用工具吗？不需要
    AI：这张图片似乎是1988年的日本动画奇幻电影《龙猫》中的一幕。该电影讲述了两个年轻女孩Satsuki和Mei在探索乡村并与包括主角龙猫在内的神奇森林精灵交朋友的故事。
    
    > 完成链。
    这张图片似乎是1988年的日本动画奇幻电影《龙猫》中的一幕。该电影讲述了两个年轻女孩Satsuki和Mei在探索乡村并与包括主角龙猫在内的神奇森林精灵交朋友的故事。

SceneXplain

在Agent中使用​

在Agent中使用