Skip to main content

databricks

Databricks
==========

[Databricks](https://www.databricks.com/) Lakehouse平台将数据、分析和人工智能统一在一个平台上。

Databricks以多种方式支持LangChain生态系统:

1. Databricks连接器用于SQLDatabase Chain:SQLDatabase.from_databricks()提供了通过LangChain查询Databricks上数据的简便方法
2. Databricks MLflow与LangChain集成:使用更少的步骤跟踪和提供LangChain应用程序
3. Databricks MLflow AI Gateway
4. Databricks作为LLM提供者:通过服务端点或集群驱动程序代理应用程序在Databricks上部署经过优化的LLMs,并通过langchain.llms.Databricks进行查询
5. Databricks Dolly:Databricks开源的Dolly可用于商业用途,并可通过Hugging Face Hub访问

Databricks连接器用于SQLDatabase Chain
----------------------------------------------
您可以使用LangChain的SQLDatabase包装器连接到[Databricks运行时](https://docs.databricks.com/runtime/index.html)[Databricks SQL](https://www.databricks.com/product/databricks-sql)。有关详细信息,请参阅笔记本[连接到Databricks](/docs/ecosystem/integrations/databricks/databricks.html)

Databricks MLflow与LangChain集成
-------------------------------------------

MLflow是一个开源平台,用于管理机器学习生命周期,包括实验、可重现性、部署和中央模型注册表。有关MLflow与LangChain集成的详细信息,请参阅笔记本[MLflow回调处理程序](/docs/ecosystem/integrations/mlflow_tracking.ipynb)

Databricks提供了一个完全托管和托管的MLflow版本,集成了企业安全功能、高可用性和其他Databricks工作区功能,如实验和运行管理和笔记本修订捕获。Databricks上的MLflow为跟踪和保护机器学习模型训练运行以及运行机器学习项目提供了集成体验。有关更多详细信息,请参阅[MLflow指南](https://docs.databricks.com/mlflow/index.html)

Databricks MLflow使在Databricks上开发LangChain应用程序更加方便。对于MLflow跟踪,您不需要设置跟踪URI。对于MLflow模型服务,您可以将LangChain Chains保存在MLflow langchain flavor中,然后在Databricks上通过几次点击注册和提供Chain,凭据由MLflow模型服务安全管理。

Databricks MLflow AI Gateway
----------------------------

请参阅[MLflow AI Gateway](/docs/ecosystem/integrations/mlflow_ai_gateway)

Databricks作为LLM提供者
-----------------------------

笔记本[将Databricks端点包装为LLMs](/docs/integrations/llms/databricks.html)说明了将Databricks端点包装为LangChain中的LLMs的方法。它支持两种类型的端点:服务端点,推荐用于生产和开发,以及集群驱动程序代理应用程序,推荐用于交互式开发。

Databricks端点支持Dolly,但也非常适合托管像MPT-7B这样的模型或来自Hugging Face生态系统的任何其他模型。Databricks端点还可以与像OpenAI这样的专有模型一起使用,为企业提供治理层。

Databricks Dolly
----------------

Databricks的Dolly是在Databricks机器学习平台上训练的遵循指令的大型语言模型,可用于商业用途。该模型在Hugging Face Hub上以databricks/dolly-v2-12b的形式提供。有关通过Hugging Face Hub与LangChain集成访问它的说明,请参阅笔记本[Hugging Face Hub](/docs/integrations/llms/huggingface_hub.html)