Install pip install "xinference[all]" Run Select Model Model Api
串行 并行 异步的核心是asyncio.create_task 参考资料： https://docs.python.org/zh-cn/3.9/library/asyncio-task.html
API和MCP 调用大模型API调用API是指通过应用程序接口（API）向大型语言模型（如deepseek）发送请求并接收响应的方式。用户提供输入数据，API将请求转发给模型，模型处理后返回结果。这种方式简单直接。 MCP（上下文协议）MCP（Context Protocol）是一种开放协议，旨在通过标准化接口实现大模型与外部数据源或工具的动态集成。它允许模型在运行时访问外部资源（如本地文件、数据库或第三方服务），无需调整模型内部参数，从而扩展模型的上下文处理能力。 流程图比对 可以一目了然两者的差异性 两者的差异…
最近在开发本地知识库的Ai问答程序，之前给客户用的时Web端，本地客户端更符合诉求，所以用了pysider5+QML在重新开发中。先看一下预览图 客户端的开发对于自己虽然开发成本上来了，但对于客户时更友好的。 大模型选择了DeepSeek，最近这么火无需解释了。 适当的时候，我会开源一部分代码，目前时本周最少给2个客户试用，并拿到使用体验。一个月后有100个客户使用。 2025年第一款产品开干~~~~
SiliconCloud 裂变活动火热开启，2000万Tokens送不停！ 点击🔗 注册就送2000w tokens https://cloud.siliconflow.cn/i/Of9MfCUt 2025年中国的Ai会快速的发展迭代，类似的平台会越来越多，这也是Ai普适化的一个基建。
google在今天发布了Agents的白皮书（https://www.kaggle.com/whitepaper-agents），这是一个行业逐渐趋于快速发展的信号。我对白皮书的内容进行了精简总结。 1.Agent 概述与核心架构 1.1 基础定义 Agent 是一个能够自主完成目标的AI应用程序，它通过: 1.2 核心组件详解 1.2.1 模型层 1.2.2 工具层 1.2.3 编排层 2. Agent vs 模型的深入对比 特性 模型 Agent 优势说明 知识范围 仅限训练数据 可通过工具扩展 Agent可实…
近日国内DeepSeek V3大模型表现优异，且价格非常的便宜。结合Langchain做了本地知识库的问答。 使用的是Api的方式，并非本地搭建部署大模型。 项目是一个AI驱动的知识库助手，旨在帮助用户从PDF文档中获取信息并进行对话。下面是整体实现的一个架构图。 系统架构 项目包含四个核心模块： 技术实现 一个产品的mvp，我还是喜欢用CLI或者现有的成熟框架（例如：Streamlit等），这样可以快速的验证。 在小红书上放了3天，有几百人过来询问，所以打算把这个项目的代码分享出来。 运行起来需要用到deepse…
