mcp 客户端sse远程调用服务端与本地大模型集成实例
昨天的案例基于mcp stdio本地调用,即mcp的客户端与服务端位于同一台机器上。今天的实例基于mcp服务端与客户端位于不同机器,二者通过sse协议进行通信。当然,对于大模型来说,也可以是远程的机器,因为对大模型的访问是通过标准的http协议进行的。我这为了便于实现,均采用同一台机器,大家在实际部署中,将“localhost"改为实际的ip地址就好。
本例也将支持多个mcp server,大模型在对话与推理过程中,会用所有mcp server的工具来理解上下文语境。按大模型发展来看,mcp应该会成为应用系统的必须,在此之前是function_calling。大模型今后就是一个底座,对用户是隐藏的。而所有的业务系统和领域小模型会通过mcp万象互联。除非要非常精确与高效,且要边缘部署,才会需要对大模型进行微调与蒸馏,否则mcp应该是一种最佳的部署模式。现在诸如langchain之类的的本地知识库外挂方案,其实并没有把数据集微调到大模型中,只是一种变相的mcp方式。如今mcp已成气候,修炼大成。只是国内的大模型支持微调function的极少,还是openai chatGPT走到了最前面。一旦普遍发布了能微调function的大模型,mcp将大行其道。是以圣人处无为之事,行不言之教,我想大模型当之无愧吧。