大家好!
最近,我开发了一款图形RAG应用来提取复杂法律合同关系到知识图谱。当时,我希望这变得是一个经过测试的SaaS最小可行产品,而不是只是一个局部脚本,所以我选择了FastAPI作为核心引擎。
**架构选择:**
* 使用FastAPI的异步端点来处理重型LLM推理(Llama-3通过Groq)而不阻塞服务器.
* 将Neo4j Python驱动集成到复杂图形遍历中.
* 使用Docker Compose (FastAPI后端, Next.js前端,Postgres)来处理每一个都隔离并且部署在DigitalOcean VPS
**后端专家我要问的问题:**管理Neo4j驱动生命周期在FastAPI中有一些难度管理。现在我在程序启动时初始化驾驶员并在关闭时关闭。那么生产环境中这是最理想的实践还是应该在并发处理时用连接池来不同地处理LLM请求呢?
*(如果你想检查docker-compose设置和异步路由的细节,那我在github上开放发布:`github.com/leventtcaan/graphrag-contract-ai`*)*
*(Reddit不允许在文本中发布视频,但如果你要看到50秒的UI演示和图形查询速度就快在LinkedIn发布的启动帖子查看 [* `https://www.linkedin.com/feed/update/urn:li:activity:7438463942340952064/`[* Would love toconnect!)*
评论 (0)