AI文摘

blog-thum
一个RAG嵌入模型微调数据构建pipeline

创建用于微调自定义嵌入模型的合成数据生成pipeline创建知识库:首先准备您的特定领域知识库,例如包含信息的PDF或其他文档。将这些文档的内容转换为纯文本格式。数据分块:将您的文本数据划分为大约每个

read more
blog-thum
借着tritoninferenceserver聊一下各种batching方法

【点击】加入大模型技术交流群在实际的模型部署场景中,我们一般会先优化模型的性能,这也是最直接提升模型服务性能的方式。但如果从更全局方面考虑的话,除了模型的性能,整体的调度和pipeline优化对服务的

read more