135 Commits

Author SHA1 Message Date
zrguo
7fbd9aa3e0
Merge pull request #444 from davidleon/fix/lazy_import
Fix/lazy import
2024-12-11 14:19:48 +08:00
Magic_yuan
9a2afc9484 style(lightrag): 调整代码格式 2024-12-11 14:06:55 +08:00
Magic_yuan
0a41cc8a9a feat(llm, prompt):增加日志输出并扩展实体类型
- 在 llm.py 中添加了日志输出,用于调试和记录 LLM 查询输入
- 在 prompt.py 中增加了 "category" 实体类型,扩展了实体提取的范围
2024-12-11 12:45:10 +08:00
david
21a3992e39 fix extra keyword_extraction. 2024-12-10 09:52:27 +08:00
Ikko Eltociear Ashimine
b8cddb6c72
chore: update llm.py
intialize -> initialize
2024-12-09 22:08:06 +09:00
david
3210c8f5bd fix unicode_escape. 2024-12-09 19:14:27 +08:00
zrguo
4c89a1a620
Merge pull request #429 from davidleon/improvement/lazy_external_load
fix extra kwargs error: keyword_extraction.
2024-12-09 18:07:30 +08:00
zrguo
7b0f3ffcda
Merge branch 'main' into main 2024-12-09 17:55:56 +08:00
Larfii
2ba20910bb fix naive_query 2024-12-09 17:45:01 +08:00
zrguo
71af34196f
Merge branch 'main' into fix-entity-name-string 2024-12-09 17:30:40 +08:00
Larfii
ffa95e0461 Fix jina embedding 2024-12-09 17:05:17 +08:00
david
9717ad87fc fix extra kwargs error: keyword_extraction.
add lazy_external_load to reduce external lib deps whenever it's not necessary for user.
2024-12-09 15:35:35 +08:00
partoneplay
a7fcb653e3 Merge remote-tracking branch 'origin/main' and fix syntax 2024-12-09 12:36:55 +08:00
zrguo
0a8d88212a
Merge pull request #423 from davidleon/feature/jina_embedding
add jina embedding
2024-12-09 10:18:50 +08:00
david
97d1894077 add jina embedding 2024-12-08 22:20:41 +08:00
Magic_yuan
779ed604d8 清理多余注释 2024-12-08 17:38:49 +08:00
Magic_yuan
39c2cb11f3 清理多余注释 2024-12-08 17:37:58 +08:00
Magic_yuan
ccf44dc334 feat(cache): 增加 LLM 相似性检查功能并优化缓存机制
- 在 embedding 缓存配置中添加 use_llm_check 参数
- 实现 LLM 相似性检查逻辑,作为缓存命中的二次验证- 优化 naive 模式的缓存处理流程
- 调整缓存数据结构,移除不必要的 model 字段
2024-12-08 17:35:52 +08:00
partoneplay
a8e09ba6c5 Add support for OpenAI Compatible Streaming output 2024-12-07 14:53:15 +08:00
partoneplay
50a17bb4f9 delete unreachable code 2024-12-07 14:53:15 +08:00
magicyuan876
4da7dd1865 移除kwargs中的hashing_kv参数取为变量 2024-12-06 15:35:09 +08:00
yuanxiaobin
6a010abb62 移除kwargs中的hashing_kv参数取为变量 2024-12-06 15:35:09 +08:00
magicyuan876
efdd4b8b8e 移除kwargs中的hashing_kv参数取为变量 2024-12-06 15:23:18 +08:00
yuanxiaobin
a1c4a036fd 移除kwargs中的hashing_kv参数取为变量 2024-12-06 15:23:18 +08:00
magicyuan876
8d9fc01b4c 解决冲突 2024-12-06 15:09:50 +08:00
yuanxiaobin
633fb55b5b 解决冲突 2024-12-06 15:09:50 +08:00
magicyuan876
8924d2b8fc Merge remote-tracking branch 'origin/main'
# Conflicts:
#	lightrag/llm.py
#	lightrag/operate.py
2024-12-06 15:06:00 +08:00
yuanxiaobin
ad4b0d1ba9 Merge remote-tracking branch 'origin/main'
# Conflicts:
#	lightrag/llm.py
#	lightrag/operate.py
2024-12-06 15:06:00 +08:00
magicyuan876
e619b09c8a 重构缓存处理逻辑
- 提取通用缓存处理逻辑到新函数 handle_cache 和 save_to_cache
- 使用 CacheData 类统一缓存数据结构
- 优化嵌入式缓存和常规缓存的处理流程
- 添加模式参数以支持不同查询模式的缓存策略
- 重构 get_best_cached_response 函数,提高缓存查询效率
2024-12-06 14:29:16 +08:00
yuanxiaobin
584258078f 重构缓存处理逻辑
- 提取通用缓存处理逻辑到新函数 handle_cache 和 save_to_cache
- 使用 CacheData 类统一缓存数据结构
- 优化嵌入式缓存和常规缓存的处理流程
- 添加模式参数以支持不同查询模式的缓存策略
- 重构 get_best_cached_response 函数,提高缓存查询效率
2024-12-06 14:29:16 +08:00
zrguo
f2a208c343 Merge branch 'main' into main 2024-12-06 11:38:27 +08:00
zrguo
ad991f904d
Merge branch 'main' into main 2024-12-06 11:38:27 +08:00
magicyuan876
5dfb74ef2d 修复 args_hash在使用常规缓存时候才计算导致embedding缓存时没有计算的bug 2024-12-06 10:40:48 +08:00
yuanxiaobin
7c4bbe2474 修复 args_hash在使用常规缓存时候才计算导致embedding缓存时没有计算的bug 2024-12-06 10:40:48 +08:00
magicyuan876
6c29a37f20 修复 args_hash在使用常规缓存时候才计算导致embedding缓存时没有计算的bug 2024-12-06 10:28:35 +08:00
yuanxiaobin
8a69604966 修复 args_hash在使用常规缓存时候才计算导致embedding缓存时没有计算的bug 2024-12-06 10:28:35 +08:00
magicyuan876
6540d11096 修复 args_hash在使用常规缓存时候才计算导致embedding缓存时没有计算的bug 2024-12-06 10:21:53 +08:00
yuanxiaobin
f2a1897b61 修复 args_hash在使用常规缓存时候才计算导致embedding缓存时没有计算的bug 2024-12-06 10:21:53 +08:00
partoneplay
e82d13e182 Add support for Ollama streaming output and integrate Open-WebUI as the chat UI demo 2024-12-06 10:13:16 +08:00
partoneplay
335179196a Add support for Ollama streaming output and integrate Open-WebUI as the chat UI demo 2024-12-06 10:13:16 +08:00
magicyuan876
d48c6e4588 feat(lightrag): 添加 查询时使用embedding缓存功能
- 在 LightRAG 类中添加 embedding_cache_config配置项
- 实现基于 embedding 相似度的缓存查询和存储
- 添加量化和反量化函数,用于压缩 embedding 数据
- 新增示例演示 embedding 缓存的使用
2024-12-06 08:17:20 +08:00
yuanxiaobin
525c971a23 feat(lightrag): 添加 查询时使用embedding缓存功能
- 在 LightRAG 类中添加 embedding_cache_config配置项
- 实现基于 embedding 相似度的缓存查询和存储
- 添加量化和反量化函数,用于压缩 embedding 数据
- 新增示例演示 embedding 缓存的使用
2024-12-06 08:17:20 +08:00
Larfii
a2072a055a fix: unexpected keyword argument error 2024-12-05 11:47:56 +08:00
Larfii
da73ba9b6b fix: unexpected keyword argument error 2024-12-05 11:47:56 +08:00
LarFii
44d441a951 update insert custom kg 2024-12-04 19:44:04 +08:00
LarFii
db9b9f69f8 update insert custom kg 2024-12-04 19:44:04 +08:00
zrguo
3e69b326ec Merge pull request #383 from MRX760/main
added nvidia text-embedding API and example of using nvidia API llm a…
2024-12-04 11:21:46 +08:00
zrguo
f3ae4fccfa
Merge pull request #383 from MRX760/main
added nvidia text-embedding API and example of using nvidia API llm a…
2024-12-04 11:21:46 +08:00
MRX760
5f13ce1ce9 added nvidia text-embedding API and example of using nvidia API llm and text-embedding 2024-12-03 17:15:10 +07:00
MRX760
0b87e4649f added nvidia text-embedding API and example of using nvidia API llm and text-embedding 2024-12-03 17:15:10 +07:00