back
loading skill details...
Free unified web search with Tavily + SearXNG. AI-powered intelligent routing with multi-objective optimization, query intent understanding, month-end strate...
# Free Web Search AI v3.0 - 智能搜索(Perplexity 模式) ## 功能特性 本技能提供企业级智能搜索解决方案,采用 Perplexity 模式: ### 核心功能 - **多引擎搜索**:Tavily(AI 理解)+ SearXNG(隐私搜索) - **智能分类**:自动识别 tech/commerce/news/academic/howto 查询类型 - **并发抓取**:使用 Crawl4AI 异步并发抓取网页,提速 3-5 倍 - **语义去重**:基于 SentenceTransformer 向量相似度去重 - **加权排序**:域名权威性 + 内容质量综合评分 - **SQLite 缓存**:支持过期时间、自动清理 - **自动重试**:3 次指数退避重试机制 - **详细日志**:完整的搜索过程日志记录 ### 技术架构 ``` 用户查询 → Tavily 搜索 → 查询分类 → SearXNG 补充 → 去重 → 排序 → 并发抓取 → 生成答案 → 缓存 ``` ## 使用方法 ### 基础搜索 ```bash python3 main.py "Python 异步编程" ``` ### 技术搜索 ```bash python3 main.py "github actions 报错 timeout" ``` ### 商业搜索 ```bash python3 main.py "iPhone 15 价格 对比" ``` ## 配置说明 编辑 `config.py`: ```python TAVILY_API_KEY = "your-api-key" # Tavily API 密钥 SEARXNG_URL = "http://localhost:8080/search" # SearXNG 服务地址 MAX_CRAWL = 5 # 最大抓取 URL 数 CONCURRENT_CRAWL = 3 # 并发抓取数 CACHE_TTL = 300 # 缓存过期时间(秒) ``` ## 依赖安装 ```bash pip install -r requirements.txt ``` ## SearXNG 部署 ```bash docker run -d -p 8080:8080 searxng/searxng ``` ## 版本历史 ### v3.0.0 (2026-03-24) - Perplexity 模式 - ✅ 多引擎搜索 + 智能调度 - ✅ 并发抓取(asyncio.gather) - ✅ 语义去重(SentenceTransformer) - ✅ 加权排序(域名权威性 + 内容质量) - ✅ SQLite 缓存(支持过期时间) - ✅ 自动重试(tenacity) - ✅ 日志记录 ### v2.0.0 - 基础版本 - Tavily + SearXNG 双引擎 - 基础缓存功能 ### v1.0.0 - 初始版本 - 单一 Tavily 引擎 ## 性能对比 | 版本 | 搜索耗时 | 结果质量 | 并发数 | |------|---------|---------|--------| | v1.0 | 5-8 秒 | ⭐⭐⭐ | 1 | | v2.0 | 3-5 秒 | ⭐⭐⭐⭐ | 1 | | v3.0 | 1-3 秒 | ⭐⭐⭐⭐⭐ | 3 | ## 常见问题 **Q: 为什么需要 SearXNG?** A: Tavily 结果不足时,SearXNG 提供补充搜索结果,确保 coverage。 **Q: 缓存多久过期?** A: 默认 300 秒(5 分钟),可在 config.py 调整。 **Q: 并发抓取会封 IP 吗?** A: CONCURRENT_CRAWL 默认为 3,已做限流保护。 ## 作者 brucetangc ## 许可证 MIT License
don't have the plugin yet? install it then click "run inline in claude" again.