私有化AI搜索引擎FreeAskInternet

2024-06-10 10:44

本文主要是介绍私有化AI搜索引擎FreeAskInternet,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在这里插入图片描述

什么是 FreeAskInternet

FreeAskInternet 是一个完全免费、私有且本地运行的搜索聚合器,并使用 LLM 生成答案,无需 GPU。用户可以提出问题,系统将使用 searxng 进行多引擎搜索,并将搜索结果合并到ChatGPT3.5 LLM 中,并根据搜索结果生成答案。所有进程都在本地运行,不需要 GPUOpenAIGoogle API 密钥。

软件特点

  • 🈚完全免费(不需要任何 API 密钥)
  • 💻 完全本地(无需 GPU,任何计算机都可以运行)
  • 🔐 完全私有(所有事情都在本地运行,使用自定义 llm)
  • 👻 在没有 LLM 硬件的情况下运行(不需要 GPU!)
  • 🤩 使用免费聊天GPT3.5,Qwen,Kimi,ZhipuAI(GLM)API(无需API密钥!Thx OpenAI)
  • 🐵 自定义LLM(ollama,llama.cpp)支持,是的,我们喜欢ollama!
  • 🚀 使用Docker Compose快速轻松地部署
  • 🌐 网络和移动友好界面,专为网络搜索增强的人工智能聊天而设计,允许从任何设备轻松访问。

之所以不要 OpenAIGoogle API 密钥,是因为借助了 freegpt35kimi-free-apiglm-free-apiqwen-free-api 等项目的帮助

而之所以不需要 GPU,则是因为用的是白嫖的线上大模型

所以个人研究使用就好,不要放在公网上

前言

在折腾 SearXNG 时,老苏提到过 FreeAskInternet。因为 SearXNG 元搜索引擎受网络影响比较大,所以老苏当时是不打算写基于 SearXNGAI 搜索应用的,比如:FreeAskInternetFarfalle

文章传送门:互联网元搜索引擎SearXNG

但转念一想,爱折腾的人,一个科学的网络(稳不稳定先放一边),应该是基本的配置吧 🙂

老苏把折腾的过程写出来,折腾或者不折腾,大家自己量力而行

安装

在群晖上以 Docker 方式安装。

涉及到多个容器,所以采用 docker-compose 安装方式,老苏根据自己的需要,对官方给的 docker-compose.yml 做了比较大的调整

官方完整的 docker-compose.yml:https://github.com/nashsu/FreeAskInternet/blob/main/docker-compose.yaml

  1. 利用了已经安装的 kimi-free-api,而且是通过 One-API 进行管理的,这个好处是,只要更改模型名称就可以切换不同的模型

文章传送门:大模型接口管理和分发系统One API

  1. 去掉了 chatgpt-next-web,因为这个老苏也是单独安装的,如果你希望能通过 chatgpt-next-web 使用 SearXNG 搜索的结果,理论上可以将 backend 的端口暴露出来,但老苏没试过

文章传送门:跨平台私人ChatGPT应用ChatGPT-Next-Web

将下面的内容保存为 docker-compose.yml 文件

version: '3'services:backend:image: nashsu/free_ask_internet:latestcontainer_name: free_ask_internet_backendports:- "3132:8000"restart: on-failurefreeaskinternet-ui:image: nashsu/free_ask_internet_ui:latestcontainer_name: free_ask_internet_uiports:- "3133:80"environment:BACKEND_HOST: "backend:8000"depends_on:- backendrestart: alwayssearxng:image: searxng/searxng:latestcontainer_name: free_ask_internet_searxng# ports:#  - "3135:8080"volumes:- ./searxng:/etc/searxng:rwenvironment:- SEARXNG_BASE_URL=https://${SEARXNG_HOSTNAME:-localhost}/cap_drop:- ALLcap_add:- CHOWN- SETGID- SETUIDlogging:driver: 'json-file'options:max-size: '1m'max-file: '1'restart: always

然后执行下面的命令

# 新建文件夹 freeaskinternet 和 子目录
mkdir -p /volume1/docker/freeaskinternet/searxng# 进入 freeaskinternet 目录
cd /volume1/docker/freeaskinternet# 将 docker-compose.yml 放入当前目录# 一键启动
docker-compose up -d

运行

在浏览器中输入 http://群晖IP:3133 就能看到主界面

第一当然是选择模型了,因为我们没有安装 freegpt35kimi-free-apiglm-free-apiqwen-free-api,所以上面的不用管,直接勾选 使用自定义模型

  • URL 部分,因为老苏用的是 One API + kimi-free-api,所以这里填的是 One API 的地址
  • model auth token:填的是 One API 的访问令牌
  • model name :填的是渠道中的模型名称

保存之后,模型就灰掉了

开始第一个问题,但是你会发现,一直卡在这个界面

一开始,老苏也以为是网络问题,但实际上并不是,不信的话,你可以打开 searxng 的端口,访问 http://群晖IP:3135 ,随便搜索一个试试

老苏仔细查看了 backend 的日志,发现了有这么一条

requests.exceptions.HTTPError: 403 Client Error: FORBIDDEN for url: http://searxng:8080/search?q=%3Aall+%21general+%E4%BB%80%E4%B9%88%E6%98%AF+FreeAskInternet&format=json

在浏览器中直接输入 http://群晖IP:3135/search?q=%3Aall+%21general+%E4%BB%80%E4%B9%88%E6%98%AF+FreeAskInternet&format=json

确实是没权限访问的,这才是导致界面卡住的根本原因

找到了问题,解决起来就容易多了,找到 searxng 目录下的 settings.yml 文件

首先需要修改文件的权限,否则保存不了

search:formats:- html- json

修改完成后,建议再打开看看,确认是否修改成功了,如果修改成了,可以单独重启一次容器 free_ask_internet_searxng

再次刷新页面,参考搜索结果有了,但是还是提示搜索失败

再看看日志,原来是超时了

继续编辑 settings.yml 文件

outgoing:request_timeout: 5.0max_request_timeout: 10.0enable_http2: false

保存后

再次重启容器 free_ask_internet_searxng,搜索就没问题了

如果没有返回参考搜索结果的,但是告诉你搜索失败的,一般来说,应该是网络出问题了

像下面这样一声不吭的,说明模型设置可能也是不正确的

参考文档

nashsu/FreeAskInternet: FreeAskInternet is a completely free, private and locally running search aggregator & answer generate using LLM, without GPU needed. The user can ask a question and the system will make a multi engine search and combine the search result to the ChatGPT3.5 LLM and generate the answer based on search results.
地址:https://github.com/nashsu/FreeAskInternet

python 3.x - LangChain search_tools ValueError: ('Searx API returned an error: ', ‘Too Many Requests’) - Stack Overflow
地址:https://stackoverflow.com/questions/77253870/langchain-search-tools-valueerror-searx-api-returned-an-error-too-many-r

SearXNG | 中文 | Dify
地址:https://docs.dify.ai/v/zh-hans/guides/gong-ju/tool-configuration/searxng

Bug: all engine · Issue #334 · searxng/searxng
地址:https://github.com/searxng/searxng/issues/334

这篇关于私有化AI搜索引擎FreeAskInternet的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1047948

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件,然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它,快速获取到想要知道的信息。https://www.chatpdf.com/

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡,拥有登录权限的账号密码,一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 (如果是1集群把75改成66) 交互式开发 执行器选Terminal 密码随便设一个(需记住) 工作空间:私有数据、全部文件 加速器选GeForce_RTX_2080_Ti

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU

AI基础 L9 Local Search II 局部搜索

Local Beam search 对于当前的所有k个状态,生成它们的所有可能后继状态。 检查生成的后继状态中是否有任何状态是解决方案。 如果所有后继状态都不是解决方案,则从所有后继状态中选择k个最佳状态。 当达到预设的迭代次数或满足某个终止条件时,算法停止。 — Choose k successors randomly, biased towards good ones — Close