利用DeepSeek-R1與RAG(Retrieval-Augmented Generation,檢索增強(qiáng)生成)技術(shù)可以快速搭建本地知識(shí)庫。
為確保本地知識(shí)庫的高效搭建,需先準(zhǔn)備DeepSeek-R1模型、相關(guān)文檔/數(shù)據(jù)集及部署工具(如Ollama),隨后安裝Ollama并部署DeepSeek-R1,同時(shí)選擇并配置文本嵌入模型,最后收集/整理文檔并確保其唯一標(biāo)識(shí)符和文本內(nèi)容,利用文本嵌入模型轉(zhuǎn)換文檔為向量以構(gòu)建快速檢索的索引。
檢索增強(qiáng)生成(Retrieval-Augmented Generation,RAG)是什么?檢索增強(qiáng)生成是一種利用來自私有或?qū)S袛?shù)據(jù)源的信息來補(bǔ)充文本生成的技術(shù)。
大型語言模型(LLMs)雖然功能強(qiáng)大,但仍面臨挑戰(zhàn),如產(chǎn)生不準(zhǔn)確信息(幻覺)、知識(shí)過時(shí)、推理不透明等問題。為了應(yīng)對(duì)這些挑戰(zhàn),檢索增強(qiáng)生成(RAG)技術(shù)應(yīng)運(yùn)而生。
RAG通過結(jié)合外部數(shù)據(jù)庫的知識(shí),提高了信息生成的準(zhǔn)確性和可靠性,尤其適用于需要豐富知識(shí)的任務(wù)。此外,RAG還能讓模型持續(xù)更新知識(shí),并整合特定領(lǐng)域的信息,從而實(shí)現(xiàn)LLMs內(nèi)在知識(shí)與外部動(dòng)態(tài)數(shù)據(jù)庫的協(xié)同融合。
RAG的核心技術(shù)是什么?檢索、生成和增強(qiáng)是RAG框架中的三個(gè)核心組件,它們相互協(xié)作、共同作用于整個(gè)框架中,以實(shí)現(xiàn)高效、準(zhǔn)確、多樣化的信息生成和處理。
檢索負(fù)責(zé)從知識(shí)庫中快速準(zhǔn)確獲取信息,生成根據(jù)檢索結(jié)果和用戶輸入生成期望輸出,增強(qiáng)則對(duì)信息進(jìn)行額外處理以提高輸出質(zhì)量和多樣性。
-
檢索(Retrieval):負(fù)責(zé)從知識(shí)庫中快速準(zhǔn)確找到與輸入查詢相關(guān)的信息,通過關(guān)鍵詞、向量或深度學(xué)習(xí)等方法提高檢索效率。
-
生成(Generation):根據(jù)檢索到的信息和用戶輸入生成符合期望的輸出,采用模板、序列到序列模型或大型語言模型等技術(shù),并進(jìn)行后處理和微調(diào)以提高生成質(zhì)量。
-
增強(qiáng)(Augmentation):在生成前后對(duì)信息進(jìn)行額外處理或補(bǔ)充,通過知識(shí)增強(qiáng)、多樣性增強(qiáng)和后處理增強(qiáng)等手段提高輸出的質(zhì)量和多樣性。
如何使用DeepSeek-R1 + RAG搭建本地知識(shí)庫?利用DeepSeek-R1與RAG技術(shù)搭建本地知識(shí)庫,需準(zhǔn)備模型、部署工具,安裝Ollama并配置嵌入模型,整理文檔并轉(zhuǎn)換為向量索引,以實(shí)現(xiàn)高效檢索與生成。
1、Ollama本地化部署DeepSeek-R1
Ollama是一款開源的本地化大模型部署工具,用戶可以通過Ollama輕松安裝、配置和運(yùn)行各種開源大模型(DeepSeek-R1)。
通過Ollama官網(wǎng)下載并安裝軟件,準(zhǔn)備DeepSeek-R1模型后,在模型詳情頁復(fù)制運(yùn)行命令并在終端中執(zhí)行,完成模型在本地的部署與配置,以便進(jìn)行交互使用。
1、 下載并安裝Ollama:
-
訪問Ollama的官方網(wǎng)站(https://ollama.com/download),根據(jù)電腦系統(tǒng)(macOS、Linux、Windows)選擇對(duì)應(yīng)的版本下載。
-
雙擊安裝程序并按照提示完成安裝。安裝完成后,如果在頂部菜單欄中看到Ollama的圖標(biāo),即表示Ollama正在運(yùn)行狀態(tài)。
2、 準(zhǔn)備DeepSeek-R1模型:
-
在Ollama的官網(wǎng)中,找到并點(diǎn)擊“Models”選項(xiàng)。
-
在搜索框中輸入“deepseek-r1”,找到并點(diǎn)擊進(jìn)入DeepSeek-R1的詳情頁。
-
選擇合適的模型參數(shù)版本(如1.5B、7B、14B等),這些參數(shù)與模型的復(fù)雜度和處理能力相關(guān)。
3、 運(yùn)行DeepSeek-R1模型:
-
在Ollama的模型詳情頁中,復(fù)制運(yùn)行模型的命令(如“ollama run deepseek-r1:7b”)。
-
打開電腦的終端(或命令提示符),將命令粘貼到終端窗口中,并按下回車鍵。等待安裝完成后,DeepSeek-R1模型即可在本地運(yùn)行。
2、RAGFlow搭建個(gè)人知識(shí)庫
RAGFlow是一個(gè)基于深度文檔理解的開源檢索增強(qiáng)生成(Retrieval-Augmented Generation,RAG)引擎,可以使用RAGFlow框架搭建個(gè)人知識(shí)庫,并利用該知識(shí)庫進(jìn)行問答、信息檢索等操作。
-
在RAGFlow系統(tǒng)中,點(diǎn)擊上傳按鈕,選擇本地要上傳到知識(shí)庫的文件。
-
支持的文件格式可能包括常見的文檔格式(如PDF、DOCX等)、文本文件等。上傳時(shí)請(qǐng)注意文件格式的支持情況。
-
上傳完成后,系統(tǒng)將顯示文件的相關(guān)信息,如分塊數(shù)、上傳日期、解析方法和解析狀態(tài)等。
-
在模型提供商配置區(qū)域,選擇使用的模型提供商(使用DeepSeek模型服務(wù)),并將對(duì)應(yīng)的API key粘貼到指定位置。
-
如果選擇搭建本地大模型(DeepSeek),也需要在此處進(jìn)行相應(yīng)的配置,確保RAGFlow能夠與本地模型進(jìn)行通信和交互。
-
等待知識(shí)庫文件解析完成后,進(jìn)入聊天界面。
由于新崗位的生產(chǎn)效率,要優(yōu)于被取代崗位的生產(chǎn)效率,所以實(shí)際上整個(gè)社會(huì)的生產(chǎn)效率是提升的。
但是具體到個(gè)人,只能說是:
“最先掌握AI的人,將會(huì)比較晚掌握AI的人有競爭優(yōu)勢(shì)”。
這句話,放在計(jì)算機(jī)、互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的開局時(shí)期,都是一樣的道理。
我在一線互聯(lián)網(wǎng)企業(yè)工作十余年里,指導(dǎo)過不少同行后輩。幫助很多人得到了學(xué)習(xí)和成長。
我意識(shí)到有很多經(jīng)驗(yàn)和知識(shí)值得分享給大家,也可以通過我們的能力和經(jīng)驗(yàn)解答大家在人工智能學(xué)習(xí)中的很多困惑,所以在工作繁忙的情況下還是堅(jiān)持各種整理和分享。但苦于知識(shí)傳播途徑有限,很多互聯(lián)網(wǎng)行業(yè)朋友無法獲得正確的資料得到學(xué)習(xí)提升,故此將并將重要的AI大模型資料包括AI大模型入門學(xué)習(xí)思維導(dǎo)圖、精品AI大模型學(xué)習(xí)書籍手冊(cè)、視頻教程、實(shí)戰(zhàn)學(xué)習(xí)等錄播視頻免費(fèi)分享出來。
這份完整版的大模型 AI 學(xué)習(xí)資料已經(jīng)上傳CSDN,朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【】
該階段讓大家對(duì)大模型 AI有一個(gè)最前沿的認(rèn)識(shí),對(duì)大模型 AI 的理解超過 95% 的人,可以在相關(guān)討論時(shí)發(fā)表高級(jí)、不跟風(fēng)、又接地氣的見解,別人只會(huì)和 AI 聊天,而你能調(diào)教 AI,并能用代碼將大模型和業(yè)務(wù)銜接。
- 大模型 AI 能干什么?
- 大模型是怎樣獲得「智能」的?
- 用好 AI 的核心心法
- 大模型應(yīng)用業(yè)務(wù)架構(gòu)
- 大模型應(yīng)用技術(shù)架構(gòu)
- 代碼示例:向 GPT-3.5 灌入新知識(shí)
- 提示工程的意義和核心思想
- Prompt 典型構(gòu)成
- 指令調(diào)優(yōu)方法論
- 思維鏈和思維樹
- Prompt 攻擊和防范
- …
該階段我們正式進(jìn)入大模型 AI 進(jìn)階實(shí)戰(zhàn)學(xué)習(xí),學(xué)會(huì)構(gòu)造私有知識(shí)庫,擴(kuò)展 AI 的能力。快速開發(fā)一個(gè)完整的基于 agent 對(duì)話機(jī)器人。掌握功能最強(qiáng)的大模型開發(fā)框架,抓住最新的技術(shù)進(jìn)展,適合 Python 和 JavaScript 程序員。
- 為什么要做 RAG
- 搭建一個(gè)簡單的 ChatPDF
- 檢索的基礎(chǔ)概念
- 什么是向量表示(Embeddings)
- 向量數(shù)據(jù)庫與向量檢索
- 基于向量檢索的 RAG
- 搭建 RAG 系統(tǒng)的擴(kuò)展知識(shí)
- 混合檢索與 RAG-Fusion 簡介
- 向量模型本地部署
- …
恭喜你,如果學(xué)到這里,你基本可以找到一份大模型 AI相關(guān)的工作,自己也能訓(xùn)練 GPT 了!通過微調(diào),訓(xùn)練自己的垂直大模型,能獨(dú)立訓(xùn)練開源多模態(tài)大模型,掌握更多技術(shù)方案。
到此為止,大概2個(gè)月的時(shí)間。你已經(jīng)成為了一名“AI小子”。那么你還想往下探索嗎?
- 為什么要做 RAG
- 什么是模型
- 什么是模型訓(xùn)練
- 求解器 & 損失函數(shù)簡介
- 小實(shí)驗(yàn)2:手寫一個(gè)簡單的神經(jīng)網(wǎng)絡(luò)并訓(xùn)練它
- 什么是訓(xùn)練/預(yù)訓(xùn)練/微調(diào)/輕量化微調(diào)
- Transformer結(jié)構(gòu)簡介
- 輕量化微調(diào)
- 實(shí)驗(yàn)數(shù)據(jù)集的構(gòu)建
- …
對(duì)全球大模型從性能、吞吐量、成本等方面有一定的認(rèn)知,可以在云端和本地等多種環(huán)境下部署大模型,找到適合自己的項(xiàng)目/創(chuàng)業(yè)方向,做一名被 AI 武裝的產(chǎn)品經(jīng)理。
- 硬件選型
- 帶你了解全球大模型
- 使用國產(chǎn)大模型服務(wù)
- 搭建 OpenAI 代理
- 熱身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地計(jì)算機(jī)運(yùn)行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何優(yōu)雅地在阿里云私有部署開源大模型
- 部署一套開源 LLM 項(xiàng)目
- 內(nèi)容安全
- 互聯(lián)網(wǎng)信息服務(wù)算法備案
- …
學(xué)習(xí)是一個(gè)過程,只要學(xué)習(xí)就會(huì)有挑戰(zhàn)。天道酬勤,你越努力,就會(huì)成為越優(yōu)秀的自己。
如果你能在15天內(nèi)完成所有的任務(wù),那你堪稱天才。然而,如果你能完成 60-70% 的內(nèi)容,你就已經(jīng)開始具備成為一名大模型 AI 的正確特征了。