DeepSeek憑借其V3和新推出的R1兩款模型，實(shí)現(xiàn)了與OpenAI 4o和o1比肩的性能，同時(shí)成本僅為十分之一，為AI技術(shù)的普及提供了經(jīng)濟(jì)高效的解決方案。DeepSeek的崛起，不僅標(biāo)志著中國AI技術(shù)的突破，更預(yù)示著全球AI市場(chǎng)將迎來一場(chǎng)新革命。

以下是詳細(xì)的部署步驟，幫助您快速實(shí)現(xiàn)這一國產(chǎn)技術(shù)組合的落地應(yīng)用。

硬件準(zhǔn)備：

• RK3588開發(fā)板：京博航友善NanoPC-T6（預(yù)裝望獲實(shí)時(shí)Linux）

• 工作主機(jī)：ubuntu筆記本電腦

部署步驟

從Hugging Face拉取DeepSeek-R1的1.5B蒸餾模型到x86平臺(tái)：

二、配置模型轉(zhuǎn)換腳本

執(zhí)行模型轉(zhuǎn)換腳本，等待轉(zhuǎn)換完成：

四、部署模型

在RK3588平臺(tái)，進(jìn)入rknn-llm/rkllm-runtime/examples/rkllm_api_demo目錄，生成llm_demo運(yùn)行文件：

六、運(yùn)行模型

在user : 后輸入對(duì)話內(nèi)容，測(cè)試模型的運(yùn)行效果。

關(guān)于望獲實(shí)時(shí)Linux系統(tǒng)

望獲實(shí)時(shí)Linux系統(tǒng)是國科環(huán)宇重點(diǎn)研發(fā)的嵌入式實(shí)時(shí)操作系統(tǒng)，具備強(qiáng)實(shí)時(shí)、高可靠、功能安全、智能化、兼容性強(qiáng)和國產(chǎn)生態(tài)的特性。不同于傳統(tǒng)的微內(nèi)核實(shí)時(shí)操作系統(tǒng)，完整兼容Linux生態(tài)環(huán)境的同時(shí)，提供強(qiáng)大的行業(yè)中間件支持，助力客戶快速完成行業(yè)解決方案的構(gòu)建。望獲實(shí)時(shí)Linux系統(tǒng)致力于國產(chǎn)基礎(chǔ)軟硬件的產(chǎn)業(yè)鏈構(gòu)建，與國產(chǎn)主流芯片及硬件平臺(tái)適配，提供完整的國產(chǎn)化解決方案，保證功能和性能的同時(shí)，避免關(guān)鍵領(lǐng)域的卡脖子問題。