（通訊員 徐偲）大語言模型是當(dāng)前人工智能領(lǐng)域的研究熱點，推動了自然語言處理、信息檢索和智能問答等眾多任務(wù)的變革。應(yīng)期刊執(zhí)行主編邀請，近日，趙偉教授團(tuán)隊在Research（中科院一區(qū)、IF=8.49）發(fā)表大語言模型綜述論文《Road of Large Language Model: Source, Challenge and Future Perspectives》。Research是Science自1880年創(chuàng)建以來全球范圍內(nèi)的第一本合作期刊，是中國科協(xié)和美國科學(xué)促進(jìn)會（AAAS）共同創(chuàng)辦的國際綜合性頂級期刊。
大語言模型發(fā)展的四大關(guān)鍵主題
論文圍繞LLM發(fā)展的四大關(guān)鍵主題進(jìn)行了系統(tǒng)性闡述，包括：1）涌現(xiàn)能力：探討LLM規(guī)模增長引發(fā)的非線性能力躍遷，以及如何基于更細(xì)粒度的分析方法來揭示 LLM的能力躍遷本質(zhì)；2）人類偏好對齊：探討了如何通過負(fù)樣本學(xué)習(xí)、反事實數(shù)據(jù)增強(qiáng)等方法減少標(biāo)注依賴，提升LLM在復(fù)雜偏好環(huán)境下的適應(yīng)性；3）檢索增強(qiáng)生成（RAG）：探討了如何通過優(yōu)化檢索策略、提升知識整合能力、緩解外部知識沖突，使 RAG技術(shù)在醫(yī)學(xué)、法律、科學(xué)研究等領(lǐng)域發(fā)揮更大作用；4）DeepSeek與跨域應(yīng)用：探討了LLM未來可能的發(fā)展方向，如基于因果推理的模型優(yōu)化和不確定性估計等方法，以提升LLM在不同學(xué)科中的泛化能力。DeepSeek在優(yōu)化LLM計算效率、減少推理成本、增強(qiáng)可解釋性方面取得了重大進(jìn)展，這些創(chuàng)新為LLM未來的發(fā)展和跨域應(yīng)用提供了新的思路，使其更加高效可控，并能夠在計算資源受限的環(huán)境中依然保持卓越的推理能力。
近日，團(tuán)隊在社會圖像檢索領(lǐng)域的研究取得重要進(jìn)展，研究成果《Cross-Modal Guided Visual Representation Learning for Social Image Retrieval》發(fā)表在TPAMI（CCF A類、中科院一區(qū)、IF=20.79），TPAMI為人工智能領(lǐng)域頂級期刊。第一作者為管子玉教授。
CGVR算法框架圖
論文提出了一種基于跨模態(tài)引導(dǎo)的視覺表示學(xué)習(xí)框架（CGVR），用于社會圖像檢索。該框架針對社會圖像中用戶標(biāo)簽噪聲問題，通過引入跨模態(tài)交互和先驗常識關(guān)系，從噪聲標(biāo)簽中提取準(zhǔn)確的語義信息，并將其遷移到圖像哈希子網(wǎng)絡(luò)中，實現(xiàn)了高效的單模態(tài)圖像檢索。實驗結(jié)果表明，該方法不僅在多個公開的社會圖像基準(zhǔn)數(shù)據(jù)集上取得了顯著的性能提升，還能學(xué)習(xí)到用戶標(biāo)簽中的細(xì)粒度語義，提升了檢索的精準(zhǔn)性。
趙偉教授團(tuán)隊長期圍繞大數(shù)據(jù)采集、處理、分析、挖掘以及應(yīng)用中的關(guān)鍵科學(xué)問題和重要技術(shù)瓶頸開展研究工作。近年來，在國家杰青、國基金重點和陜西省科技計劃項目等資助下，在相關(guān)領(lǐng)域高水平期刊，如TPAMI、TKDE等，和CCF A類學(xué)術(shù)會議，如NeurIPS、AAAI等發(fā)表論文130余篇，并獲得2024年度AAAI最佳論文獎。
相關(guān)論文鏈接：
Research論文鏈接：https://spj.science.org/doi/10.34133/research.0655
TPAMI論文鏈接：https://ieeexplore.ieee.org/document/10804591
源代碼地址：https://github.com/zhaowanqing/CGVR
