奥运星-日韩国产一区二区三区-汽车性能网评-日韩国产一区二区-提供个性化汽车资讯

首頁 > 汽車生活 > 汽車生活 > 微軟發布Phi-3 Mini:3.8B參數小到能塞進手機,性能媲美GPT-3.5

微軟發布Phi-3 Mini:3.8B參數小到能塞進手機,性能媲美GPT-3.5

發布時間:2024-04-24 22:46:37

 

編譯 | 長頸鹿
編輯 | 香草

智東西4月24日報道,4月23日,微軟在官網開源了小語言模型(SLM)——Phi-3-mini。這是微軟Phi-3系列模型推出的首個模型。

Phi-3-mini作為微軟Phi系列的第四代產品,以其38億參數和3.3T tokens的龐大訓練數據量,在語言、推理、編碼和數學基準測試中超越了眾多數百億參數規模的模型。

此外,Phi-3-mini有4k和128k tokens兩個上下文長度變體,經過預訓練和指令調整,可以更好地理解人類的語言、表達、邏輯并執行不同類型的指令。

與大語言模型相比,Phi-3-mini模型操作更為簡便。該模型的體積很小,這一特性使其可以在端側部署和運行。據稱,該模型可以作為聊天機器人離線訪問,且具有不亞于GPT-3.5的性能。

Phi-3-mini的成本大幅降低。微軟生成式AI研究副總裁塞巴斯蒂安·布貝克(Sébastien Bubeck)稱,相比于其他相似功能的模型,Phi-3-mini成本可能只有十分之一。

據微軟研究團隊稱,Phi-3-mini小體積、高性能的創新歸功于由合成數據組成的數據集。該數據集由大量已過濾的網絡數據和其他AI制作的兒童讀物中的合成數據組成。

微軟計劃在未來幾周內推出Phi-3系列的另外兩個模型,分別是Phi-3-small(7B)和Phi-3-medium(14B)。

目前有三個平臺可以獲取Phi-3-mini:

Microsoft Azure AI Studio:https://ai.azure.com/explore/models/Phi-3-mini-128k-instruct/version/2/registry/azureml

Hugging Face:https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3

Ollama:https://ollama.com/library/phi3

一、“小而美”的模型,Phi-3-mini優于兩倍其尺寸模型

據微軟官網稱,Phi-3模型是目前能力最強、性價比最高的小型語言模型(SLM),其在多種語言、推理、編碼和數學基準測試中均展現出超越同等規模甚至更大型模型的能力。

Phi-3-mini包含兩種上下文長度的規模,分別是4k和128k tokens,其中128k tokens的上下文窗口支持在同類模型是首次實現,且對模型質量的影響微乎其微。此外,該模型經過指令微調,能夠以自然語言方式響應和執行多種指令,確保了其即時可用性。

Phi-3模型在小尺寸上具有突破性的性能。根據微軟研發團隊的測試,Phi-3模型在基準測試中優于相同尺寸和更大尺寸的語言模型。其中,Phi-3-mini的性能優于其尺寸兩倍的模型,而Phi-3-small和Phi-3-medium的性能優于更大的模型,包括GPT-3.5 Turbo。

根據性能對照表,Phi-3-mini的兩個變體于基準測試的19個對比項中,有17項勝過Gemma-7b模型,18項勝過Mistral-7b模型,11項勝過Llama-3-8B模型。但也有11項次于GPT3.5-Turbo模型,17項次于Claude-3 Sonnet模型。

 

▲Phi-3系列基準測試對照表(圖源:微軟)

此外,微軟還在學術報告中稱Phi-3模型的整體性能可以與Mixtral 8x7B和GPT-3.5等模型相媲美。

Phi系列模型的起源于微軟研究部門,已經被廣泛使用,其中Phi-2下載量超過200萬次。從用于Python編碼的Phi-1開始,到增強推理和理解的Phi-1.5,再到27億參數的Phi-2,Phi系列在語言理解方面超越了其25倍參數大小的模型。

微軟計劃在未來幾周內推出Phi-3系列的另外兩個模型,分別是Phi-3-small(7B)和Phi-3-medium(14B),旨在為Azure AI和其他模型庫提供更靈活的選擇。

二、Phi-3遵循安全和高質,Phi-3-mini為多個平臺專門優化

Phi-3模型的設計遵循了微軟的“負責任AI標準”,包括問責制、透明度、公平性、可靠性與安全性、隱私與安全和包容性。Phi-3模型經歷了嚴格的安全度量和評估、紅隊測試、敏感用途審查,并遵循安全指南,以確保這些模型在開發、測試和部署過程中都符合微軟的標準和最佳實踐。

Phi-3模型在訓練過程中采用了高質量的數據,這是基于先前的Phi模型工作的延續。它們還通過了廣泛的安全后訓練,包括從人類反饋中進行的強化學習(RLHF)、在數十個傷害類別上進行的自動測試和手動紅隊測試。

此外,Phi-3-mini在Azure AI上配備了一套完整的部署、評估和微調工具鏈,并通過Ollama平臺使開發者能夠在本地筆記本電腦上運行。模型還針對ONNX Runtime進行了優化,支持Windows DirectML,并且實現了跨平臺支持,包括GPU、CPU和移動硬件。

同時,Phi-3-mini也作為英偉達推理微服務(NVIDIA NIM)提供,具備可廣泛部署的標準API接口,并對英偉達GPU進行了專門優化。

三、Phi-3提供離線推理場景,AI解決方案已落地印度

微軟公司通過提供Copilots幫助客戶用生成式AI進行業務轉型。他們認為,不同任務對質量成本曲線上不同規模模型的需求正日益增長。

小語言模型,如Phi-3,特別適用于以下情況:資源受限的環境,包括設備上和離線推理場景;延遲約束的場景,快速響應時間至關重要;以及成本受限的用例,特別是那些具有較簡單任務的用例。

由于尺寸較小,Phi-3模型可以在計算受限的推理環境中使用,特別是Phi-3-mini可以在端側使用。Phi-3模型的較小尺寸還使得微調或定制變得更加容易和更具成本效益。此外,較低的計算需求使其成本更低,延遲更好。較長的上下文窗口使其能夠處理和推理大量的文本內容,如文檔、網頁、代碼等。

微軟的一些客戶已經開始使用Phi-3構建解決方案。比如農業領域,Phi-3模型為農民提供了更便捷、更經濟的解決方案,并幫助他們在沒有穩定互聯網連接的情況下使用AI技術。

印度一家領先的商業集團ITC正在將Phi-3模型用于Krishi Mitra(一款面向農民的應用程序)內,幫助印度農民通過技術手段獲得更好的農業解決方案。據悉,該應用已經覆蓋了超過一百萬名農民。

結語:大小模型相輔相成,離線AI聊天已成現實

微軟的Phi-3模型設計的初衷旨在兼容多種設備。Phi-3與Stability AI的Zephyr、谷歌的Gemini Nano和Anthropic的Claude 3 Haiku等小型模型一樣,能夠在端側運行,而無需依賴互聯網連接。

盡管云端大模型在性能上全面超越小模型,但它們也存在一些局限性,包括較高的成本、運行速度以及對互聯網連接的依賴。相比之下,Phi-3允許用戶在沒有網絡的情況下與虛擬助手進行互動,能夠在不上傳數據的前提下實現內容總結,解決了AI領域的一部分弊端。

未來這類模型有望與智能手機集成,甚至可能內置于常用家電中,為用戶的生活提供個性化建議。我們期待AI變得越來越生活化,也期待小語言模型在未來的進步

汽車生活更多>>

2025年山東大學齊魯醫院事業編招聘啟事 2024年遵義醫科大學第二附屬醫院招聘(非編制)工作人員方案 2024年海口市美蘭區和平南街道辦事處關于擬招聘公益性崗位工作人員的公告(2人) 2024年湖北鐵道運輸職業學院(武漢鐵路技師學院)專項招聘工作人員公告(4人) 2024年中國中醫科學院廣安門醫院招聘公告 價格下探至25萬元以內?比亞迪夏前景展望 7月豪華中級車終端銷量:奔馳C級月銷13838輛領跑 官方一口價低至7.99萬元起 途岳新銳要和新能源搶市場 并入上汽大眾銷售網絡 斯柯達在中國還有希望嗎 10.99萬元起,全系518km續航,東風風神L7 EV有點給力! 預售11.98萬元起,最高650km續航+激光雷達,AION RT來了 評凱迪拉克全新XT5:價格殺紅眼的同時,還不忘“玩豪華”? 主打就是聽勸!2025款比亞迪漢全面升級,僅售16.58萬元起 2024年鷹潭市月湖區部分區直事業單位選調工作人員公告 2024年撫州市資溪縣事業單位引進高素質人才公告 2024年南昌市第一醫院臨床護士及部分技師崗位招聘公告 2024年南昌市勞動保障事務代理中心招聘工作人員公告 2024年吉安市青原區人民醫院(總醫院) 招聘公告 2024年南昌經濟技術開區人民醫院耳鼻喉科醫生招聘公告 2024年江西中醫藥大學高層次人才招聘公告 2024年吉安市永豐縣某單位招聘派遣員工公告 增程車型升級智慧新藍鯨3.0,長安啟源全新A07真心版將于18日上市 10月18日上市!增程/純電可選,配置升級,長安啟源A07真香版 車長4988毫米,配2.0T+8AT,降至14.78萬,家用可以看這款B級車 配33英寸中控屏,237馬力,降至21.97萬,家用可看這款豪華B級車 奧運選手黃雅瓊成問界新M7 Pro車主,新車究竟有何吸引力? 配置升級價格更香 2025款深藍SL03上市 售11.99-14.69萬 無懼國境線復雜路況考驗 問界新M7國慶期間持續熱銷 奇瑞艾瑞澤8高能版新車上市 12.99萬起 新增瑪瑙紅配色 雷克薩斯 RX 銷量大跌,低至 33 萬且新增 2.0T+8AT,是否值的入?
主站蜘蛛池模板: 2025世界机器人大会_IC China_半导体展_集成电路博览会_智能制造展览网 | 消防泵-XBD单级卧式/立式消防泵-上海塑泉泵阀(集团)有限公司 | 青州搬家公司电话_青州搬家公司哪家好「鸿喜」青州搬家 | 可程式恒温恒湿试验箱|恒温恒湿箱|恒温恒湿试验箱|恒温恒湿老化试验箱|高低温试验箱价格报价-广东德瑞检测设备有限公司 | 爱佩恒温恒湿测试箱|高低温实验箱|高低温冲击试验箱|冷热冲击试验箱-您身边的模拟环境试验设备技术专家-合作热线:400-6727-800-广东爱佩试验设备有限公司 | 中医治疗皮肤病_潍坊银康医院「山东」重症皮肤病救治平台 | 电镀整流器_微弧氧化电源_高频电解电源_微弧氧化设备厂家_深圳开瑞节能 | 许昌奥仕达自动化设备有限公司 | 新型游乐设备,360大摆锤游乐设备「诚信厂家」-山东方鑫游乐设备 新能源汽车电池软连接,铜铝复合膜柔性连接,电力母排-容发智能科技(无锡)有限公司 | 闭端端子|弹簧螺式接线头|防水接线头|插线式接线头|端子台|电源线扣+护线套|印刷电路板型端子台|金笔电子代理商-上海拓胜电气有限公司 | 二次元影像仪|二次元测量仪|拉力机|全自动影像测量仪厂家_苏州牧象仪器 | 青岛球场围网,青岛车间隔离网,青岛机器人围栏,青岛水源地围网,青岛围网,青岛隔离栅-青岛晟腾金属制品有限公司 | 滑板场地施工_极限运动场地设计_滑板公园建造_盐城天人极限运动场地建设有限公司 | 恒温振荡混匀器-微孔板振荡器厂家-多管涡旋混匀器厂家-合肥艾本森(www.17world.net) | 广州展览制作工厂—[优简]直营展台制作工厂_展会搭建资质齐全 | 阿里巴巴诚信通温州、台州、宁波、嘉兴授权渠道商-浙江联欣科技提供阿里会员办理 | 自清洗过滤器_全自动过滤器_全自动反冲洗过滤器_量子过滤器-滑漮滴 | 超声波_清洗机_超声波清洗机专业生产厂家-深圳市好顺超声设备有限公司 | 针焰试验仪,灼热丝试验仪,漏电起痕试验仪,水平垂直燃烧试验仪 - 苏州亚诺天下仪器有限公司 | 自动化生产线-自动化装配线-直流电机自动化生产线-东莞市慧百自动化有限公司 | 上海道勤塑化有限公司| 天津云仓-天津仓储物流-天津云仓一件代发-顺东云仓 | 进口试验机价格-进口生物材料试验机-西安卡夫曼测控技术有限公司 | 【黄页88网】-B2B电子商务平台,b2b平台免费发布信息网 | 扬子叉车厂家_升降平台_电动搬运车|堆高车-扬子仓储叉车官网 | 土壤养分检测仪|土壤水分|土壤紧实度测定仪|土壤墒情监测系统-土壤仪器网 | 中开泵,中开泵厂家,双吸中开泵-山东博二泵业有限公司 | 彩超机-黑白B超机-便携兽用B超机-多普勒彩超机价格「大为彩超」厂家 | 并离网逆变器_高频UPS电源定制_户用储能光伏逆变器厂家-深圳市索克新能源 | 环氧乙烷灭菌器_压力蒸汽灭菌器_低温等离子过氧化氢灭菌器 _低温蒸汽甲醛灭菌器_清洗工作站_医用干燥柜_灭菌耗材-环氧乙烷灭菌器_脉动真空压力蒸汽灭菌器_低温等离子灭菌设备_河南省三强医疗器械有限责任公司 | 防爆暖风机_防爆电暖器_防爆电暖风机_防爆电热油汀_南阳市中通智能科技集团有限公司 | 橡胶接头|可曲挠橡胶接头|橡胶软接头安装使用教程-上海松夏官方网站 | 搪瓷反应釜厂家,淄博搪瓷反应釜-淄博卓耀 | 超声波焊接机,振动摩擦焊接机,激光塑料焊接机,超声波焊接模具工装-德召尼克(常州)焊接科技有限公司 | 玻纤土工格栅_钢塑格栅_PP焊接_单双向塑料土工格栅_复合防裂布厂家_山东大庚工程材料科技有限公司 | 上海律师事务所_上海刑事律师免费咨询平台-煊宏律师事务所 | 影像测量仪_三坐标测量机_一键式二次元_全自动影像测量仪-广东妙机精密科技股份有限公司 | 体感VRAR全息沉浸式3D投影多媒体展厅展会游戏互动-万展互动 | 双工位钻铣攻牙机-转换工作台钻攻中心-钻铣攻牙机一体机-浙江利硕自动化设备有限公司 | 高速混合机_锂电混合机_VC高效混合机-无锡鑫海干燥粉体设备有限公司 | SRRC认证_电磁兼容_EMC测试整改_FCC认证_SDOC认证-深圳市环测威检测技术有限公司 |