12月6日,谷歌正式發(fā)布Gemini人工智能模型。根據谷歌官方稱,Gemini1.0是目前為止谷歌能力最強的通用人工智能模型,一共有三種不同規(guī)模的優(yōu)化版本,其中Pro版本已經安裝到Bard上了,綜合能力和GPT3.5相當。
https://bard.google.com/
谷歌Gemini一共有三個版本,分別是:
Gemini Ultra:谷歌最大、最強模型,適用于高度復雜的任務
Gemini Pro:可擴展至各種任務的Gemini模型
Gemini Nano:適用于端側設備的高效Gemini版本(1.8B/3.25B)
其中Ultra的能力最強,復雜度最高,能夠處理最為困難的任務,Pro能力稍弱,可以用來處理多任務,Nano則更注重于端側的處理能力。
谷歌表示,對Gemini模型進行了嚴格的測試,并評估了它們在各種任務中的表現。
從自然圖像、音頻和視頻理解,到數學推理等任務,Gemini Ultra在大型語言模型研發(fā)被廣泛使用的32個學術基準測試集中,在其中30個測試集的性能超過當前SOTA結果。
另外,Gemini Ultra在MMLU(大規(guī)模多任務語言理解數據集)中的得分率高達90.0%,首次超越了人類專家。MMLU數據集包含數學、物理、歷史、法律、醫(yī)學和倫理等57個科目,用于測試大模型的知識儲備和解決問題能力。
針對MMLU測試集的新方法使得Gemini能夠在回答難題之前利用其推理能力進行更仔細的思考,相比僅僅根據問題的第一印象作答,Gemini的表現有顯著改進。
谷歌還專門公布了在各方面能力上與OnpeAI目前最強的大語言模型GPT-4進行的對比,結果顯示,在文本處理方面,除了在MMLU得分90%超過GPT-4的86.4%以外,Gemini Ultra在推理、數學、代碼等方面能力的得分均高過GPT-4。
在多模態(tài)方面,Gemini也在包括圖像、視頻、音頻等各個方面全面超越了GPT-4的能力。根據谷歌首席科學家、人工智能負責人的描述,Gemini模型在多模態(tài)模型推理能力方面已經達到驚人的程度。