Gemma 開放模型

一系列先進的輕量級開放式模型,採用與建立 Gemini 模型時相同的研究成果和技術

「負責任的設計」圖示

融入負責考量的設計

這些模型採用全面的安全措施,透過精心挑選的資料集和嚴格的調整,確保提供負責任且值得信賴的 AI 解決方案。

不相符的效能圖示

無可匹敵的規模

Gemma 模型以 20 億、7B、9B 和 270 億大小的規模達到優異的基準,成效甚至超越一些大型開啟模型。

架構彈性

架構彈性

Keras 3.0 與 JAX、TensorFlow 和 PyTorch 完美相容,你可以根據工作需求輕鬆選擇及切換架構。

5 格式

MMLU

MMLU 基準測試可評估大型語言模型在預先訓練期間獲得的知識廣度和解決問題能力。

25 格

ARC-C

ARC-c 基準是 ARC-e 資料集的子集較為重點,只會包含一般 (擷取基礎和字詞共發生) 演算法錯誤回答的問題。

5 鏡頭

GSM8K

GSM8K 基準測試可測試語言模型解決小學程度數學問題的能力,這類問題通常需要多個推理步驟才能解決。

3-5-shot

AGIEval

AGIEval 基準是藉由實際測驗目的是評估人類智能能力而提出的問題,測試語言模型的一般情報。

3 次拍攝、思維鏈

BBH

BBH (BIG-Bench Hard) 基準測試著重於目前語言模型無法勝任的任務,在各種推理和理解領域測試其極限。

3 鏡頭、F1

丟棄

DROP 是閱讀理解基準測驗,需要針對段落進行獨立推理。

5 鏡頭

Winogrande

Winogrande 基準測試可測試語言模型解決含糊的填空題任務的能力,這些任務需要一般常識推理,並提供二元選項。

10 格

HellaSwag

HellaSwag 基準測試會要求語言模型選擇最合乎邏輯的故事結局,以測試模型理解和運用常識推理的能力。

4 格式

MATH

MATH 會評估語言模型解決複雜數學應用題的能力,這類題目需要推理、多步驟解題,以及理解數學概念。

0 張相片

ARC-e

ARC-e 基準測試會使用真實的國中科學選擇題,測試語言模型的進階問答技巧。

0 張相片

PIQA

PIQA 基準測試會透過回答日常物理互動問題,測試語言模型理解和運用物理常識知識的能力。

0 張相片

SIQA

SIQA 基準評估語言模型對社交互動和社會常識的理解程度,方法是詢問有關人類行為和社會意涵的問題。

0 張相片

Boolq

BoolQ 基準測試可測試語言模型回答自然出現的「是/否」問題的能力,藉此測試模型執行真實自然語言推論作業的能力。

5 格畫面

TriviaQA

TriviaQA 基準測試會使用問答證據三元組測試閱讀理解技巧。

5 格式

NQ

NQ (自然問題) 基準測試會測試語言模型在整維維基百科文章中找出並理解答案的能力,以模擬真實世界的問題回答情境。

pass@1

HumanEval

HumanEval 基準測試會評估語言模型的解決方案是否通過程式設計問題的功能單元測試,以此測試語言模型的程式碼產生能力。

3 張相片

MBPP

MBPP 基準測試可測試語言模型解決基本 Python 程式設計問題的能力,並著重於基本程式設計概念和標準程式庫的使用方式。

100%

75%

50%

25%

0%

100%

75%

50%

25%

0%

Gemma 1

25 億次觀看

42.3

Gemma 2

26 億

51.3

Mistral

7B

62.5

LLAMA 3

8B

66.6

Gemma 1

7B

64.4

Gemma 2

90 億

71.3

Gemma 2

270 億次

75.2

Gemma 1

25 億

48.5

Gemma 2

2.6B

55.4

Mistral

7B

60.5

青草 3 號星

80 億

59.2

Gemma 1

7B

61.1

Gemma 2

90 億

68.4

Gemma 2

270 億次

71.4

Gemma 1

25 億

15.1

Gemma 2

2.6B

23.9

Mistral

7B

39.6

LLAMA 3

8B

45.7

Gemma 1

7B

51.8

Gemma 2

90 億

68.6

Gemma 2

27B

74.0

Gemma 1

25 億次觀看

24.2

Gemma 2

26 億

30.6

Mistral

7B

44.0 版

LLAMA 3

8B

45.9 人

Gemma 1

70 億

44.9

Gemma 2

90 億

52.8

Gemma 2

270 億次

55.1

Gemma 1

25 億

35.2

Gemma 2

2.6B

41.9 人

Mistral

7B

56.0

LLAMA 3

8B

61.1

Gemma 1

70 億

59.0 版

Gemma 2

90 億

68.2

Gemma 2

270 億次

74.9

Gemma 1

25 億

48.5

Gemma 2

26 億次

52.0

Mistral

7B

63.8

LLAMA 3

8B

58.4

Gemma 1

7B

56.3

Gemma 2

90 億

69.4

Gemma 2

27B

74.2

Gemma 1

25 億次觀看

66.8

Gemma 2

2.6B

70.9

Mistral

7B

78.5

LLAMA 3

8B

76.1

Gemma 1

7B

79.0

Gemma 2

90 億

80.6

Gemma 2

270 億次

83.7

Gemma 1

25 億

71.7

Gemma 2

26 億次

73.0 版

Mistral

7B

83.0

LLAMA 3

8B

82.0

Gemma 1

70 億

82.3

Gemma 2

90 億

81.9 人

Gemma 2

27B

86.4

Gemma 1

25 億次觀看

11.8

Gemma 2

26 億

15.0

Mistral

70 億

12.7

Gemma 1

70 億

24.3

Gemma 2

90 億

36.6

Gemma 2

27B

42.3

Gemma 1

25 億

73.2

Gemma 2

2.6B

80.1

Mistral

7B

80.5

Gemma 1

7B

81.5

Gemma 2

90 億

88.0

Gemma 2

27B

88.6

Gemma 1

25 億次觀看

77.3

Gemma 2

26 億次

77.8

Mistral

70 億

82.2

Gemma 1

7B

81.2

Gemma 2

90 億

81.7

Gemma 2

27B

83.2

Gemma 1

25 億

49.7

Gemma 2

2.6B

51.9 人

Mistral

7B

47.0

Gemma 1

7B

51.8

Gemma 2

90 億

53.4

Gemma 2

27B

53.7

Gemma 1

25 億

69.4

Gemma 2

26 億次

72.5

Mistral

7B

83.2

Gemma 1

70 億

83.2

Gemma 2

90 億

84.2

Gemma 2

27B

84.8

Gemma 1

25 億

53.2

Gemma 2

2.6B

59.4

Mistral

7B

62.5

Gemma 1

7B

63.4

Gemma 2

90 億

76.6

Gemma 2

270 億次

83.7

Gemma 1

25 億

12.5

Gemma 2

26 億次

16.7

Mistral

7B

23.2

Gemma 1

7B

23.0

Gemma 2

90 億

29.2

Gemma 2

27B

34.5

Gemma 1

25 億

22.0

Gemma 2

2.6B

17.7

Mistral

70 億

26.2

Gemma 1

7B

32.3

Gemma 2

90 億

40.2

Gemma 2

27B

51.8

Gemma 1

25 億

29.2

Gemma 2

26 億次

29.6

Mistral

70 億

40.2

Gemma 1

7B

44.4

Gemma 2

90 億

52.4

Gemma 2

27B

62.6

*這是預先訓練模型的基準,如要進一步瞭解其他方法的成效,請參閱技術報告。

Gemma 模型系列

新推出

Gemma 2

Gemma 2 提供三種全新的強大且高效模型,參數大小分別為 20 億、90 億和 270 億,並內建進階安全機制。

新推出

DataGemma

DataGemma 是第一個開放的模型,用來連結大型語言模型與 Google 的 Data Commons 服務所產生的大量實際資料。

Gemma 1

Gemma 模型是輕量型、文字對文字、僅解碼器的大型語言模型,以大量文字、程式碼和數學內容資料集訓練而成,可用於各種自然語言處理工作。

RecurrentGemma

RecurrentGemma 是技術獨有的模型,運用循環類神經網路及局部注意力提高記憶體效率。

PaliGemma

PaliGemma 是個以 PaLI-3 為靈感的開放式視覺語言模型,運用 SigLIP 和 Gemma 做為多功能模型,專門用於轉移到各種視覺語言工作。

CodeGemma

CodeGemma 運用原始預先訓練 Gemma 模型的基礎,提供強大的程式碼完成和生成功能,並適應本機電腦的大小。

開發人員快速入門指南

Gemma 食譜集

探索一系列實用的食譜和範例,展示 Gemma 的強大功能和多樣性,例如使用 PaliGemma 為圖片加上說明、使用 CodeGemma 產生程式碼,以及使用微調的 Gemma 模型建構聊天機器人。

負責任的 AI 技術開發作業

設計責任

以精心挑選的資料進行預先訓練,並針對安全性進行調整,有助於透過 Gemma 模型開發安全又負責任的 AI 技術。

穩健且公開透明的評估

透過全面評估和公開的報告,揭露模型限制,以便針對每個用途採用負責任的方法。

推動負責任的開發作業

負責任的生成式 AI 工具包可協助開發人員設計及實施負責任 AI 最佳做法。

Google Cloud 圖示

已針對 Google Cloud 完成最佳化調整

您可以使用 Google Cloud 上的 Gemma 模型,透過 Vertex AI 的全代管工具或 GKE 的自行管理選項,根據特定需求進行深入自訂,然後部署至靈活且具成本效益的 AI 最佳化基礎架構。

運用 Google Cloud 抵免額加快學術研究速度

學術研究計畫已於日前結束申請,並授予 Google Cloud 抵免額,協助研究人員使用 Gemma 模型突破科學探索。我們很期待這項計畫帶來的突破性研究。

敬請密切留意,以便在日後透過 Google Cloud 推進研究。

加入社群

與機器學習模型社群中的其他成員互動交流,並分享您的知識。