107. LLMをゼロから作るということ W/ Takahiro Omi Fukabori.fm podcast

7M ago 38:22

Contenu fourni par iwashi. Tout le contenu du podcast, y compris les épisodes, les graphiques et les descriptions de podcast, est téléchargé et fourni directement par iwashi ou son partenaire de plateforme de podcast. Si vous pensez que quelqu'un utilise votre œuvre protégée sans votre autorisation, vous pouvez suivre le processus décrit ici https://fr.player.fm/legal.

ストックマークの近江さんをゲストに、大規模言語モデルをゼロから作る方法、学習のデータセット、モデルアーキテクチャ、学習環境への取り組みなどについて語っていただきました。

話したネタ

どのような大規模言語モデルと作ったのか？特徴は何か？
データセットに何を使ったのか？
日本語と英語とのバランスは？
最終的なToken数は？
事前学習モデルを作りたいとして、何から考えるのか？
ノイズのクリーニングと、その方法
今回活用したモデルアーキテクチャ(Llama)
前回のアーキテクチャは GPT-NeoX
今回の学習環境は？
AWS Trainum 32コア x 16ノード
学習にかかった時間は？
学習時に大変だったこと・上手くいかなかったことは？
学習中のチェックポイントとは何か？
なぜ、Token生成が速いのか？
手元でLLMを動かすときの一番のネックは？
bit数を落とすFineTuning
Tokenizerとは何か？
日本語の単語区切りはどのように考えるのか？
今回のLLM作成のTokenizerは何を使ったのか？
ビジネスドメインでのLLM評価
ストックマーク株式会社のRecruitページ

See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.

116 episodes

話したネタ

どのような大規模言語モデルと作ったのか？特徴は何か？
データセットに何を使ったのか？
日本語と英語とのバランスは？
最終的なToken数は？
事前学習モデルを作りたいとして、何から考えるのか？
ノイズのクリーニングと、その方法
今回活用したモデルアーキテクチャ(Llama)
前回のアーキテクチャは GPT-NeoX
今回の学習環境は？
AWS Trainum 32コア x 16ノード
学習にかかった時間は？
学習時に大変だったこと・上手くいかなかったことは？
学習中のチェックポイントとは何か？
なぜ、Token生成が速いのか？
手元でLLMを動かすときの一番のネックは？
bit数を落とすFineTuning
Tokenizerとは何か？
日本語の単語区切りはどのように考えるのか？
今回のLLM作成のTokenizerは何を使ったのか？
ビジネスドメインでのLLM評価
ストックマーク株式会社のRecruitページ

See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.

1
くりらじ Tech Avenue

くりらじ

1
足立明穂の週刊ＩＴトレンドＸ

足立明穂の週刊ＩＴトレンドＸ

1
トレンドウォッチ

くりらじ

1
Rebuild

Tatsuhiko Miyagawa

1
backspace.fm

backspace.fm

1
Apple News Radio ワンボタンの声

ワンボタンの声制作委員会

1
そんない雑貨店

そんないプロジェクト

Podcasts qui valent la peine d'être écoutés

fukabori.fm « »
107. LLMをゼロから作るということ w/ Takahiro Omi