word2vec LLMが言葉を扱うための言葉の数値化
2020年代前半から生成AIが一世を風靡しましたが、生成AIの基礎となるLLM（Large Langage Models, 大規模言語モデル）を構築するために、言葉を数値に置き換えることが非常に重要です。コンピュータは数値を扱うことができますが、文字を直接扱うことはできないからです。 そして、単に数値化するといっても、文字を文字コードに置き換えるだけでは、その数字の列に何の意味もないため、単語をベ […]
TAG
2020年代前半から生成AIが一世を風靡しましたが、生成AIの基礎となるLLM（Large Langage Models, 大規模言語モデル）を構築するために、言葉を数値に置き換えることが非常に重要です。コンピュータは数値を扱うことができますが、文字を直接扱うことはできないからです。 そして、単に数値化するといっても、文字を文字コードに置き換えるだけでは、その数字の列に何の意味もないため、単語をベ […]