文章からキーワードを抽出する実践的なガイド：YAKE!とエクセルを活用した効率的な方法

YAKE!は教師なしキーワード抽出手法で、既存の手法との違いは単語の出現位置を考慮することです。

最初に出現する単語ほど高く評価され、編集距離で近い単語を除外するため、前処理の必要性が低くなります。

ただし、日本語での使用時はストップワードの不足に注意が必要です。

YAKE!は特定の文章の種類で効果を発揮するため、TF-IDFなどの手法と併用が期待されます。

YAKE!は、文書から重要なキーワードを抽出するアルゴリズムです。

その処理は、5つのステップで行われます。

1. 分割：文書を単語に分割します。

2. 特徴量抽出：各単語の特徴量を5種類計算します。

3. 単語スコア計算：特徴量から各単語の重要度スコアを計算します。

スコアが低いほど重要な単語とみなされます。

4. 候補キーワードリスト生成：重要度スコアからn-gramでキーワードを抽出します。

-gramフレーズのスコアは、各単語のスコアを乗算した分子と、フレーズの出現頻度と単語スコアの積を乗算した分母の比で計算されます。

5. データ重複削除：レーベンシュタイン距離を使用して、類似した単語を排除します。

本記事では、教師なしキーワード抽出の手法であるYAKE!が紹介されています。

株式会社AI Shiftに所属するAIチームの戸田氏が執筆しており、YAKE!ライブラリを使用してキーワードを抽出し、3-gram、上位10件のキーワードを表示しています。

テキストマイニングをエクセルで行うには、文章の単語化（形態要素分解）、単語の頻度集計、そしてワードクラウドの作成という処理が必要になります。

形態要素分解にはMeCabやJanomeなどの形態素解析エンジンを使用し、「分かち書き」という手法で単語を区切ります。

また、頻度集計では、エクセルのCOUNTIF関数を利用する方法が一般的ですが、データ量が多い場合や条件が複雑な場合は、エクセルの関数では対応できない可能性があります。

テキストマイニングを効果的に行うには、エクセルではなく専用ツールを使用することが望ましい。

専用ツールは、無料版でもワードクラウドの作成や単語出現頻度の集計が容易にできる。

無料のテキストマイニングツールを紹介しているページもあるので、活用することで、自社に合った方法を見つけることができる。

エクセルでのテキストマイニングはデータ量や内容に限界があり、より精度の高い分析には専用のツールを使用することが望ましい。

フリーのソフトウェアやアドインを利用したり、プログラミングによる開発も可能。

ツールを活用することで、より包括的なテキストマイニングを実施できる。