重複単語チェッカーでできること
文章には、気づかないうちに繰り返しが入り込みます。文を途中で書き直したときに「the the」と打ってしまう。1つの段落で同じ形容詞を3回使ってしまう。どの単語も綴りは正しいので、スペルチェッカーはどちらも見逃しがちです。
このツールは2種類の繰り返しを探します。
- 連続した重複語：「to to」や「is is is」のように、同じ単語が2回以上続けて書かれたものです。ほぼ確実に入力ミスなので、ツールでまとめて削除できます。
- 繰り返し使われている単語：テキスト内のあちこちで何度も出てくる単語です。誤りではありませんが、文章が単調に感じられる原因になります。ツールは回数付きで一覧にし、すべての出現箇所を強調表示します。
いちばん得意なのは、英文のメール、レポート、エッセイの見直しです。日本語の文章も貼り付けられ、繰り返し使われている単語の一覧では、ブラウザーの単語分割機能（Intl.Segmenter）で日本語を単語に分けてから数えます。ただし、よく使われる単語のリストは英単語だけなので、「の」「は」のような助詞も一覧に出てきます。一方、連続した重複語は単語の間にスペースがある場合だけ検出するので、「池の池の」のように日本語の中で続けて書いた重複は見つかりません。また、日本語の文の途中にある単語は、繰り返しでも強調表示されないことがあります。
使い方
- テキストをテキスト欄に貼り付けます。
- 右側の連続した重複語を確認します。見つかった場合は、連続した重複語を削除を押すとまとめて修正できます。
- 繰り返し使われている単語を確認します。各チップには「pond ×4」のように単語と出現回数が表示されます。
- 単語のチップを選ぶと、下のプレビューでその単語だけが強調表示されます。もう一度選ぶと、すべての繰り返しの強調表示に戻ります。
- 基準を上げたい場合は、この回数以上使われた単語を表示を使います。長い文章では3や4に設定してください。
- 「the」「and」「to」のような単語も見たい場合は、よく使われる単語を除外をオフにします。
下部のプレビューには、繰り返し使われている単語が色付きで、連続した重複語が波線の下線付きで表示されます。
仕組み
連続した重複語については、ある単語の後にスペースがあり、また同じ単語が続く箇所を探します。大文字・小文字は区別しないので、「That that」も検出されます。2つの単語の間が改行でも検出されるため、1つ目が行末に、2つ目が次の行頭に来るよくあるミスも見つけられます。「1 1」のような1文字の英字や数字の組み合わせは、リストやコードで意図的に使われることが多いため対象外です。
繰り返し使われている単語については、テキストを単語に分割して小文字にそろえ、それぞれの出現回数を数えます。よく使われる単語を除外がオンの場合、冠詞、代名詞、助動詞など、約200語の頻出英単語の組み込みリストを集計から除きます。「don’t」や「well-known」のようにアポストロフィやハイフンでつながった語は1語として数えます。
例
ツールに最初から入っているサンプルテキストは次のとおりです。
Our new garden was a big project. We planned the the garden for months, and the garden now has a pond. The pond is small, but the pond attracts frogs. Next year we want to to add a bench next to the pond.
| ツールが見つけるもの | 結果 |
|---|---|
| 連続した重複語 | 「the the」と「to to」 |
| 繰り返し使われている単語（よく使われる単語を除外） | pond ×4, garden ×3, next ×2 |
| 繰り返し使われている単語（よく使われる単語も含め、3回以上） | the ×6, pond ×4, a ×3, garden ×3, to ×3 |
連続した重複語を削除を押すと、「We planned the garden for months」と「Next year we want to add a bench next to the pond.」になります。ほかの部分は変わりません。
別のテストでは、「Paris in the the spring. That that is is fine. Had had cases.」から「the the」「That that」「is is」「Had had」の4つの連続した重複語が見つかりました。
重複が正しい場合
英語には、同じ単語が本当に2回続く構文がいくつかあります。
- had had：「She had had enough by noon.」
- that that：「He said that that was the plan.」
- is is：「What the problem is is the cost.」くだけた言い方ですが、話し言葉ではよく使われます。
ツールはこれらを入力ミスと区別できないので、すべて検出します。削除ボタンを押す前にプレビューで1つずつ確認するか、入力欄で手作業で直してください。
繰り返し語を直すコツ
- 一部を代名詞に置き換える：読み手に何を指しているか伝わった後なら、「the pond」は「it」にできます。
- もっと具体的な単語を使う：「the garden」は「the vegetable bed」や「the lawn」かもしれません。
- 同じ主語を繰り返している文はまとめる。
- 重要な用語は統一する。技術文書や法律文書では、読み手を混乱させかねない類義語に言い換えるより、同じ用語を繰り返す方がよい場合がよくあります。
制限事項
- 単語は形どおりに数えるので、「garden」と「gardens」は別々に数えられます。
- とても長い文章は、ページの反応を保つため、入力が少し止まった後にチェックされます。
- よく使われる単語のリストは英語のみです。ほかの言語ではオフにしてください。
すべての単語を割合付きでランキングした表が欲しい場合は、単語出現頻度カウンターを使ってください。単語ではなくリストの重複行を削除したい場合は、重複行削除ツールが使えます。文の長さも同時にチェックしたい場合は、下書きを文数カウンターに貼り付けてください。
繰り返し語を見つけるほかの方法
Microsoft Word は、スペルチェックで一部の連続した重複語を指摘しますが、使いすぎの単語は一覧にしてくれません。Google ドキュメントも、一部の言語では同じように指摘します。検索（Ctrl+F）を使えば、1語ずつ回数を数えられます。コードでは、大文字・小文字を区別しないフラグを付けた \b(\w+)\s+\1\b のような正規表現で、正規表現に対応したほとんどのエディターで連続した重複語を探せます。