Googleが重複コンテンツチェックし検知する技術の特許

みなさんこんにちは。アナリストの荒木です。

前回の記事では、パンダアップデートの生みの親が出願した特許をご紹介しました。

パンダアップデートでは、重複コンテンツは低品質として検索順位に影響を与えると考えられています。

今回は、Googleが取得した特許から重複コンテンツを検知するために使う可能性がある技術をご紹介します。
※Googleの検索アルゴリズムに導入されている保証はありませんのでご注意ください。
※本特許では、重複コンテンツを同一ページ内のテキストと定義します。
※記事に掲載している例文は当方が独自に作成した文章です。

ご紹介する特許の全文は、下のリンクからご覧いただけます。
（別ウィンドウで表示されます）
今回取り扱う特許：Document similarity detection
※和訳：「文書の類似性検知」という特許名からもわかるように、重複するページをチェックし検知するための技術が掲載されております。

本特許のコンセプトはとてもシンプルで、
同じ単語のペアをたくさん持つページは似ているページ
と考えます。

1.単語のペアを作る

はじめに、以下の文章について考えます。

• 文章A：彼の合図であなたの周りを私は走る
• 文章B：私の合図で彼の周りをあなたは走る

この2つの文章は全て同じ単語で構成されていますが、主語と述語の関係が違うため意味が全く異なります。

そこで今回の特許では単語の並び順に注目します。
単語の前後関係を保ったままペアを作ると、文章に応じて異なる単語のペアが作成出来ます。

• 文章A：[彼, 合図] [あなた, 周り] [私, 走る]
• 文章B：[私, 合図] [彼, 周り] [あなた, 走る]

それぞれの文章における単語ペアの関係は以下の通り表せます。
※彼を赤字、あなたを緑字、私を青字で表示してます。

2.類似性をチェックする

次にこの単語のペアを使って、文章間の類似性をチェックします。

ここでは仮に、重複コンテンツとして文章Aを並び替えただけの文章A’を用意し、文章間の類似性を計算する方法をご紹介します。
文章A：彼の合図であなたの周りを私は走る
文章A’：あなたの周りを彼の合図で私は走る

文章A’における単語のペアは以下の通りとなり、元の文章と同じ単語のペアが作られることが分かります。
文章A’：[あなた, 周り] [彼, 合図] [私, 走る]

各文章において一致する単語のペア数を数えると、文章A-A’間では3つ一致し、文章B-A’間では一致する単語のペアはありません。

このことから、文章A’は文章Bよりも文章Aの方が類似性が高いと判断する事が出来ます。

この手法を使って、「同じペアを一定個数以上持つページは重複コンテンツ」と定義すると、ある文章が重複コンテンツか判断する事が出来ます。

まとめ

重複コンテンツを検知するために重要な点は

• 単語のペアをうまく作ること
• 文書同士で単語のペアの下図を数えること

でした。
この「単語のペアのうまい作り方」は、Googleのノウハウです。
「何単語後の単語をペアとする」はトライアンドエラーによって最適な数値を見つけると思います。

また、この技術は文章間の類似性を計算する技術の一部でしかありません。ただし、この技術により言葉の係り受けを考慮する必要がなくなります。
更に、特許では単語のペアだけではなく、HTMLタグのペアにも応用出来る旨が記載されています。
もしかしたらHTMLタグが同じで言葉だけ変えたようなサイトも重複コンテンツとして認識される日が来るかもしれませんね。

重複コンテンツをチェックできるツールには文章の一部を指定し、似ている文章が使われているWebページを見つけてくれる便利なものがあります。
文章を指定せずにWebページ同士の類似度をチェックできることがご紹介した技術の優れた点でもあると思いました。

長文にお付き合い頂きありがとうございました！