【悲報】食べログ3.8問題を検証した結果公開

食べログの闇として話題になったその問題とは、
「評価3.8以上は年会費を払わなければ3.6に下げられる」
というものです。

食べログは飲食店についての口コミを集めるサイトで、
その評価は実際のユーザーによって形成されるものとして広く認知されています。

専門的なグルメリポーターでもなく、
一般の人々の素直な感想を集めることで、
その飲食店のリアルな価値が知れると期待して、
利用しているユーザーも多いでしょう。

それだけに、
「食べログが評価を恣意的に操作しているかもしれない」という話は、
瞬く間にネットで話題となりました。

さて、この話は実際に行われていることなのでしょうか。

食べログでは、当然評価点は公開されているので、
このような恣意的な操作があれば、
何らかの形で偏りが見つかるはずです。

ということで、食べログの評価点の偏りを分析して、
奇妙な偏りが存在しないかどうかを調べてみましょう。

評価数が少ないと、小数のユーザーで評価点がバラついてしまうので、
一定以上の評価数がある店舗に絞って情報を取得します。

評価数が少ないと、小数のユーザーで評価点がバラついてしまうので、
一定以上の評価数がある店舗に絞って情報を取得します。

下の図は、横軸を評価数、縦軸を評価点として、
データをプロットしたものです。

評価数と評価点

直観的には評価の数が多いほど評価点が高いイメージがありましたが、
グラフを見る限り、そのような傾向は見えませんね。

また、なんとなく、3.8付近に壁があり、
3.8以下は多いが、3.8以上は少ない様子が見えます。

この傾向をより正確にみるために、ヒストグラム化してみます。

そこで、評価点がどのように分布しているかを調べます。

下の図は横軸を評価点、縦軸のその評価を獲得した店舗数として、
ヒストグラムを示したものです。

評価点のヒストグラム

このグラフで注目したい特徴は以下の二つです。

評価3.8の前後で大きく傾向が変わる
評価3.6付近が異常に多い

評価3.8が壁として一つの天井になっていると言えます。

確かに、3.8以上を強制的に引き下げるという操作をしていれば、
このグラフに矛盾しませんね。

3.6前後の評価は40店舗くらいにも関わらず、
その3～4倍の数の店舗が3.6付近の評価になっています。

明らかに全体の傾向から外れた異常な偏りです。

なるほど、3.8を超えた店舗を3.6に下げるような操作をすれば、
確かにこのような分布の偏りを矛盾なく説明できます。

結果としては、
- 3.8 を超える評価は極端に少ない
- 3.6 付近の評価は異常に多い
という話に矛盾しないような分布の偏りが認められることが分かりました。

もちろん、これだけでは真相は分かりませんが、
他にこの奇妙な偏りを説明することは難しいように思います。

仮に本当に操作が行われていれば、
ユーザーからのリアルな評価が知れるという
口コミサイトの特徴を大きく損なってしまうため、
今後の利用方法を考え直す必要があるかもしれません。

下のグラフが東京の食べログ評価の分布です。

東京の食べログ評価

結果は同様ですが、東京の方がより傾向が明らかに見えます。

https://clean-copy-of-onenote.hatenablog.com/entry/tabelog38_problem

ワイの元バイト先は食べログ3.2でグーグルは4.4やで

学者「この店のパン100gて言うけど、明らかに小さくね？」

パン屋「そんなことないですばらつきがあるだけで」

学者「ほーん、統計とったら分布の中心が100gちゃうんやけど？」

パン屋「」

みたいな本を思い出したわ