ニコニコ動画というか情報学系の話題なのでニコ部でなくこっちで。すでに時期を逸して今更感ただよう例の件について。
精度と再現率
情報検索の学術用語として「精度」と「再現率」というものがある。
「精度」の定義はだいたい以下。
精度 precision
情報検索システムにおいて，ある情報要求あるいは検索質問に応じて検索を行ったとき，検索された情報に含まれる適合情報の割合．どれだけノイズが少ない検索ができたかを示しており（中略）適合性に基づく評価尺度である．（後略）
（図書館情報学用語辞典, p.121-122）
ひらたくいえば，ある漠然とした何かを探したい要求（これを情報要求という）をもって特定の検索を行った場合に，検索結果中に要求に合致するデータ（これを適合情報という）がどれだけの割合出てきたか，を示すもの。ちなみに適合率ともいう。
式で書くと以下のようになる。
精度 ＝ 検索結果中の適合情報の数 ÷ 検索結果の総数
このとき適合情報以外の検索結果をノイズと評する。「検索ノイズが多い」とは精度の低い状態を意味する。
一方，精度と対比される指標として「再現率」というものがある。定義は以下。
再現率 recall ratio
情報検索システムにおいて，ある情報要求あるいは検索質問に応じて検索を行ったとき，データベース中のすべての適合情報に対する検索された適合情報の割合．どれだけ網羅的な検索ができたかを示しており（中略）適合性に基づく評価尺度である．（後略）
（図書館情報学用語辞典, p.78）
こちらは，同じく情報要求をもって特定の検索を行った場合に，その対象となるデータベース上本来存在するはずの情報要求に合致する情報（適合情報）のうち，どれだけが検索結果として現れているか，の指標となる。同じく式で書くと以下。
再現率 ＝ 検索結果中の適合情報の数 ÷ データベース上の適合情報の数
この両指標はシーソーの関係になっているとよく言われる。つまり精度が高ければ再現率は低く（検索結果がほとんど出てこないケース），再現率が高ければ精度が低く（検索結果が非常に多く出るケース）なりやすい。一般的に，これがある程度釣り合った上で高い値になるのが優れた検索であると言われる。
タグ検索の精度
まあなんでこんな専門的で基本的な話をここでしてるかというと，以下の記述が引っ掛かったため。
このニコニコタグというのは、それ自身結構楽しいので、私はタグだけ見て動画を見ないこともよくあるのだが、その一方タグ検索の精度は少し落ちてしまう。
404 Blog Not Found:[これはひどい]の無駄使い - タグに関する一考察
情報検索の用語としての「精度」は上記のとおりノイズの少なさによって評価される。
だがニコニコ動画のある動画についているタグ（その動画と同様の情報要求を満たす対象が検索されることが期待される）をクリックしたとき「元の動画とまったく無関係な動画」（ノイズ）が表示された経験はどれだけあるだろうか？
以下にニコニコ動画のある動画*1についていたタグの一覧と，ある時点でそのタグが付与されていた動画のうち，元動画に顕著なある“ネタ”を共有している動画の割合を算出した。
| タグ名 | 精度 |
|---|---|
| 手描きの画像とすり替えておいたのSA☆ | 2個中2個。100% |
| 充電器販売に貢献している男 | 1個中1個（元動画のみ）。100% |
| 10万回に1回DVDを買ってもらえる男 | 同上。100% |
| スパイダーマ | 30個中29個。96.6% |
| マーベラー | 1個中1個（元動画のみ）。100% |
| 盗んでいきましたシリーズ | 30個中1個。3.3% |
| なかなかDVDを買ってもらえない男 | 1個中1個（元動画のみ）。100% |
| キノコ狩りの男 | 9個中4個。44.4% |
| エンターテイメント | 30個中0個。0% |
| 充電器詐欺発生 | 1個中1個（元動画のみ）。100% |
元動画はそのネタに関連する動画を見たいと思って自分が見つけたものであり，同じネタを共有する動画を他に多数見たいと考え，その動画に付与されているタグを利用して探そうとした，という状況である。この場合，タグから探せる動画のうちにこのネタ関係の動画がどの割合あるかを「タグ検索の精度」と見なせるだろう。*2
以上の仮定から各タグの検索精度をみると，中央値・最頻値はともに100%。比率の平均は約74.4%。これは著しく高い精度といえる。
なお精度の低かったタグのうち，[エンターテイメント]はカテゴリタグ（特殊な性質のあるタグ）であるため，その他の一般的なタグについてはさらに精度は高い傾向があると言える。
一方，同じ動画のブクマについたはてブのタグについて同様の調査を行うとどうだろうか。*3
| タグ名 | 精度 |
|---|---|
| *ニコニコ動画 | 30個中0個。0% |
| *ネタ | 30個中0個。0% |
| ++ワロタ | 30個中0個。0% |
| mad | 30個中0個。0% |
| marisa-stole-the-precious-thing | 22個中1個。4.5% |
| masterpiece | 30個中0個。0% |
| niconico | 30個中0個。0% |
| niconico-all-star | 30個中1個。3.3% |
| nicovideo | 30個中0個。0% |
| remix | 30個中0個。0% |
| sfx | 29個中1個。3.4% |
| spider-man | 2個中2個。100% |
| この発想はなかった | 30個中1個。3.3% |
| ニコニコ動画 | 30個中0個。0% |
| 動画 | 30個中0個。0% |
| 東方 | 30個中0個。0% |
| 特撮 | 30個中0個。0% |
精度の中央値・最頻値，ともに0%。比率の平均は6.7%。言うまでもなく精度は著しく低い。
ニコニコ動画のような対象はあるいははてブにとって苦手な分野といえるかもしれない（というかニコニコのタグはニコニコに特化している）が，その点でいってもこの値は低いといえる。
厳密には複数の動画について同様の調査を行う必要がある*4が，上記のような傾向は経験的にニコニコ動画全体に見られる。
そう。タグ検索の精度はニコニコ動画の方が明らかに高いのだ。*5
では一方，再現率についてはどうだろう。
注意すべきなのは，ニコニコ動画のタグはそのほとんどがその動画自身しか所属していない孤立したタグである点。上記の例では10件中5件もがそうしたタグであり，このことはこれらのタグの再現率が非常に低いことを強く推定させる（関連する動画は一定数あると思われるが，その一つとしてこれらのタグは付与されていないことになる）。当然ながらあまりに再現率が低いため，これらのタグは検索上使い物にならない。*6この傾向もニコニコ動画では経験的に見られる。
再現率の比較調査は行わないが（実際に動いているデータベースにおいての再現率の調査は一般に困難とされる）はてブの方には多数の動画が検索結果として引っかかっている以上，タグによる検索の再現率の平均はニコニコと比べれば有意に高いだろう。
上記をまとめると，タグ検索の精度は「ニコニコ＞はてブ」であり，再現率は「はてブ＞＞ニコニコ」と言える。
「使いやすいが面白みに欠けるはてブ、面白いが使いやすさに欠けるニコニコ動画」というdankogaiの見解はおおむね同意できるが，情報学上その理由を示す表現は精度ではなく，再現率を用いるほうが適切である。
もちろん，dankogaiが学術用語の定義で「精度」という語句を用いる義理は一切ないので，別に氏が誤っているという意味ではない。*7検索の機能性で両者を比較するのであれば，ちゃんと定義された用語である「精度」と「再現率」を用いた方が結局はわかりやすいのではないか，ということである。
精度（ノイズの少なさ）と再現率（検索の網羅性）を用いるとニコニコ動画のタグが「使いやすさに欠ける」ことは以下のように表現できる。
- ほとんどのタグは一般に精度は高いものの再現率が致命的に低く，検索上使い物にならない。
- カテゴリタグは一般に再現率は高いものの精度が致命的に低く，やはり有用でない。
- ニコニコ動画においては一定以上の再現率をもち適切な精度をもつ有用なタグは希少である。
- 結論：使いづらい
平たく言えば，ネタタグでは他の動画は滅多に引っ掛からないし，カテゴリタグは逆に動画が多すぎるし，また[スパイダーマ][組曲『ニコニコ動画』]や[初音ミク]といった便利なタグは全体のタグの中にわずかしかない，ということ。
このへんは実際にニコニコでタグを使ってる人には納得できるんじゃないかと思う。
*8
上記のように整理すれば，どうすればニコニコのタグを「使いやすく」できるかも考えやすい。
自分の随想では以下のような感じ。
- ほとんどのタグは一般に精度は高いものの再現率が致命的に低く，検索上使い物にならない。
- タグの再現率を上げれば有用なタグが増える。
- ネタタグの再現率を上げるのは困難であるが，ネタタグ同士が偶然一致してタグがつながるケースが若干ある（例．キノコ狩りの男）
- 動画に付与されるタグ数が増えればこうした偶然が増え，有用なタグの数が増えるのではないか。
- タグの10個制限を拡大するのはどうか？ あるいはうp主による固定タグは10個制限に含めない等。
- タグの10個制限は代謝を促す意図らしいが，その目的でも10個という数が適当かは再考の余地がないか？
- あるいはタグ追加時に関連ありそうなタグを候補として出すとか？（例.はてブ）
- 機械的に関連タグをオススメする機能が必要。
- めんどそう。似たようなタグばっかになるのもつまらない。
- カテゴリタグは一般に再現率は高いものの精度が致命的に低く，やはり有用でない。
- カテゴリタグの精度を上げれば有用性が上がる。
- そのためには一つのカテゴリに入る動画を減らせばよい。具体的にはカテゴリタグを増やす。
- カテゴリタグは20個超と現状でも十分多い。
- 初音ミク動画が[音楽][歌ってみた][演奏してみた]に分かれて入ってる等，カテゴリタグが有効に働いていないケースもある。
- 無闇に増やすのは問題。
- カテゴリタグに階層性をもたせるのはどうか。たとえば[音楽]のサブカテゴリが[歌ってみた][演奏してみた][オリジナル曲][PV][ライブ]等になる感じ。
- システム的にめんどそうな予感。あとあんまりいじるとカオス。
- ここは今まで通り，適宜増やす，ぐらいが妥当かも？
- ニコニコ動画においては一定以上の再現率をもち適切な精度をもつ有用なタグは希少である。
- 有用なタグを探す仕組みを改良すれば使いやすくなる
- ここらへんが一番有効かも？
- 動画のタグに絞り込み結果数の先読み表示機能をつけたらどうか
- 注目のタグ一覧を改良する
- 現状でも有用そうなタグのリストは得られるが，イマイチ探しづらい。
- 注目のタグ一覧もカテゴリ動画で分けるとか？
- タグ毎に人気のある動画のサムネイルとかを表示すると見やすいかも？
- マイリストを読み込んで，登録動画のタグをタグクラウドにするとかどうだろ？
- それこそ外部サイトで作ったらいいかも。
- 公開マイリストはRSS拾えるし，タグ名はログインしなくても取得できるのでわりと簡単に作れそう。
- つーかこのへんの仕組みはニコニコ外でやった方がいいかもしれない。
- 案まとめ
- 動画に付与できるタグ数は再考してもよいかも。代謝をうながすにしても適切な個数であるか
- カテゴリタグの数の調整も有効かもだが，このへんは微妙か。
- 有用なタグを探すための機能の向上は必要。ただしこれは必ずしもニコニコ自体でやらなくてもよい。
- 誰か作って。もしくは自分で作る
もっともらしい語句を使うと，単なる思いつきももっともらしい提案みたいになっていいですよね（ﾏﾃ
*1:タグ見るだけで何の動画か分かる気もしますが
*2:ただしタグの全動画を確認するのは困難なので，タグ検索のデフォルトである「コメントが新しい」で表示されるもの（最大30件）を対象とした。
*3:上記と同条件。こちらはタグの注目エントリから取得で同じく最大30件
*4:たとえばカテゴリタグは一般に精度が低い（検索結果が多い）ので複数のカテゴリタグをつけている動画では大幅に落ちるだろう
*5:調査の方法について異論を唱える向きはあると思うが，タグを用いた検索は上記のように代表的なレコードからたどるのが一般的である。たとえば図書館の件名はそのように用いる。タグの一覧から探した方が良いという主張もあるだろうが，それはNDCの一覧を頭に入れてから本を探せというようなもので，自然語索引を用いているソーシャルなタグの特性を無視している。
*6:検索上使い物にならないが，それ以外の理由で有益なのは他のエントリにあるとおり。
*7:むしろ氏は「再現率」の意味で「精度」という語句を使ったのかもしれない。あくまで狭い領域で用いられている学術用語なので誤用というほどではない。また「タグ検索」の解釈が異なり，「タグによる検索」の精度でなく，「有効なタグを探す検索」の精度の話であればまた違うだろう。もっともその場合もはてブが高いとはちょっと言いづらいが
*8:ちなみに本題は「こういうふうに整理できる」までで，これ以下の改善案は蛇足でありました。こう整理すればこんなふうにも考えられますよね，って話。つーか書いてる途中の思いつきなんで全然まとまってませんので許してorz
*9:今回気づいたのですが，ニコニコチャートは本家より便利そうなタグクラウドがあったりタグ検索機能があったりとタグ系はかなり強いですね。
