【院試解答】東大院工学系研究科電気系工学専攻 2022年問題3

免責

　この解答・解説は当ブログ管理人のものであり、間違っている可能性もあります。
　この記事の記載内容によって生じた損失や損害については、当ブログ管理人は一切責任を負いません。

　が、間違っている箇所や、よりよい解法があれば後から見に来た人のためにもコメント欄に残していってもらえると、幸いです。

　あと、解説でこれが解ければ院試は受かる、的なことを言っていますが、一回しか院試を受けたことがない管理人の所感なので真剣にはあてになさらず。
　でももちろん、管理人が実際にそう感じたことを書いています。

問題

　東大院工学系電気系工学専攻2022年問題3

解答

I

(1) 難易度:普通

-(0.75 log 0.75 + 0.25 log 0.25) = 0.8

(2) 難易度:普通

下図は一例。
───┬─0────────── 0  : 00 = 9/16
   └─1─┬─0────── 10 : 01 = 3/16
       └─1─┬─0── 110: 10 = 3/16
           └─1── 111: 11 = 1/16
平均符号長は

(9/16) + (3/16) * 2 + (3/16) * 3 + (1/16) * 3 = 27/16 = 1.6

(3) 難易度:普通

      X        Y
0.25: 1 ─────── 1 : 0.25 + 0.75 * 20% = 0.40
　　         ─┐ 0.75 * 20%
           ／
         ／
0.75: 0 ─────── 0 : 0.75 * 80% = 0.60
Yで、1となる確率は 0.25 + 0.75 * 20% = 0.40
(もしくは 80% * 0.25 + 20% = 0.40か。
最初こう考えたが図で表しづらく他に応用が利かないと思った。)
よって、H(Y) = -(0.4 log 0.4 + 0.6 log 0.6) = 0.94
また、
H(Y|X) = -(0.25 log 100% + (0.75*20%) log 20% + (0.75*80%) log 80%) = 0.53
I(X; Y) = H(Y) - H(Y|X) = 0.41
(H(Y{X)、I(X; Y)は計算機と答えが違う)

(4) 難易度:難しめ

ただし、Hの筆記体はエントロピー関数。書くのを忘れたが、解答では断りを入れたほうがいいだろう。
途中式を省略しているため短く見えるかもしれないが、全然簡潔ではない。
間違ってはいないだろうが、簡潔ではないので多分答えではない。が、いったいなんと答えれば正解だったんだろう…。
pを0.5より小さくすれば100%出力が反転しない1の割合が増えるので、H(Y|X)は減る。
が、同時に出力の0の割合が減るので、H(Y)も減る。これで、最初だけH(Y)が増加するとかだったらよかったが、H(Y)のピークは0.8p=0.5となるp=0.625>0.5なので0.5より左側はバリバリ単調増加である。
もし、分かった人がいたら下のコメント欄でぜひ、教えてほしい。