情報理論１

科目名	情報理論１
教員名	古市茂
単位数	2	学年	3	開講区分	文理学部（他学部生相互履修可）
科目群	情報科学科
学期	前期	履修区分	選択必修

授業概要	情報理論について入門的に概説する．
授業のねらい・到達目標	自己情報量・エントロピー・定常情報源などの基本事項を理解でき，情報源符号化の方法について理解できるようになる．情報源符号化定理を理解した後，シャノン符号、ファノ符号、ハフマン符号のアルゴリズムを理解できるようになる．この科目は文理学部(学士(理学))のディプロマポリシーDP6及びカリキュラムポリシーCP9に対応しています。
授業の方法	担当教官による講義．本授業の事前・事後学習は，各2時間の学習を目安とする.

授業計画
1	序論として情報のモデル化・情報量・情報の発生・情報の表現・情報の伝送、およびこれらのモデル化について概説する． [事前学習:教科書1章を読んでおくこと] [事後学習:教科書1章の内容を理解しておくこと]
2	情報量とエントロピー [事前学習:教科書2章を読んでおくこと] [事後学習:教科書2章の内容を理解しておくこと]
3	エントロピーの性質、条件付エントロピーおよび結合エントロピーについて紹介する [事前学習:教科書3章を読んでおくこと] [事後学習:教科書3章の内容を理解しておくこと]
4	各種エントロピーの性質、関係について学ぶ．時間があれば演習問題を行う． [事前学習:教科書3章を読んでおくこと] [事後学習:教科書3章の内容を理解しておくこと]
5	情報源、特に、無記憶情報源、マルコフ情報源について学ぶ． [事前学習:教科書4章を読んでおくこと] [事後学習:教科書4章の内容を理解しておくこと]
6	随伴情報源、情報源のエントロピーについて学ぶ． [事前学習:教科書4章を読んでおくこと] [事後学習:教科書4章の内容を理解しておくこと]
7	情報源符号化 [事前学習:教科書5章を読んでおくこと] [事後学習:教科書5章の内容を理解しておくこと]
8	瞬時復号可能符号の条件について学ぶ． [事前学習:教科書5章を読んでおくこと] [事後学習:教科書5章の内容を理解しておくこと]
9	クラフトの不等式について学ぶ． [事前学習:教科書5章を読んでおくこと] [事後学習:教科書5章の内容を理解しておくこと]
10	マクミランの不等式、平均符号長について学ぶ． [事前学習:教科書5章を読んでおくこと] [事後学習:教科書5章の内容を理解しておくこと]
11	シャノン・ファノ符号について学ぶ [事前学習:教科書6章を読んでおくこと] [事後学習:教科書6章の内容を理解しておくこと]
12	ハフマン符号について学ぶ [事前学習:教科書6章を読んでおくこと] [事後学習:教科書6章の内容を理解しておくこと]
13	各種符号に関する演習問題を解説する [事前学習:教科書6章を読んでおくこと] [事後学習:教科書6章の内容を理解しておくこと]
14	理解度の確認と解説 [事前学習:第1回から第13回の内容を復習しておくこと] [事後学習:学修した内容の整理をする]
15	まとめ（これまでの復習・解説を行い授業の理解を深める。） [事前学習:教科書1章から6章を復習しておくこと] [事後学習:学修した内容の整理をする]

その他
教科書	平田　廣則『情報理論のエッセンス』オーム社 2014年
参考書	使用しない
成績評価の方法及び基準	授業内テスト(100%) 授業内テストは期末試験で評価します。なお原則として再試験は行いません。
オフィスアワー	授業終了後か水曜日の昼休み
備考	・授業中の私語は厳禁である．繰り返しの注意にも関わらず私語を止めない場合は，他の受講生に対する迷惑行為とみなし，退室を命じることがある．・予習復習を行ってください。数学的にはそれほど難しいことはありませんので、わかる範囲で読み進めていき、埋まらない行間や理解しがたい箇所を明確にして授業に臨むことを希望します。講義を聴いてそれでも，その箇所が明確に理解できなければ，質問してください。授業内容が理解できたら，復習を忘れずに行い，理解を徹底してください。・授業中に行う演習や練習問題，例などを通して内容の理解に努めてください。授業中に扱った問題は独自で解けるようにしておいてください。・点数が悪いからどうにかして下さいと後から申し出る学生が時々いますが、再試験は行いません。そのような申し出をするなら、試験前にわからないところを質問しに来てください。このような申し出は、非常に見苦しいし，聞くに堪えません。・インフルエンザ罹患などの病気・怪我や忌引き，電車遅延の理由のある場合は、それを示す書類を提示してください。こちらで判断の上、追試験を行う場合があります。原則的にこれら以外の理由での追試験は認めません。