情報理論１

平成28年度以前入学者	情報理論１
科目名平成27年度以前入学者	情報理論１
教員名	古市　茂
単位数	2	学年	3	開講区分	文理学部
科目群	情報科学科
学期	前期	履修区分	選択必修

授業テーマ	情報理論について入門的に概説する．
授業のねらい・到達目標	自己情報量・エントロピー・定常情報源などの基本事項を学んだ後，情報源符号化の方法について学ぶ．情報源符号化定理を理解した後，シャノン符号、ファノ符号、ハフマン符号のアルゴリズムを理解する．
授業の方法	担当教官による講義．
事前学修・事後学修，授業計画コメント	予習復習を行ってください。数学的にはそれほど難しいことはありませんので、わかる範囲で読み進めていき、埋まらない行間や理解しがたい箇所を明確にして授業に臨むことを希望します。講義を聴いてそれでも，その箇所が明確に理解できなければ，質問してください。授業内容が理解できたら，復習を忘れずに行い，理解を徹底してください。授業中に行う演習や練習問題，例などを通して内容の理解に努めてください。授業中に扱った問題は独自で解けるようにしておいてください。教科書を変更しましたので授業の進度が読めないところがありますので，計画通りに進むか否かは不確定なところもあります。

授業計画
1	序論として情報のモデル化・情報量・情報の発生・情報の表現・情報の伝送、およびこれらのモデル化について概説する． [授業前準備:教科書1章を読んでおくこと]
2	情報量とエントロピー [授業前準備:教科書2章を読んでおくこと]
3	エントロピーの性質、条件付エントロピーおよび結合エントロピーについて紹介する [授業前準備:教科書3章を読んでおくこと]
4	各種エントロピーの性質、関係について学ぶ．時間があれば演習問題を行う． [授業前準備:教科書3章を読んでおくこと]
5	情報源、特に、無記憶情報源、マルコフ情報源について学ぶ． [授業前準備:教科書4章を読んでおくこと]
6	随伴情報源、情報源のエントロピーについて学ぶ． [授業前準備:教科書4章を読んでおくこと]
7	情報源符号化 [授業前準備:教科書5章を読んでおくこと]
8	瞬時復号可能符号の条件について学ぶ． [授業前準備:教科書5章を読んでおくこと]
9	クラフトの不等式について学ぶ． [授業前準備:教科書5章を読んでおくこと]
10	マクミランの不等式、平均符号長について学ぶ． [授業前準備:教科書5章を読んでおくこと]
11	シャノン・ファノ符号について学ぶ [授業前準備:教科書6章を読んでおくこと]
12	ハフマン符号について学ぶ [授業前準備:教科書6章を読んでおくこと]
13	理解度の確認 [授業前準備:教科書1章から6章を復習しておくこと]
14	総括と補足 [授業前準備:教科書1章から6章を復習しておくこと]
15	講義内容のまとめ [授業前準備:教科書1章から6章を復習しておくこと]

その他
教科書	平田　廣則『情報理論のエッセンス』オーム社 2014年
成績評価の方法及び基準	授業内テスト(100%) 出席状況が著しく悪い者は評価対象外とすることがある．再試験は行いませんので、必ず全ての授業内試験を受けて下さい。（点数が悪いからどうにかして下さいと後から申し出る学生が時々いますが、再試験は行いません。そのような申し出をするなら、試験前にわからないところを質問しに来てください。このような申し出は、非常に見苦しいし，聞くに堪えません。）インフルエンザ罹患や忌引き，電車遅延の理由のある場合は、それを示す書類を提示してください。こちらで判断の上、追試験を行う場合があります。原則的にこれら以外の理由での追試験は認めません。
オフィスアワー	月曜日の昼休みか授業終了後
備考	授業中の私語を厳禁である．繰り返しの注意にも関わらず私語を止めない者は、他の受講生の迷惑行為とみなし減点する．また，授業に出席するのは当然であるので，抜き打ちで出席を取った場合に欠席している者は減点の対象となりうる．