TAILIEUCHUNG - Information Theory, Inference, and Learning Algorithms phần 4

Năng lực của Gaussian kênh Tập thể dục [3, ] Chứng minh rằng sự phân bố xác suất P (x) nhằm tối đa hóa các thông tin lẫn nhau (để hạn chế x 2 = v) là một phân phối Gaussian không có nghĩa là và v không đúng. Tập thể dục 11,2 [2, ] Hiển thị thông tin lẫn nhau I (X, Y), trong trường hợp này phân bố tối ưu hóa | Copyright Cambridge University Press 2003. On-screen viewing permitted. Printing not permitted. http 0521642981 You can buy this book for 30 pounds or 50. See http mackay itila for links. Capacity of Gaussian channel 181 Exercise . 3 p-189 Prove that the probability distribution P x that maximizes the mutual information subject to the constraint x2 v is a Gaussian distribution of mean zero and variance v. . Exercise . 2 p-189 Show that the mutual information I X Y in the case of this optimized distribution is C 1 log Ọ 2 Ơ2 This is an important result. We see that the capacity of the Gaussian channel is a function of the signal-to-noise ratio v ơ2. Inferences given a Gaussian input distribution If P x Normal x 0 v and P y I x Normal y x ơ2 then the marginal distribution of y is P y Normal y 0 v Ơ2 and the posterior distribution of the input given that the output is y is P x I y P y I x P x exp y x 2 2ff2 exp x2 2v Normal I x T y I----y v Ớ2 v Ơ2 I The step from to is made by completing the square in the exponent. This formula deserves careful study. The mean of the posterior distribution -pf-pr y can be viewed as a weighted combination of the value that best fits the output x y and the value that best fits the prior x 0 v 1 Ớ2 1 v . -2 y 1 v 1 ff2 y 1 v I 1-2 1 11 30 The weights 1 Ớ2 and 1 v are the precisions of the two Gaussians that we multiplied together in equation the prior and the likelihood. The precision of the posterior distribution is the sum of these two precisions. This is a general property whenever two independent sources contribute information via Gaussian distributions about an unknown variable the precisions add. This is the dual to the better-known relationship when independent variables are added their variances add . Noisy-channel coding theorem for the Gaussian channel We have evaluated a maximal mutual information. Does it correspond to a .

• Kỹ thuật lập trình
• thủ thuật hệ điều hành
• tìm hiểu hệ điều hành
• thủ thuật windows
• lập trình windows
• lập trình ứng dụng
• lập trình máy tính
• thủ thuật lập trình
• mẹo hay cho lập trình
• bí quyết lập trình
• thủ thuật máy tính
• phần mềm máy tính
• quản trị hệ thống
• hệ điều hành linux
• hệ điều hành mac
• mẹo cài hệ điều hành
• hệ điều hành unix
• hệ điều hành windows
• kỹ năng máy tính
• Hệ Điều Hành
• các hệ điều hành Windows
• giáo trình hệ điều hành
• các vấn đề hệ điều hành
• tài liệu hệ điều hành
• Tổng quan về hệ điều hành
• windows 7
• Refresh hệ điều hành Android
• Hệ điều hành Android cũ
• Hệ điều hành Android
• Cài đặt hệ điều hành Android
• Thủ thuật hệ điều hành Android
• Khôi phục hệ điều hành Android
• đồ họa máy tính
• mỹ thuật đa truyền thông
• học hệ điều hành
• cách sử dụng hệ điều hành
• hệ điều hành windows 7
• mẹo hay hệ điều hành