TAILIEUCHUNG - Giáo trình lý thuyết thông tin 3

Tham khảo tài liệu 'giáo trình lý thuyết thông tin 3', kỹ thuật - công nghệ, kĩ thuật viễn thông phục vụ nhu cầu học tập, nghiên cứu và làm việc hiệu quả | Chương 3 Cơ sở lý thuyết thông tin thống kê . Tính chất của các tín hiệu có phân bố chuẩn Định lý Trong số những quá trình tín hiệu có cùng công suất trung bình ơ2 tín hiệu có phân bố Gausse sẽ cho entropie vi phân lớn nhất. Tức là X h X - J W1 x .log W1 x .dx logx 2neơ2 -X max h X logx2neơ2 khi W1 x - mạt độ chuẩn Chứng minh Gọi x t là tín hiệu không Gausse. x t là tín hiệu Gause W1 x 1 Y exp x 2 ì x 2P x Điều cần chứng minh ở định lý trên trương đương với việc chứng minh bất đẳng thức sau h X - logự2nePx 0 Trước hết theo giả thiết ta có D Dx D x X 2 X _ X _ - J x W1 x dx J x2W1 x dx -X X -X a Ta có h X X -J W1 -X x log W1 X í x dx X X logx 2nD J W1 x dx -X X X iog J x2W1 x dx 2D 1 -X í X X X A do J W1 x Idx J W1 x dx 1 và do a I X -X X J -X 80 Chương 3 Cơ sở lý thuyết thông tin thống kê . A h X 7 E - I -- log2nD -7L 2 2DlOge W1 x dx 7 - I W1 x logWi -7 A . x dx Từ cần chứng minh h X - h 0 Ta có A h X -h X 7 - I W1 x log W1 x dx -7 7 I W1 x log W1 -7 A . x dx 7 W1 x IW1 x log wk dx 71 Với a 1 bao giờ ta cũng có loga x x - 1. Nên 7 h X - h X I W1 x l -7 A W1 x M-1 W1 x dx 7 A 7 I W1 x dx - I W1 x dx -7 V -7 Vậy h X - h X 0 h X h X V x x maxh X h X log 2neD Ý nghĩa định lý Trong số các quá trình ngẫu nhiên có cùng phương sai thì quá trình có phân bố chuẩn thể hiện tính ngẫu nhiên nhiều hơn cả. Do đó ta thấy rằng trong số những tạp có cùng phương sai thì tạp phân bố chuẩn có tác hại lớn nhất đối với việc truyền tin. vì entropie đặc trưng cho độ bất 81 Chương 3 Cơ sở lý thuyết thông tin thống kê định mà entropie của tạp chuẩn max nên độ bất định của nó lớn nhất . Đó là lý do vì sao trong các bài toán của vô tuyến điện thống kê người ta thường xét tạp chuẩn. Bằng phương pháp tương tự ta có thể chứng minh được a. Trong số tất cả các phân bố trong một khoảng hữu hạn b a b J W1 x dx 1. Đại a lượng ngẫu nhiên phân bố đều có entropie lớn nhất. H X log b - a log ơ2ạ 3 l b. Trong số tất cả các đại lượng ngẫu nhiên liên tục dương có cùng kỳ vọng m J W1 x dx 1 và J xW1 x .

• Kĩ thuật Viễn thông
• Giáo trình lý thuyết
• bài giảng lý thuyết
• tài liệu lý thuyết thông tin
• lý thuyết hệ thống
• thông tin liên lạc
• Lý thuyết mạch
• Nhập môn lý thuyết mạch
• Giáo trình lý thuyết mạch
• Lý thuyết trường
• Tài liệu lý thuyết mạch
• Bài giảng lý thuyết mạch
• Giáo trình Tâm lý học giáo dục
• Tâm lý học giáo dục
• Phương pháp nghiên cứu tâm lý học giáo dục
• Lý thuyết hành vi về dạy học
• Lý thuyết tâm lý học của Piaget về dạy học
• Lý thuyết tâm lý học hoạt động
• Cơ sở tâm lý hoạt động dạy học
• tài liệu học đại học
• giáo trình Lý thuyết thông tin
• bài giảng Lý thuyết thông tin
• đề cương Lý thuyết thông tin
• bài tập Lý thuyết thông tin
• lý thuyết kiến trúc
• giáo trình lý thuyết kiến trúc
• bài giảng lý thuyết kiến trúc
• tài liệu lý thuyết kiến trúc
• đề cương lý thuyết kiến trúc
• lý thuyết tài chính
• tài liệu lý thuyết tài chính
• giáo trình lý thuyết tài chính
• bài giảng lý thuyết tài chính
• nghiên cứu lý thuyết tài chính
• lý thuyết thống kê
• giáo trình lý thuyết thống kê
• bài giảng lý thuyết thống kê
• tài liệu lý thuyết thống kê
• tìm hiểu lý thuyết thống kê