TAILIEUCHUNG - Giáo trình: Lý thuyết thông tin part 3

Bài 1: Cho 2 biến ngẫu nhiên X, Y độc lập nhau có phân phối sau: X P Y P x1 1/2 y1 1/4 x2 1/2 y2 1/4 y3 1/4 y4 1/4 Tính H(X), H(Y). Bài 2: Kiểm tra lại kết quả của của bài 1 bằng tính chất 2. Bài 3: Cho biến ngẫu nhiên X có phân phối sau: X P x1 10% x2 20% x3 25% x4 25% x5 15% x6 5% Ta có thể gom các sự kiện x1, x2, x3 lại thành một sự kiện mới là x123 có xác suất xuất hiện là 55%, gom sự. | Giáo trình Lý thuyết thông tin. và đẳng thức chỉ xảy ra khi Pi Vi đpcm . M Bài tập Bài 1 Cho 2 biến ngẫu nhiên X Y độc lập nhau có phân phối sau X X1 X2 P 1 2 1 2 Y y1 y2 y3 y4 P 1 4 1 4 1 4 1 4 Tính H X H Y . Bài 2 Kiểm tra lại kết quả của của bài 1 bằng tính chất 2. Bài 3 Cho biến ngẫu nhiên X có phân phối sau X X1 X2 X3 X4 X5 X6 P 10 20 25 25 15 5 Ta có thể gom các sự kiện X1 x2 x3 lại thành một sự kiện mới là x123 có xác suất xuất hiện là 55 gom sự kiện X5 và X6 lại thành sự kiện X56 có Xác suất 20 . Ta được một nhiến ngẫu nhiên mới X có phân phối sau X X123 X4 X56 P 55 25 20 - Tính entropy của X X và kiểm tra lại tính chất 3. - Kiểm tra lại định lý cực đại từ dữ liệu cho trên. Biên soạn TS. L ê Quy ết Thắng ThS. Phan Tấn Tài Ks. Dương Văn Hiếu. 21 Giáo trình Lý thuyết thông tin. BÀI ENTROPY CỦA NHIỀU BIẾN Mục tiêu Sau khi hoàn tất bài học này bạn có thể - Hiểu biết các định nghĩa Entropy của nhiều biến và Entropy có điều kiện - Hiểu mối quan hệ giữa H X Y với H X và H Y khi X Y độc lập - Hiểu mối quan hệ giữa H X Y với H X và H Y khi X Y tương quan - Vận dụng mối quan hệ gữa các Entropy để tính các Entropy một cách hiệu quả - Vận dụng Entropy có điều kiện để làm cơ sở tính lượng tin trong bài học kế tiếp Định nghĩa Entropy của nhiều biến Giả sử X và Y là 2 biến ngẫu nhiên cho trước với pịj p X xi Y yj V i 1 . M và j 1 . L . Khi đó Entropy H X Y có dạng H X Y -ss p X y log2 p X y i 1 j 1 Hay H X Y -f ị pt. log Pj i 1 j 1 Một cách tổng quát H x1 - xn - s p X1 - Xn log p x1 X2 - Xn Ví dụ Entropy của nhiều biến Cho 2 BNN X và Y độc lập nhau và có các phân phối X 1 0 1 P Y 0 1 2 P Tính H X Y . - Lập phân phối của P X Y X Y X 0 Y 0 X 0 Y 1 X 0 Y 2 X 1 Y 0 X 1 Y 1 X 1 Y 2 P X Y - H X Y H Bit Định nghĩa Entropy có điều kiện Entropy của Y với điều kiện X xi i 1 . M được định nghĩa là H Y X Xi j p yj Xi log p y Xi Biên soạn TS. L ê Quy ết Thắng ThS. Phan Tấn Tài Ks. Dương .

• Kĩ thuật Viễn thông
• giáo trình Lý thuyết thông tin
• bài giảng Lý thuyết thông tin
• tài liệu Lý thuyết thông tin
• đề cương Lý thuyết thông tin
• bài tập Lý thuyết thông tin
• hệ thống thông tin
• lý thuyết thông tin
• Độ do lượng tin
• sinh mã tách được
• kênh thông tin rời rạc không nhớ
• sửa lỗi kênh truyền
• tài liệu học đại học
• bài giảng về lý thuyết thông tin
• kỹ thuật thông tin liên lạc
• bài giảng về công nghệ viễn thông
• Khoa học máy tính
• Giáo trình môn học Lý thuyết thông tin
• Độ đo thông tin
• Đồ họa máy tính
• Lý thuyết số
• Giáo trình lý thuyết
• bài giảng lý thuyết
• lý thuyết hệ thống
• thông tin liên lạc
• Mô hình lý thuyết thông tin
• Độ đo lượng tin
• Định lý cơ sở của kỹ thuật truyền tin
• Dung lượng kênh truyền
• Kênh truyền tin rời rạc
• Sửa lỗi trên kênh truyền
• Kênh truyền tin rời rạc không nhớ
• Cơ sở lý thuyết truyền tin
• Hệ thống truyền tin
• Mã hóa thông tin
• Điều chế thông tin
• Khái niệm mã hóa