Phương trình này cho ta biết điều gì?
Nó xác định có bao nhiêu thông tin trong một thông điệp, và các ký hiệu tạo nên thông điệp đó có thể xuất hiện với xác suất bằng bao nhiêu.
Tại sao nó lại quan trọng?
Đó là phương trình mở ra thời đại thông tin. Nó xác lập các giới hạn về hiệu quả truyền thông, cho phép các kỹ sư dừng tìm kiếm các mã quá hiệu quả không thể tồn tại. Nó là co sở đối với truyền thông số ngày hôm nay - điện thoại, đĩa CD, DVD, internet.
Nó đã dẫn tới những gì?
Các mã phát hiện sai và sửa sai hiệu quả được dùng trong mọi thứ, từ các đĩa CD tới các con tàu thăm dò không gian. Các ứng dụng bao gồm: thống kê, trí tuệ nhân tạo, mật mã học, rút ra ý nghĩa của các chuỗi ADN.
Năm 1977, NASA đã cho phóng hai con tàu thăm dò không gian, Voyager 1 và 2 . Các hành tinh của Hệ Mặt Trời đã an bài ở những vị trí thuận lợi một cách khác thường, giúp con người có thể tìm ra những quỹ đạo hiệu quả một cách hợp lý cho phép đưa những con tàu thăm dò không gian tới thăm một số hành tinh. Mục đích ban đầu là thám hiểm Mộc tinh và Thổ tinh, nhưng nếu các con tàu này còn chịu đựng được thì những quỹ đạo đó có thể đưa chúng đi ngang qua Thiên Vương tinh và Hải Vương tinh. Voyager 1 còn có thể tới được Diêm Vương tinh (vào thời gian đó vẫn được coi là một hành tinh, và mặc dù bây giờ nó không còn là hành tinh nữa nhưng thực tế sự hấp dẫn của nó vẫn hoàn toàn không thay đổi), nhưng mặt trăng Titan đầy hấp dẫn của Thổ tinh được ưa thích hơn, nên đã được thay thế cho Diêm Vương tinh. Cả hai con tàu đã thành công một cách ngoạn mục, và giờ đây Voyage 1 đã trở thành vật nhân tạo đi xa Trái Đất nhất, khoảng hơn 10 tỉ dặm, và vẫn còn gửi dữ liệu về.
Cường độ tín hiệu giảm theo bình phương khoảng cách, vì vậy tín hiệu mà Trái Đất nhận được chỉ bằng 10 -20 cường độ mà nó sẽ nhận được ở khoảng cách 1 dặm. Tức là nhỏ hơn 100 tỉ tỉ lần. Voyager 1 phải có một máy phát cực mạnh... Không, nó chỉ là một con tàu không gian nhỏ. Năng lượng hoạt động của nó chỉ do đồng vị phóng xạ plutonium-238 cung cấp, năng lượng khả dụng toàn phần của nó bây giờ chỉ bằng 1/8 của một ấm điện thông dụng. Có hai lý do giải thích tại sao chúng ta vẫn còn nhận được thông tin hữu ích từ con tàu này: chúng ta có các máy thu mạnh trên mặt đất và các mã đặc biệt được dùng để bảo vệ dữ liệu tránh những sai lỗi gây bởi các nhân tố bên ngoài, như các nhiễu chẳng hạn.
Voyager 1 có thể gửi dữ liệu nhờ hai hệ thống khác nhau. Một là kênh tốc độ thấp, có thể gửi 40 chữ số nhị phân, tức các số 0 và 1, mỗi giây, nhưng nó không cho phép mã hóa để xử lý các sai lỗi tiềm tàng. Hệ thống thứ hai, kênh tốc độ cao, có thể truyền lên tới 120.000 chữ số nhị phân mỗi giây, và chúng được mã hóa sao cho các sai lỗi có thể được phát hiện và sửa ngay với điều kiện chúng không xảy ra quá thường xuyên. Cái giá phải trả cho khả năng này là các thông báo phải dài gấp đôi, do đó chúng chỉ truyền tải được một nửa số dữ liệu mà chúng có thể. Vì các sai lỗi có thể phá hủy dữ liệu, nên đó là cái giá cũng đáng để trả.
Các mã thuộc loại này đã được sử dụng rộng rãi trong tất cả các dạng truyền thông hiện đại: các sứ mệnh không gian, điện thoại cố định và di động, internet, các đĩa CD và DVD, Blu-ray, v.v. Thiếu chúng, tất cả các dạng truyền thông sẽ dễ bị sai lỗi, và điều đó thì không thể chấp nhận được. Chẳng hạn, bạn dùng internet để thanh toán. Nếu lệnh của bạn là trả 20$, nhưng nó lại trở thành 200$ thì hẳn bạn sẽ không thể hài lòng. Một đầu đọc đĩa CD dùng các thấu kính mỏng nhằm hội tụ chùm laser vào các rãnh rất nhỏ được khắc trên vật liệu làm đĩa. Các thấu kính này đặt bên trên, cách mặt đĩa quay một khoảng nhỏ. Dù vậy, bạn vẫn có thể nghe các đĩa CD trong khi lái xe dọc theo một con đường khấp khểnh, đó là bởi vì tín hiệu đã được mã hóa cho phép phát hiện được các sai lỗi và sửa ngay nhờ hệ thống điện tử học, trong khi đĩa vẫn đang chơi. Cũng có những thủ thuật khác, nhưng đây là điều cơ bản.
Thời đại thông tin của chúng ta dựa trên các tín hiệu số hóa - đó là những chuỗi dài các chữ số 0 và 1, mà cụ thể là có và không có các xung điện hay vô tuyến. Các thiết bị gửi, nhận và lưu trữ tín hiệu dựa trên các mạch điện tử rất nhỏ và rất chính xác được thiết kế trên các phiến silic nhỏ xíu gọi là các “chip”. Nhưng dẫu cho việc thiết kế và sản xuất có thông minh thế nào đi nữa, thì không có một chip nào có thể vận hành được mà lại không có các mã phát hiện và sửa sai. Trong bối cảnh đó, thuật ngữ “thông tin” không còn là từ không chính thức để chỉ 'know-how' (bí quyết) nữa mà đã trở thành một đại lượng số có thể đo đạc được. Và đại lượng này đã cung cấp những hạn chế cơ bản đối với hiệu quả mà các mã có thể sửa đổi các thông điệp nhằm bảo vệ chúng chống lại các sai sót. Biết những hạn chế này đã tiết kiệm cho các kỹ sư rất nhiều thời gian vô ích dùng để cố gắng phát minh ra các mã hiệu quả hơn mà thực tế họ không thể. Nó cũng là cơ sở cho văn hóa thông tin ngày hôm nay.
Tôi đã đủ già để còn nhớ cái thời chỉ có một cách duy nhất để gọi điện cho ai đó ở nước ngoài, bạn sẽ phải đăng ký trước với công ty điện thoại - ở Anh chỉ có một công ty duy nhất đó là công ty Post Office Telephones - đặt trước thời gian và thời lượng cuộc gọi. Ví dụ, bạn sẽ gọi 10 phút vào lúc 3h45 chiều, ngày 11 tháng Giêng. Và giá thì là cả một gia tài. Ít tuần trước một người bạn và tôi có một cuộc phỏng vấn từ Anh quốc, kéo dài cả tiếng đồng hồ cho một hội nghị về khoa học viễn tưởng ở Úc, nhờ dùng SkypeTM. Miễn phí hoàn hoàn, lại còn gửi cả video và âm thanh. Trong 50 năm đã có quá nhiều thay đổi. Ngày nay chúng ta trao đổi thông tin online với bạn bè, cả thực cũng như ảo, mà rất nhiều người sưu tập như sưu tập bưóm từ các mạng xã hội. Chúng ta không mua các đĩa nhạc CD hay các đĩa phim DVD nữa: chúng ta mua thông tin chứa trong đó, được tải về từ internet. Rồi sách cũng sẽ đi theo con đường đó. Các công ty nghiên cứu thị trường đã thu thập được một lượng lớn thông tin về thói quen mua sắm của chúng ta và dùng nó để tạo ảnh hưởng đến những thứ mà chúng ta mua sắm. Ngay trong y tế, đã có sự chú trọng ngày càng tăng đến thông tin chứa trong ADN của chúng ta. Thái độ đối với điều này thường là: nếu bạn có thông tin đòi hỏi phải làm gì đó, thì chỉ thế thôi là đủ; bạn không cần phải thực sự làm điều đó, hoặc thậm chí không cần biết làm điều đó như thế nào.
Có rất ít nghi ngờ rằng cuộc cách mạng thông tin đã làm biến đổi cuộc sống chúng ta, nhìn chung, trường hợp may mắn có thể mang lại những lợi ích vượt trội các thiệt hại - ngay cả khi những thiệt hại bao hàm cả sự mất mát tính riêng tư, sự truy cập trái phép vào tài khoản của chúng ta từ bất cứ đâu trên thế giới chỉ bằng một cú nhấp chuột, và những virus máy tính có thể làm tê liệt hoạt động của nhà băng hoặc một nhà máy điện hạt nhân.
Vậy thông tin là gì? Tại sao nó lại có sức mạnh ghê góm như vậy? Và nó có thực là cái như đã được tuyên bố hay không?
Khái niệm thông tin như một đại lượng đo được đã xuất hiện từ các phòng thí nghiệm nghiên cứu của hãng Bell Telephone, nhà cung cấp chính dịch vụ điện thoại ở Mỹ từ năm 1877 và chấm dứt năm 1984 trên cơ sở chống lũng đoạn (độc quyền). Trong số các kỹ sư của hãng có Claude Shannon, một người họ hàng xa của nhà sáng chế nổi tiếng Edison. Môn học giỏi nhất của Shannon ở trường là toán học, và ông rất có năng khiếu chế tạo các dụng cụ cơ học. Vào thời gian làm việc cho Bell Labs, ông là nhà toán học kiêm mật mã, đồng thòi cũng là một kỹ sư điện tử. Ông là người đầu tiên áp dụng logic toán - cái gọi là đại số Boole - để tính toán các mạch điện. Ông đã dùng kỹ thuật này để đơn giản hóa việc thiết kế các mạch chuyển mạch dùng trong hệ thống điện thoại và sau đó được mở rộng sang những vấn đề khác trong thiết kế mạch.
Trong Thế chiến thứ II, Shannon làm việc về mật mã và truyền thông, ông cũng đã phát triển một số ý tưởng cơ bản tường trình trong một bản ghi nhớ được coi là mật của Bell vào năm 1945 với nhan đề Một lý thuyết toán học của mật mã . Năm 1948, ông đã cho công bố một số công trình của mình trong sách báo công khai và bài viết năm 1945 đã được giải mật, được công bố ít lâu sau đó. Cùng với một số tư liệu của Warren Weaver, nó đã xuất hiện vào năm 1949 như là Một lý thuyết toán học của truyền thông .
Shannon rất muốn biết phải truyền tin như thế nào cho có hiệu quả khi mà đường truyền rất dễ bị các sai lỗi ngẫu nhiên, hay nói theo thuật ngữ chuyên môn là bị “nhiễu”. Tất cả các loại truyền thông trên thực tế đều bị nhiễu, do lỗi của thiết bị, do các tia vũ trụ hoặc do sự thay đổi không tránh khỏi của các linh kiện trong mạch. Một giải pháp để giảm thiểu nhiễu là chế tạo các thiết bị tốt hơn, nếu có thể. Một cách khác là mã hóa các tín hiệu nhờ sử dụng các phương pháp toán học có thể phát hiện lỗi và thậm chí có thể sửa ngay. Mã phát hiện lỗi đơn giản nhất là gửi cùng một thông tin hai lần ( the same message twice ). Nếu bạn nhận được:
the same massage twice
the same message twice
thì rõ ràng có lỗi ở từ thứ ba. Nhưng nếu không hiểu tiếng Anh thì sẽ không biết phiên bản nào là đúng. Sự lặp lại lần thứ ba sẽ giải quyết được vấn đề này theo nguyên tắc đa số và trở thành một mã sửa sai. Những mã như vậy chính xác và hiệu quả như thế nào còn phụ thuộc vào khả năng xảy ra và bản chất của các sai lỗi. Nếu kênh truyền tin rất nhiễu chẳng hạn, thì cả ba phiên bản của tin có thể bị bóp méo tồi tệ đến mức không thể nào dựng lại được.
Trên thực tế, sự lặp lại một cách đơn giản như vậy là quá thô sơ: có nhiều cách hiệu quả hơn để mã hóa thông tin nhằm phát hiện và sửa sai. Xuất phát điểm của Shannon là xác định ý nghĩa của hiệu quả. Tất cả các mã như vậy đều thay thế một tin bằng một tin dài hơn. Hai mã nói ở trên tăng gấp đôi và gấp ba chiều dài. Các tin dài hơn thì thời gian gửi đi cũng lâu hơn, giá thành cũng cao hơn, chiếm bộ nhớ nhiều hơn và sẽ dễ làm tắc kênh truyền thông. Vì vậy đối với tốc độ phát hiện và sửa sai đã cho, thì hiệu quả có thể được định lượng như tỉ số của chiều dài tin được mã hóa và chiều dài của tin gốc.
Đối với Shannon, vấn đề chủ yếu là xác định những giới hạn cố hữu của những mã như vậy. Giả sử một kỹ sư lập ra một mã mới. Liệu có cách nào đó xác định được nó cũng tốt cỡ như là người ta đã nhận được hay không hay có thể hoàn thiện thêm nữa? Shannon đã bắt đầu bằng cách định lượng hóa một thông điệp chứa đựng bao nhiêu thông tin. Bằng cách đó, ông đã biến “thông tin” từ một ẩn dụ mơ hồ thành một khái niệm khoa học.
Có hai cách khác nhau để biểu diễn một con số. Nó có thể được định nghĩa bằng một dãy các ký hiệu, chẳng hạn như các chữ số thập phân, hoặc nó có thể tương ứng với một đại lượng vật lý nào đó như chiều dài một cây gậy hoặc điện áp trên một dây dẫn. Biểu diễn loại thứ nhất là số hóa còn biểu diễn thứ hai là tương tự. Vào những năm 1930, các tính toán khoa học và kỹ thuật thường được thực hiện bằng các máy tính tương tự, bởi vì ở thời đó chúng dễ dàng thiết kế và chế tạo hơn. Ví dụ, các mạch điện tử đơn giản dễ dàng cộng và nhân các điện áp. Tuy nhiên, các máy thuộc loại này kém chính xác và các máy tính số bắt đầu xuất hiện. Mọi người nhanh chóng nhận ra rằng biểu diễn các con số thuận tiện nhất không phải là trong hệ thập phân, tức là theo cơ số 10, mà là hệ nhị phân, cơ số 2. Trong ký hiệu thập phân, có 10 ký hiệu từ 0 đến 9. Đối với mỗi bước dịch một ký tự về bên trái thì giá trị của nó nhân lên 10 lần. Ví dụ, số 157 biểu diễn
1 × 10 2 + 5 × 10 1 + 7 × 10 0
Ký hiệu nhị phân cũng dùng nguyên tắc cơ sở y như thế, nhưng bây giờ chỉ có hai ký hiệu là 0 và 1. Một số nhị phân, chẳng hạn như 10011101, là mã hóa dưới dạng ký hiệu của số
1 × 2 7 + 0 × 2 6 + 0 × 2 5 + 1 × 2 4 + 1 × 2 3 + 1 × 2 2
+ 0 × 2 1 + 1 × 2 0
Như vậy, mỗi chữ số sẽ nhân đôi giá trị của nó đối với mỗi bước dịch chuyển sang trái. Trong hệ thập phân số đó bằng 157, vậy là chúng ta đã biểu diễn cùng một số dưới hai dạng khác nhau, bằng cách dùng hai loại ký hiệu khác nhau.
Ký hiệu nhị phân rất lý tưởng đối với các hệ điện tử bởi vì phân biệt giữa hai giá trị khả dĩ của một dòng điện, một điện áp hoặc một từ trường sẽ dễ dàng hơn nhiều so với phân biệt nhiều hơn hai giá trị. Nói một cách nôm na, 0 có thể có nghĩa là “không có dòng điện” và 1 có nghĩa là “có dòng điện”; 0 có thể có nghĩa “không có từ trường” và 1 có nghĩa là “có từ trường” và v.v. Thực tế, các kỹ sư đặt một giá trị ngưỡng, và khi đó 0 có nghĩa là “dưới ngưỡng”, còn 1 có nghĩa là “trên ngưỡng”. Bằng cách giữ các giá trị hiện thòi cho 0 và 1 đủ xa nhau, và đặt ngưỡng ở giữa, nguy cơ lẫn lộn 0 và 1 là rất nhỏ. Vì vậy các dụng cụ dựa trên ký hiệu nhị phân rất chắc chắn. Đó chính là nguyên nhân chúng trở thành công cụ số hóa.
Với những máy tính thế hệ đầu, các kỹ sư đã phải vật lộn để giữ cho mạch biến thiên trong những giới hạn hợp lý, hệ nhị phân đã làm cho cuộc sống của họ trở nên dễ chịu hơn nhiều. Các mạch hiện đại trên các chip silic đủ chính xác để cho phép có những lựa chọn khác, như cơ số 3 chẳng hạn. Nhưng thiết kế của các máy tính số đã được dựa trên ký hiệu nhị phân quá lâu rồi, nên hiện nay, nói chung người ta vẫn gắn bó với nhị phân, ngay cả khi những khả năng lựa chọn khác vẫn có thể dùng được. Các mạch hiện đại cũng rất nhỏ và rất nhanh. Không có những đột phá công nghệ như vậy trong sản xuất mạch thì thế giới chỉ có khoảng vài ngàn máy tính thay vì hàng tỉ như hiện nay. Thomas J. Watson, người sáng lập hãng IBM, một lần đã nói rằng ông không nghĩ là lại có một thị trường cho khoảng hơn 5 ngàn máy tính trên khắp thế giới. Vào thời gian đó, điều ông nói là có lý, bởi vì thời đó các máy tính mạnh nhất có kích thước lớn cỡ một tòa nhà, tiêu thụ điện năng bằng cả một làng và giá thành cỡ 10 triệu đôla. Chỉ có những cơ quan lớn của chính phủ, như quân đội Mỹ, mới đủ sức mua một cái, hoặc mới có đủ việc để sử dụng nó. Ngày nay, một điện thoại di động lỗi mốt cũng có khả năng tính toán mạnh hơn cả những máy tính vào thời Watson đưa ra ý kiến trên.
Sự lựa chọn biểu diễn nhị phân cho các máy tính số, từ đó cũng cho cả các thông điệp số hóa được truyền giữa các máy tính - và sau đó giữa hai dụng cụ điện tử bất kỳ trên hành tinh - đã dẫn tới một đơn vị cơ bản của thông tin: bit . Tên này thực chất là rút gọn của “binary digital” (chữ số nhị phân), và một bit thông tin là một số 0 hay một số 1. Cũng thật hợp lý khi định nghĩa thông tin “được chứa trong” một dãy các chữ số nhị phân là tổng số các chữ số trong dãy đó. Ví dụ dãy có 8 chữ số 10011101 chứa 8 bit thông tin.
Shannon đã nhận thức được rằng việc đếm bit một cách thô sơ như trên có ý nghĩa như một phép đo thông tin, chỉ nếu các số 0 và 1 giống như ngửa và sấp khi tung một đồng xu hoàn hảo, tức là khả năng xuất hiện của chúng là như nhau. Giả sử chúng ta biết rằng trong một số hoàn cảnh cụ thể nào đó, 0 xuất hiện 9 lần trong 10, còn 1 chỉ xuất hiện 1 lần. Khi chúng ta đọc dọc theo chuỗi các chữ số, chúng ta kỳ vọng hầu hết các chữ số là 0. Nếu sự kỳ vọng đó được xác nhận thì chúng ta sẽ không nhận được nhiều thông tin, bởi vì dù sao đó cũng là cái mà chúng ta chờ đợi. Tuy nhiên, nếu tôi thấy số 1, điều đó chuyển tải nhiều thông tin hơn, bởi vì tôi chẳng kỳ vọng điều đó một chút nào.
Chúng ta có thể lợi dụng điều này để mã hóa thông tin một cách hiệu quả hơn. Nếu 0 xuất hiện với xác suất 9/10 và 1 với xác suất 1/10, chúng ta có thể định nghĩa một mã mới như sau:
000 → 00 (dùng bất cứ khi nào có thể)
00 → 01 (nếu không có 000 nào còn lại)
0 → 10 (nếu không có 00 nào còn lại)
1 → 11 (luôn luôn)
Cái mà tôi muốn nói ở đây là thông điệp như
00000000100010000010000001000000000
trước hết được phân thành các khối 000, 00, 0, hoặc 1. với các xâu gồm các số 0 liên tiếp ta dùng 000 bất cứ khi nào có thể. Nếu không, những cái còn lại hoặc là 00 hoặc là 0 tiếp theo bởi số 1. Và đây là thông điệp đã được phân ra như thế:
000-000-00-1-000-1-000-00-1-000-000-1-000-000-000
Sau khi mã hóa theo quy tắc trên, thông điệp ban đầu trở thành:
00-00-01-11-00-11-00-01-11-00-00-11-00-00-00
Thông điệp gốc có 35 chữ số, nhưng phiên bản mã hóa chỉ có 30. Lượng thông tin dường như đã bị giảm.
Đôi khi các phiên bản mã hóa có thể dài hơn, ví dụ 111 biến thành 111111. Nhưng điều đó rất hiếm bởi vì trung bình 1 chỉ xuất hiện 1 lần trong 10. Sẽ có khá nhiều các khối 000 bị rút thành 00. Còn các cặp 00 thì đổi thành 01, có cùng chiều dài, trong khi đó 0 tăng chiều dài thành 10. Kết quả là, nếu tính đường dài, đối với các thông điệp với xác suất đã cho của 0 và 1, thì phiên bản mã hóa sẽ ngắn hơn.
Mã của tôi ở đây còn rất thô sơ và một sự lựa chọn thông minh hơn sẽ còn rút ngắn được thông điệp hơn nữa. Một trong những câu hỏi chủ yếu mà Shannon muốn trả lời là: mã thuộc loại tổng quát đó có thể hiệu quả đến mức nào? Nếu bạn biết danh sách các ký hiệu được dùng để tạo ra một thông điệp và bạn cũng biết mỗi ký hiệu đó xuất hiện với xác suất bằng bao nhiêu, thì bằng cách dùng một mã thích hợp, bạn sẽ rút ngắn thông điệp được bao nhiêu? Lòi giải của ông là một phương trình khi định nghĩa lượng thông tin thông qua các xác suất đó.
Để đơn giản, giả sử rằng các thông điệp chỉ dùng hai ký hiệu là 0 và 1, nhưng bây giờ chúng giống như cách lật của một đồng xu không hoàn hảo, sao cho 0 có xác suất xuất hiện là p và 1 có xác suất là q = 1 - p . Sự phân tích của Shannon đã dẫn ông tới một công thức cho lượng thông tin, được định nghĩa như sau:
H = − p log p − q log q
ở đây log là logarit cơ số 2.
Thoạt đầu xem ra công thức trên dường như vô cùng xa lạ với trực giác. Ngay dưới đây tôi sẽ giải thích Shannon đã rút ra nó như thế nào, nhưng điều chủ yếu phải đánh giá được ở giai đoạn này là H sẽ thay đổi như thế nào khi p biến thiên từ 0 đến 1 và điều này được minh họa trên hình 56. Giá trị của H tăng trơn từ 0 đến 1 khi p tăng từ 0 đến
, rồi sau đó giảm một cách đối xứng tới 0 khi p tiếp tục tăng từ
tới 1.
Hình 56 Sự phụ thuộc của hàm thông tin Shannon H vào p . Trục thẳng đứng là H , trục nằm ngang là p .
Shannon đã chỉ ra một số “tính chất lý thú” của hàm H:
• Nếu p = 0, trong trường hợp đó chỉ có ký hiệu 1 xuất hiện, hàm thông tin H bằng 0. Điều này có nghĩa là nếu chúng ta biết chắc ký hiệu nào sẽ được truyền tới chúng ta thì việc nhận được nó không chuyển tải một thông tin nào.
• Điều nói trên cũng đúng khi p = 1. Khi này chỉ ký hiệu 0 xuất hiện và chúng ta lại không nhận được một thông tin nào.
• Lượng thông tin là lớn nhất khi p = q =1/2, tương ứng với việc tung đồng xu hoàn hảo. Trong trường hợp đó,
Luôn nhớ trong đầu rằng logarit ở đây là cơ số 2. Điều này có nghĩa là một lần tung một đồng xu hoàn hảo sẽ chuyển tải một bit thông tin, như chúng ta đã giả thiết ban đầu trước khi bận tâm tới chuyện mã hóa các thông điệp để nén chúng và các đồng xu không hoàn hảo.
• Trong tất cả các trường hợp khác, sẽ nhận được một ký hiệu chuyển tải thông tin ít hơn 1 bit.
• Đồng xu càng không hoàn hảo thì kết quả của một lần tung chuyển tải càng ít thông tin.
• Công thức trên đối với hai ký hiệu hoàn toàn bình đẳng với nhau.
Tất cả các tính chất đó đều phù hợp với trực giác của chúng ta về lượng thông tin mà chúng ta nhận được khi được cho biết kết quả tung đồng xu. Và điều đó tạo cho công thức trên một định nghĩa hợp lý. Sau đó Shannon đã cung cấp một nền tảng vững chắc cho định nghĩa của ông, bằng cách liệt kê một số nguyên tắc cơ sở mà bất kỳ một phép đo lượng thông tin nào cũng phải tuân theo và rút ra một công thức duy nhất thỏa mãn những nguyên tắc đó. Cách làm của Shannon rất tổng quát: thông điệp có thể chọn từ nhiều ký hiệu khác nhau, xuất hiện với các xác suất p 1 , p 2 ,..., p n với n là số các ký hiệu. Hàm thông tin H được chuyển tải bằng cách chọn một trong các ký hiệu đó thỏa mãn:
• H là một hàm liên tục của p 1 , p 2 ,..., p n . Tức là một thay đổi nhỏ trong các xác suất cũng dẫn tới những thay đổi nhỏ của lượng thông tin.
• Nếu tất cả các xác suất đều bằng nhau, điều này ngụ ý tất cả chúng đều bằng 1/ n , thì H sẽ tăng khi n tăng. Tức là nếu bạn chọn giữa 3 ký hiệu có cùng xác suất, thì thông tin mà bạn nhận được sẽ nhiều hơn so với khi bạn chọn chỉ giữa 2 ký hiệu có xác suất như nhau; lựa chọn 4 ký hiệu sẽ chuyển tải nhiều thông tin hơn so với chọn 3, v.v.
• Nếu có một cách tự nhiên để tách sự lựa chọn thành hai lựa chọn liên tiếp thì hàm H ban đầu sẽ là tổ hợp đơn giản của hai hàm H mới.
Điều kiện cuối cùng ở trên là dễ hiểu nhất thông qua một ví dụ trong phần Chú thích 1 . Shannon đã chứng minh được rằng hàm H duy nhất tuân theo 3 nguyên tắc trên của ông là:
hoặc là một hằng số nhân với biểu thức đó. Điều này về cơ bản chỉ làm thay đổi đơn vị của thông tin mà thôi, giống như thay đổi từ dặm sang kilomet vậy.
Có lý do chính đáng để lấy hằng số nói trên bằng 1, và chúng ta sẽ minh họa điều đó bằng một trường hợp đơn giản. Hãy nghĩ về 4 xâu nhị phân 00, 01, 10, 11 như là những ký hiệu thực sự. Nếu 0 và 1 có xác suất như nhau, thì 4 xâu trên cũng có xác suất như nhau, mà cụ thể là bằng
. Do đó, lượng thông tin được chuyển tải bởi một lựa chọn một xâu như vậy bằng
Tức là 2 bit. Đây là con số có ý nghĩa đối với thông tin chứa trong một xâu nhị phân có chiều dài là 2 khi việc chọn 0 và 1 có cùng xác suất. Tương tự như vậy, nếu các ký tự là tất cả các xâu nhị phân có chiều dài n và chúng ta đặt hằng số bằng 1, thì lượng thông tin sẽ là n bit. Chú ý rằng khi n = 2, chúng ta nhận được công thức có đồ thị cho trên hình 56. Chứng minh định lý của Shannon quá phức tạp nên không thể trình bày ở đây, nhưng nó chứng tỏ rằng nếu bạn chấp nhận ba điều kiện của Shannon thì có một cách tự nhiên duy nhất để định lượng hóa thông tin 2 . Bản thân phương trình ở đây đã là một định nghĩa: điểm quan trọng là nó thực hiện như thế nào trong thực tế.
Shannon đã dùng phương trình của ông để chứng minh rằng có một giới hạn cơ bản đối với lượng thông tin mà một kênh truyền thông có thể chuyển tải. Giả sử bạn truyền một tín hiệu số dọc theo một đường dây điện thoại mà khả năng mang thông điệp của nó tối đa là C bit một giây. Khả năng đó được xác định bởi số chữ số nhị phân mà đường dây đó có thể truyền được, và nó không có liên hệ gì với xác suất của các ký hiệu khác nhau. Giả sử rằng thông điệp được sinh ra từ các ký hiệu có lượng thông tin H , cũng được đo bằng bit/ giây. Định lý của Shannon trả lời câu hỏi: nếu kênh bị nhiễu, thì tín hiệu có thể được mã hóa sao cho tỉ lệ sai lỗi nhỏ như ta mong muốn hay không? Câu trả lời là: luôn luôn có thể, bất kể mức nhiễu như thế nào, nếu H nhỏ hơn hoặc bằng C . Thực tế, tỉ lệ sai lỗi không thể giảm xuống dưới hiệu H - C bất kể là dùng mã nào, nhưng tồn tại các mã đạt tới gần điều bạn muốn đối với tỉ lệ sai lỗi đó.
Chứng minh của Shannon đã khẳng định sự tồn tại của các mã đáp ứng yêu cầu đối với cả hai trường hợp của ông, nhưng chứng minh ấy không cho biết những mã đó là gì. Toàn bộ ngành khoa học thông tin, một hỗn hợp của toán học, tính toán và kỹ thuật điện tử, lao vào tìm kiếm những mã hiệu quả cho những mục đích cụ thể. Nó được gọi là lý thuyết mã. Những phương pháp để tìm kiếm các mã đó rất khác nhau, phải viện đến nhiều lĩnh vực của toán học. Các phương pháp này được hợp nhất trong các dụng cụ của chúng ta, như một cái smartphone hay máy phát trên con tàu Voyager 1 . Mọi người đều mang những đại lượng của đại số trừu tượng cực kỳ tinh xảo trong túi của mình, dưới dạng một phần mềm thực hiện các mã sửa sai dùng cho điện thoại di động.
Tôi sẽ cố gắng đem lại cho bạn một chút hương vị của lý thuyết mã mà không đi vào những chi tiết quá phức tạp của nó. Một trong những khái niệm có ảnh hưởng nhất của lý thuyết này có liên quan tới các mã đối với hình học nhiều chiều. Khái niệm này đã được Richard Hamming công bố vào năm 1950 trong một bài báo nổi tiếng nhan đề “Mã phát hiện sai và sửa sai”. dưới dạng đơn giản nhất, nó cung cấp một sự so sánh giữa các xâu gồm những chữ số nhị phân. Hãy xét hai xâu như vậy, chẳng hạn 10011101 và 10110101. So sánh các bit tương ứng và đếm xem chúng khác nhau bao nhiêu lần, tựa như:
10 0 1 1 101
10 1 1 0 101
trong đó chúng ta đã đánh dấu những chỗ khác nhau bằng cách cho in đậm. Có hai vị trí mà ở đó các xâu bit khác nhau. Chúng ta gọi con số đó là khoảng cách Hamming giữa hai xâu. Nó có thể được coi như số lỗi 1-bit nhỏ nhất có thể biến xâu này thành xâu kia. Như vậy nó liên hệ rất mật thiết với kết quả nhiều khả năng mắc lỗi nếu những sai lỗi này xảy ra với tỉ lệ trung bình đã biết. Điều đó gợi ý rằng nó có thể cung cấp một hiểu biết sâu sắc về cách phát hiện những lỗi như vậy và thậm chí có thể cả cách sửa ngay các lỗi đó.
Hình học nhiều chiều nhập cuộc bởi vì các xâu có chiều dài cố định có thể gắn với các đỉnh của một “hình siêu lập phương” nhiều chiều. Riemann đã dạy chúng ta cách hình dung các không gian như thế bằng cách nghĩ về chúng như một danh sách các con số. Ví dụ, không gian 4 chiều gồm tất cả các danh sách khả dĩ của 4 số: ( x 1 , x 2 , x 3 , x 4 ). Mỗi một danh sách như vậy được coi là một điểm trong không gian đó, và mọi danh sách khả dĩ, về nguyên tắc, đều có thể xuất hiện.
Các x riêng rẽ trong danh sách được gọi là tọa độ của điểm tương ứng. Nếu không gian có 157 chiều thì bạn cần dùng danh sách gồm 157 số: ( x 1 , x 2 , ..., x 157 ). Các số này có lợi để xác định xem hai danh sách như thế cách nhau bao xa. Trong hình học Euclid “phẳng”, khoảng cách đó được cho bằng cách tổng quát hóa định lý Pythagor. Giả sử ta có điểm thứ hai ( y 1 , y 2 , ..., y 157 ) trong không gian 157 chiều. Khi đó khoảng cách giữa hai điểm này là căn bậc hai của tổng các bình phương các hiệu tọa độ tương ứng. Tức là
Nếu không gian là cong thì sẽ phải dùng tới ý tưởng về metric của Riemann.
Ý tưởng của Hamming là làm một cái gì đó tương tự, nhưng giá trị của các tọa độ chỉ giới hạn là 0 và 1. Khi đó ( x - y ) 2 sẽ bằng 0 nếu x 1 và y 1 giống nhau, và bằng 1 nếu khác nhau. Đối với ( x 2 - y 2 ) 2 cũng như thế, và v.v. Ông cũng bỏ đi căn bậc hai, điều này làm cho đáp số thay đổi, nhưng bù lại kết quả nhận được sẽ luôn là các số nguyên, bằng khoảng cách Hamming. Khái niệm này có mọi tính chất làm cho “khoảng cách” trở nên có nghĩa, chẳng hạn như nó bằng 0 chỉ khi hai xâu đồng nhất với nhau và đảm bảo rằng chiều dài của một cạnh “tam giác” (tập hợp gồm ba xâu) luôn luôn nhỏ hơn hoặc bằng tổng của hai cạnh kia.
Chúng ta có thể vẽ hình của tất cả các xâu bit có chiều dài là 2, 3, 4 (và mất nhiều sức hơn nhưng kém rõ ràng hơn với chiều dài là 5, 6 và có thể thậm chí 10, mặc dù không ai thấy hữu ích cả). Các giản đồ được cho trên hình 57.
Hình 57 Không gian của tất cả các xâu bit có chiều dài 2, 3 và 4.
Hai hình đầu tiên dễ dàng nhận ra là hình vuông và hình lập phương (được chiếu lên một mặt phẳng vì nó cần phải in lên một tờ giấy). Hình thứ ba là một hình siêu lập phương, một tương tự 4 chiều của hình lập phương, và lại một lần nữa nó được chiếu lên một mặt phẳng. Đường thẳng nối hai chấm đen có chiều dài Hamming bằng 1 - hai xâu ở hai đầu khác nhau đúng ở một vị trí, tức một tọa độ. Khoảng cách Hamming giữa hai xâu bất kỳ là số các đường thẳng như thế theo đường ngắn nhất nối hai xâu đó.
Giả sử chúng ta xét các xâu 3-bit ở góc của một hình lập phương. Lấy một xâu, chẳng hạn là 101. Cũng giả sử rằng tỉ lệ lỗi nhiều nhất là 1bit trong mỗi 3 bit. Khi đó xâu này có thể được truyền mà không thay đổi hoặc nó có thể kết thúc như một trong các xâu sau: 001, 111 hoặc 100. Các xâu này khác xâu gốc chỉ tại một vị trí, vì vậy khoảng cách Hamming của chúng đến xâu gốc bằng 1. Trong hình ảnh hình học không thật chặt chẽ thì các xâu lỗi nằm trên một “mặt cầu” có tâm ở xâu đúng, với bán kính bằng 1. Mặt cầu này chỉ gồm ba điểm, còn nếu chúng ta làm việc trong không gian 157 chiều với bán kính ví dụ bằng 5, thì nó trông chẳng có gì là giống với mặt cầu nữa. Nhưng nó vẫn đóng vai trò như một mặt cầu thông thường: nó có dạng khá compac và chứa chính xác các điểm mà khoảng cách từ chúng đến tâm nhỏ hơn hoặc bằng bán kính.
Giả sử chúng ta dùng các mặt cầu này để dựng một mã, sao cho mỗi mặt cầu tương ứng với một ký hiệu mới, và ký hiệu này được mã hóa bằng các tọa độ của tâm mặt cầu. Lại giả sử thêm rằng những mặt cầu này không xen phủ nhau. Ví dụ, ta có thể đưa vào một ký hiệu a đối với mặt cầu có tâm là 101. Mặt cầu này chứa 4 xâu 101, 001, 111 và 100. Nếu ta nhận được một xâu nào trong 4 xâu đó, thì ta biết rằng ký hiệu gốc là a . Ít nhất đó là đúng với điều kiện các ký hiệu khác của tôi tương ứng một cách tương tự với các mặt cầu không có điểm chung nào với mặt cầu ở trên.
Bây giờ hình học phát huy tác dụng của nó. Trong một hình lập phương, có 8 điểm (xâu) và mỗi mặt cầu chứa 4 điểm trong số đó. Nếu tôi cố gắng đặt khít các mặt cầu vào trong hình lập phương này, sao cho chúng không phủ nhau, thì may lắm tôi đặt được hai, vì 8/4 = 2. Tôi thực sự tìm được mặt cầu thứ hai có tâm là 010. Mặt cầu này chứa 4 điểm 010, 110, 000, 011, trong đó không có điểm nào nằm trong hình cầu thứ nhất. Vì vậy tôi có thể đưa vào ký hiệu thứ hai b gắn với mặt cầu này. Mã sửa sai của tôi đối với thông điệp viết bằng hai ký hiệu a và b bây giờ được thay mỗi ký hiệu a bằng 101 và mỗi ký hiệu b bằng 010. Ví dụ, nếu tôi nhận được thông điệp
101-010-100-101-000
thì tôi có thể giải mã tìm lại được thông điệp gốc như sau:
a - b - a - a - b
mặc dù có sai lỗi ở xâu thứ ba và thứ năm. Tôi sẽ chỉ thấy xâu lỗi thuộc mặt cầu nào trong hai mặt cầu của tôi.
Mọi chuyện đều tuyệt vời, nhưng mã này nhân độ dài của thông điệp lên ba lần, và chúng ta đã biết một cách dễ dàng hơn để đạt được chính kết quả đó: lặp lại thông điệp ba lần. Nhưng chính ý tưởng đó lại có tầm quan trọng mới khi chúng ta làm việc trong những không gian nhiều chiều hơn. với các xâu có chiều dài là 4, tức hình siêu lập phương, có 16 xâu, và mỗi mặt cầu chứa 5 điểm. Như vậy, rất có thể đặt trọn được ba mặt cầu vào trong mà chúng không phủ nhau. Thực tế là không thể, hai mặt cầu thì được rồi, nhưng phần không gian còn trống lại không phù hợp để đặt thêm một mặt cầu vào. Tuy vậy, các số ngày càng tăng có lợi cho chúng ta. Không gian các xâu có chiều dài 5 chứa tất cả 32 xâu, mỗi mặt cầu chỉ dùng 6 trong các xâu đó - có thể có chỗ cho 5 mặt cầu, nếu không thì cũng là 4. Chiều dài 6 cho chúng ta 64 điểm, và các mặt cầu dùng 7, như thế có thể đặt vào tới 9 mặt cầu.
Từ điểm này cần rất nhiều chi tiết vụ vặt để tìm ra những cái có thể xảy ra. Điều này giúp ta phát triển những phương pháp tinh xảo hơn. Nhưng cái mà chúng ta xem xét là sự tương tự, trong không gian các xâu, của cách hiệu quả nhất để xếp chặt các mặt cầu với nhau. Thật may mắn, đây là một lĩnh vực toán học đã tồn tại từ lâu và đã được biết đến khá nhiều. Một số kỹ thuật ở đó có thể chuyển từ hình học Euclid sang các khoảng cách Hamming, và khi điều đó không ổn, người ta lại phát minh ra các phương pháp mới thích hợp hơn với hình học của các xâu. Ví dụ, Hamming đã phát minh ra một mã mới, hiệu quả hơn bất kỳ mã nào đã được biết vào thời gian đó. Nó mã hóa các xâu 4 bit bằng cách biến nó thành các xâu 7 bit. Được cải tiến thành một mã 8 bit, nó có thể phát hiện bất kỳ lỗi 2 bit nào, nhưng không sửa được.
Mã này được gọi là mã Hamming. Tôi không mô tả nó ở đây, nhưng sẽ tổng kết lại để xem nó có thể là khả dĩ hay không. Có 16 xâu chiều dài 4 và 128 xâu chiều dài 7. Các mặt cầu bán kính 1 trong hình siêu lập phương 7 chiều chứa 8 điểm. Và 128/8 = 16. Như vậy, nếu đủ khéo léo, có thể nén 16 mặt cầu đòi hỏi vào trong một hình siêu lập phương 7 chiều. Chúng cần nằm khít một cách chính xác, vì không còn một khe hở nào. Khi điều đó xảy ra, một sự sắp đặt như vậy tồn tại, và Hamming đã tìm ra nó. Không có sự trợ giúp của hình học nhiều chiều thì khó mà đoán ra sự tồn tại của nó, chứ chưa nói tới chuyện tìm ra nó. Mà nếu có thể thì cũng rất khó. Ngay với sự trợ giúp của hình học đấy, nó cũng không phải là hiển nhiên.
Khái niệm thông tin của Shannon cũng cung cấp những giới hạn về hiệu quả của các mã. Lý thuyết mã hóa sẽ làm một nửa công việc còn lại, đó là tìm các mã hiệu quả nhất có thể. Các công cụ quan trọng ở đây được lấy từ đại số trừu tượng. Đây là lĩnh vực nghiên cứu các cấu trúc toán học chia sẻ những đặc điểm số học căn bản của các số nguyên hoặc các số thực, nhưng khác với chúng một cách đáng kể. Trong số học, chúng ta có thể cộng, trừ và nhân các số và kết quả nhận được là các số cùng loại. Đối với các số thực, chúng ta còn có thể chia chúng cho một số bất kỳ khác 0 và sẽ nhận được một số thực. Điều này nói chung là không thể đối với các số nguyên, bởi vì, chẳng hạn 1/2 không phải là số nguyên. Tuy nhiên, điều này là có thể nếu chúng ta chuyển sang một hệ thống lớn hơn của các số hữu tỉ, tức là các phân số. Trong các hệ thống số quen thuộc, các luật khác nhau của đại số được nghiệm đúng, ví dụ như luật giao hoán của phép cộng, nói rằng 2 + 3 = 3 + 2 và điều này là đúng đối với hai số bất kỳ.
Các hệ quen thuộc chia sẻ những tính chất đại số này với các hệ ít quen thuộc hơn. Ví dụ đơn giản nhất là dùng chỉ hai số 0 và 1. Tổng và tích của hai số này được định nghĩa như đối với các số nguyên, với một ngoại lệ: chúng ta khẳng định 1 + 1 = 0, chứ không phải bằng 2. Mặc dù có sự sửa đổi đó, nhưng tất cả các luật thông thường của đại số đều vẫn đúng. Hệ này chỉ có hai “phần tử”, hai đối tượng giống như số. Có chính xác một hệ như vậy bất cứ khi nào số các phần tử là lũy thừa của một số nguyên tố bất kỳ: 2, 3, 4, 7, 8, 9, 11, 13, 16, v.v. Những hệ như vậy được gọi là các trường Galois theo tên nhà toán học danh tiếng người Pháp Évariste Galois, người đã phân loại chúng vào khoảng năm 1830. Vì chúng có số phần tử hữu hạn nên rất thích hợp với truyền thông số, và các lũy thừa của 2 đặc biệt thuận tiện vì ký hiệu nhị phân.
Các trường Galois dẫn tới các hệ mã hóa gọi là các mã Reed-Solomon theo tên của Irving Reed và Gustave Solomon, những người đã phát minh ra chúng vào năm 1960. Chúng được dùng trong các dụng cụ điện tử tiêu dùng, đặc biệt là các đĩa CD và DVD. Chúng cũng là mã sửa sai dựa trên các tính chất đại số của các đa thức mà các hệ số của các đa thức đó được lấy từ các trường Galois. Tín hiệu được mã hóa - cả audio và video - được dùng để dựng nên một đa thức. Nếu đa thức đó có bậc là n , tức là lũy thừa cao nhất có mặt là x n thì đa thức đó có thể được tái dựng từ các giá trị của nó ở n điểm bất kỳ. Nếu chúng ta chỉ định giá trị ở hơn n điểm thì chúng ta có thể mất hoặc làm thay đổi một số giá trị mà không hề mất dấu vết của đa thức ban đầu. Nếu số các lỗi không quá lớn, vẫn có thể tìm lại đa thức ban đầu và giải mã để nhận lại dữ liệu gốc.
Thực tế, tín hiệu được biểu diễn như một chuỗi các khối số nhị phân. Một sự lựa chọn phổ biến là dùng 255 byte (tức các xâu 8 bit) một khối. Trong số đó, 223 byte mã hóa tín hiệu, trong khi 32 byte còn lại là “các ký hiệu về tính chẵn lẻ”, nó cho chúng ta biết rằng số các tổ hợp khác nhau của các chữ số trong dữ liệu chưa bị hư hỏng là lẻ hay chẵn. Mã Reed- Solomon này có thể sửa được tới 16 lỗi trong một khối, tức là tỉ lệ lỗi chỉ nhỏ hơn 1%.
Bất cứ khi nào bạn lái xe trên một con được gập ghềnh và nghe đĩa CD, tức là bạn đã dùng đại số trừu tượng dưới dạng một mã Reed-Solomon để đảm bảo rằng âm nhạc phát ra vẫn du dương, thay vì bị giật cục và đứt đoạn, và cũng có khi bị mất luôn cả một đoạn.
Lý thuyết thông tin được sử dụng rộng rãi trong mật mã và phân tích mã - các mã bí mật và các phương pháp để phá chúng. Bản thân Shannon đã sử dụng nó để đánh giá lượng thông điệp được mã hóa cần phải chặn để có cơ hội phá được mã. Giữ thông tin bí mật hóa ra còn khó khăn hơn là ta tưởng, và lý thuyết thông tin sẽ làm sáng tỏ vấn đề đó, cả trên quan điểm của người muốn giữ bí mật lẫn của người muốn tìm ra bí mật đó. Vấn đề này không chỉ quan trọng đối với quân sự mà còn đối với tất cả những ai dùng internet để mua sắm hàng hóa hoặc giao dịch với ngân hàng qua điện thoại.
Lý thuyết thông tin hiện nay cũng đóng vai trò quan trọng trong sinh học, đặc biệt là trong phân tích dữ liệu về trình tự ADN. Phân tử ADN là một chuỗi xoắn kép tạo bởi hai mạch xoắn quanh nhau. Mỗi mạch là một trình tự các bazơ (base), các phân tử đặc biệt gồm 4 loại: adenine, guanine, thymine và cytosine. Như vậy, ADN giống như một thông điệp mã hóa dùng 4 ký hiệu khả dĩ là A, G, T, C. Ví dụ, bộ gen của con người dài 3 tỉ bazơ. Hiện nay các nhà sinh học đã tìm được trình tự ADN của vô số sinh vật với tốc độ ngày càng nhanh, dẫn tới một kỷ nguyên mới của khoa học máy tính với sự ra đời của tin sinh học . Nó tập trung nghiên cứu những phương pháp xử lý các dữ liệu sinh học một cách hiệu quả, và một trong những công cụ cơ bản của nó là lý thuyết thông tin.
Vấn đề khó khăn là chất lượng thông tin chứ không phải số lượng. Các thông điệp “hai cộng hai bằng bốn” và “hai cộng hai bằng năm” chứa chính xác cùng một lượng thông tin, nhưng một cái là đúng còn cái kia là sai. Các bài tụng ca thời đại thông tin đã lờ đi một sự thật khó chịu là nhiều thông tin rầm rộ trên internet lại là các thông tin giả. Có những website do bọn tội phạm điều hành, những kẻ muốn đánh cắp tiền của bạn, hoặc những kẻ phủ định sạch trơn (denialists) muốn thay thế khoa học vững chắc bằng bất cứ thứ gì chợt xuất hiện trong đầu họ.
Khái niệm có tầm quan trong sống còn ở đây không phải là những thông tin như thế mà là ý nghĩa. Ba tỉ các bazơ trong ADN của bộ gen con người thực ra sẽ là vô nghĩa nếu chúng ta không tìm ra chúng có tác động như thế nào tới cơ thể và hành vi của chúng ta. Trong dịp kỷ niệm lần thứ 10 ngày hoàn thành dự án về bộ gen con người, một số tạp chí khoa học hàng đầu đã tiến hành điều tra những tiến bộ y học đạt được cho tới lúc đó từ sự liệt kê các bazơ của ADN con người. Giọng điệu chung là câm lặng: chỉ có một ít điều trị mới cho các bệnh đã được phát hiện cho tới lúc đó, nhưng không phải số lượng đã dự báo ban đầu. Việc trích xuất ý nghĩa từ thông tin về ADN tỏ ra khó khăn hơn những gì các nhà sinh học đã kỳ vọng. Dự án bộ gen con người là bước đi ban đầu cần thiết, nhưng nó mới chỉ cho thấy các vấn đề đó khó khăn như thế nào chứ không cho biết phải giải chúng ra sao.
Khái niệm thông tin đã thoát ra khỏi kỹ thuật điện tử và tràn sang nhiều lĩnh vực khác của khoa học, cả như một ẩn dụ và như một khái niệm kỹ thuật. Công thức tính thông tin rất giống công thức của entropy trong cách tiếp cận nhiệt động lực học của Boltzmann: những khác biệt chủ yếu là logarit cơ số 2 thay cho logarit tự nhiên và một thay đổi về dấu. Sự tương tự ở đây có thể được hình thức hóa và entropy có thể được giải thích là “sự mất thông tin”. Như vậy, entropy của một chất khí tăng vì chúng ta mất dấu vết về vị trí chính xác của các phân tử cũng như vận tốc của chúng. Mối liên hệ giữa entropy và thông tin cần phải xác lập một cách rất cẩn trọng: mặc dù các công thức là giống nhau, nhưng bối cảnh áp dụng chúng lại khác nhau. Entropy nhiệt động lực học là một tính chất ở các thang lớn của trạng thái một chất khí, nhưng thông tin là một tính chất của nguồn tạo dữ liệu, chứ không phải của một tín hiệu. Năm 1957, nhà vật lý Mỹ Edwin Jaynes, một chuyên gia về cơ học thống kê đã thiết lập được mối quan hệ: entropy nhiệt động lực học có thể được coi như một ánh xạ của thông tin Shannon, chứ bản thân entropy không thể đồng nhất với việc mất thông tin mà không chỉ ra bối cảnh cụ thể. Nếu lưu ý tới sự khác biệt đó thì có những bối cảnh hợp thức, trong đó entropy có thể được coi như một sự mất thông tin. Cũng như sự tăng entropy đặt ra những ràng buộc đối với hiệu suất của các máy hơi nước, sự giải thích dựa trên entropy đối với thông tin cũng đặt ra những ràng buộc đối với hiệu suất của tính toán. Ví dụ, cần phải tốn ít nhất 5,8×10 23 J năng lượng để lật một bit từ 0 sang 1 hoặc ngược lại ở nhiệt độ helium lỏng, bất kể bạn sử dụng phương pháp gì.
Nhiều vấn đề được đặt ra khi các từ “entropy” và “thông tin” được sử dụng theo nghĩa ẩn dụ hơn. Các nhà sinh học thường nói rằng ADN xác định “cái thông tin” được đòi hỏi để tạo ra một cơ thể. Điều này sẽ trở nên có ý nghĩa khi xóa chữ “cái” đi. Tuy nhiên, cách giải thích ẩn dụ của thông tin gợi ý rằng một khi bạn đã biết về ADN thì bạn sẽ biết mọi thứ có thể biết về cơ thể. Suy cho cùng, bạn đã nhận được cái thông tin đó, phải vậy không? Và trong một thời gian, các nhà sinh học đã nghĩ rằng phát biểu đó rất gần với chân lý. Tuy nhiên, hiện nay chúng ta biết rằng điều đó quá lạc quan. Thậm chí nếu thông tin ấy trong ADN đã thực sự chỉ định cơ thể ấy một cách duy nhất thì bạn còn cần phải tìm ra cơ thể ấy tăng trưởng như thế nào và ADN thực sự đã làm gì. Hơn nữa, phải có nhiều thứ hơn là một danh sách các mã ADN để tạo ra một cơ thể: những cái gọi là các nhân tố biểu sinh cần phải được tính đến. Những nhân tố đó bao gồm các “chuyển mạch” hóa học làm cho một đoạn mã ADN hoạt động hay không hoạt động, cũng như các nhân tố hoàn toàn khác được truyền từ bố mẹ sang con cái. Đối với loài người, những nhân tố này bao gồm cả văn hóa mà trong đó chúng ta lớn lên. Như vậy, việc phải trả giá khi dùng các từ kỹ thuật như từ “thông tin” là điều có thể dự đoán.
