Hình ảnh ba chiều luôn bị thách thức bởi những biến dạng khó lường trong môi trường động. Các phương pháp học sâu truyền thống thường gặp khó khăn trong việc thích ứng với các bối cảnh đa dạng do chúng phụ thuộc vào các điều kiện dữ liệu cụ thể.

        Để giải quyết vấn đề này, các nhà nghiên cứu tại Đại học Chiết Giang đã đào sâu vào sự giao thoa giữa quang học và học sâu, khám phá ra vai trò chính của vật lý trước trong việc đảm bảo sự liên kết của dữ liệu và các mô hình được đào tạo trước.

        Họ đã khám phá tác động của sự gắn kết và nhiễu loạn không gian đối với hình ảnh ba chiều và đề xuất một phương pháp cải tiến, TWC-Swin, để khôi phục hình ảnh ba chiều chất lượng cao khi có những nhiễu loạn này. Nghiên cứu của họ, có tựa đề “Khai thác sự kỳ diệu của ánh sáng: máy biến áp xoay hướng dẫn sự kết hợp không gian cho hình ảnh ba chiều phổ quát”, được báo cáo trên tạp chí Advanced Photonics.

       Sự kết hợp không gian là thước đo mức độ hành xử có trật tự của sóng ánh sáng. Khi sóng ánh sáng hỗn loạn, hình ảnh ba chiều trở nên mờ và nhiễu vì chúng mang ít thông tin hơn. Duy trì sự gắn kết về không gian là rất quan trọng để có được hình ảnh ba chiều rõ ràng.

        Các môi trường động, giống như những môi trường có nhiễu loạn đại dương hoặc khí quyển, đưa ra những biến đổi về chiết suất của môi trường. Điều này phá vỡ mối tương quan pha của sóng ánh sáng và làm biến dạng sự kết hợp không gian. Do đó, hình ảnh ba chiều có thể bị mờ, méo hoặc thậm chí bị mất.

        Các nhà nghiên cứu tại Đại học Chiết Giang đã phát triển phương pháp TWC-Swin để giải quyết những thách thức này. TWC-Swin, viết tắt của "máy biến áp xoay kết hợp đào tạo", tận dụng sự kết hợp không gian như một vật chất trước khi hướng dẫn việc đào tạo mạng lưới thần kinh sâu. Mạng này, dựa trên kiến trúc máy biến áp Swin, có khả năng ghi lại cả đặc điểm hình ảnh cục bộ và toàn cầu một cách vượt trội.

         Để thử nghiệm phương pháp của họ, các tác giả đã thiết kế một hệ thống xử lý ánh sáng tạo ra hình ảnh ba chiều với các điều kiện nhiễu loạn và kết hợp không gian khác nhau. Những hình ảnh ba chiều này dựa trên các vật thể tự nhiên, đóng vai trò là dữ liệu huấn luyện và thử nghiệm cho mạng lưới thần kinh.

          Kết quả chứng minh rằng TWC-Swin khôi phục hiệu quả hình ảnh ba chiều ngay cả trong điều kiện độ kết hợp không gian thấp và nhiễu loạn tùy ý, vượt qua các phương pháp dựa trên mạng tích chập truyền thống. Hơn nữa, phương pháp này được cho là thể hiện khả năng khái quát hóa mạnh mẽ, mở rộng ứng dụng của nó đến những cảnh chưa nhìn thấy không có trong dữ liệu huấn luyện.

         Nghiên cứu này tạo ra nền tảng mới trong việc giải quyết vấn đề suy giảm chất lượng hình ảnh trong hình ảnh ba chiều trên nhiều cảnh khác nhau. Bằng cách tích hợp các nguyên tắc vật lý vào học sâu, nghiên cứu này làm sáng tỏ sự kết hợp thành công giữa quang học và khoa học máy tính. Khi tương lai mở ra, công việc này mở đường cho hình ảnh ba chiều nâng cao, cho phép chúng ta nhìn rõ ràng qua sự hỗn loạn.