Tin tức Vũ trụ TV

Early Bird sử dụng năng lượng ít hơn 10 lần để huấn luyện mạng lưới thần kinh sâu

Ngày:
Th5 19, 2020
Tóm lược:

Các kỹ sư đã tìm ra cách để đào tạo các mạng lưới thần kinh sâu cho một phần năng lượng cần thiết hiện nay. Phương pháp Early Bird của họ tìm thấy các mô hình kết nối mạng chính trong đào tạo sớm, giảm các tính toán và lượng khí thải carbon để đào tạo học tập sâu.

Share:
CÂU CHUYỆN ĐẦY ĐỦ

Phương pháp Early Bird của Đại học Rice để đào tạo mạng lưới thần kinh sâu tìm thấy các kiểu kết nối quan trọng ngay từ đầu trong đào tạo, làm giảm các tính toán và dấu chân carbon cho dạng trí tuệ nhân tạo ngày càng phổ biến được gọi là học sâu. (Lịch sự đồ họa của Y. Lin / Đại học Rice)
Phương pháp Early Bird của Đại học Rice để đào tạo mạng lưới thần kinh sâu tìm thấy các kiểu kết nối quan trọng ngay từ đầu trong đào tạo, làm giảm các tính toán và dấu chân carbon cho dạng trí tuệ nhân tạo ngày càng phổ biến được gọi là học sâu.
(Lịch sự đồ họa của Y. Lin / Đại học Rice)

Early Bird của Đại học Rice có thể quan tâm ít hơn về worm (con sâu máy tính); nó đang tìm kiếm megatons khí thải nhà kính.

Early Bird là một phương pháp tiết kiệm năng lượng để đào tạo mạng lưới thần kinh sâu (DNN), hình thức trí tuệ nhân tạo (AI) đằng sau xe tự lái, trợ lý thông minh, nhận diện khuôn mặt và hàng tá ứng dụng công nghệ cao khác.

Các nhà nghiên cứu từ Đại học Rice và Texas A & M đã tiết lộ Early Bird ngày 29 tháng 4 trong một bài viết nổi bật tại ICLR 2020, Hội nghị Quốc tế về Đại diện Học tập. Một nghiên cứu của các tác giả chính Haoran You và Chaojian Li của Phòng thí nghiệm tính toán thông minh và hiệu quả (EIC) của Rice cho thấy Early Bird có thể sử dụng năng lượng ít hơn 10,7 lần để đào tạo một DNN với cùng mức độ chính xác hoặc tốt hơn so với đào tạo thông thường. Giám đốc phòng thí nghiệm EIC Yingyan Lin dẫn đầu nghiên cứu cùng với Richard Baraniuk của Rice và Zhangyang Wang của Texas A & M.

Lin chia sẻ: “Một động lực chính trong các đột phá AI gần đây là sự ra đời của các DNN lớn hơn, đắt tiền hơn. Nhưng đào tạo những DNN này đòi hỏi năng lượng đáng kể. Để có nhiều đổi mới được tiết lộ, bắt buộc phải tìm ra các phương pháp đào tạo ‘xanh hơn’, vừa giải quyết các mối lo ngại về môi trường vừa giảm rào cản tài chính cho nghiên cứu AI.”

Đào tạo DNN tiên tiến là tốn kém và ngày càng tốn kém. Một nghiên cứu năm 2019 của Viện Allen về AI ở Seattle cho thấy số lượng tính toán cần thiết để đào tạo một mạng lưới thần kinh sâu hàng đầu đã tăng 300.000 lần trong giai đoạn 2012-2018 và một nghiên cứu khác vào năm 2019 của các nhà nghiên cứu tại Đại học Massachusetts Amherst đã tìm thấy “dấu chân” carbon để đào tạo một DNN ưu tú, duy nhất tương đương với lượng khí thải carbon dioxide trọn đời của năm chiếc ô tô Mỹ.

DNN chứa hàng triệu hoặc thậm chí hàng tỷ tế bào thần kinh nhân tạo học cách thực hiện các nhiệm vụ chuyên ngành. Nếu không có bất kỳ chương trình rõ ràng nào, các mạng lưới nơ-ron nhân tạo sâu có thể học cách đưa ra quyết định giống con người – và thậm chí vượt trội hơn các chuyên gia về con người – bằng cách “nghiên cứu” một số lượng lớn các ví dụ trước đây. Chẳng hạn, nếu một DNN nghiên cứu các bức ảnh về mèo và chó, nó học cách nhận ra mèo và chó. AlphaGo, một mạng lưới sâu được đào tạo để chơi trò chơi cờ vây, đã đánh bại một người chơi chuyên nghiệp vào năm 2015 sau khi nghiên cứu hàng chục ngàn trò chơi đã chơi trước đó.

Lin, một giáo sư trợ lý về kỹ thuật điện và máy tính tại Trường Kỹ thuật Brown của Rice giải thích: “Cách thức tiên tiến để thực hiện đào tạo DNN được gọi là cắt tỉa và đào tạo tiến bộ. Đầu tiên, bạn huấn luyện một mạng lưới khổng lồ, dày đặc, sau đó loại bỏ những phần không quan trọng – như tỉa cây. Sau đó, bạn giữ lại mạng được cắt tỉa để khôi phục hiệu suất vì hiệu suất giảm sau khi cắt tỉa. Và trong thực tế, bạn cần cắt tỉa và đào tạo lại nhiều lần để có được hiệu suất tốt. “

Cắt tỉa là có thể bởi vì chỉ một phần của các tế bào thần kinh nhân tạo trong mạng có thể có khả năng thực hiện công việc cho một nhiệm vụ chuyên ngành. Đào tạo tăng cường kết nối giữa các tế bào thần kinh cần thiết và tiết lộ những cái nào có thể được cắt bỏ. Cắt tỉa làm giảm kích thước mô hình và chi phí tính toán, giúp triển khai các DNN được đào tạo đầy đủ, đặc biệt là trên các thiết bị nhỏ với bộ nhớ và khả năng xử lý hạn chế.

“Bước đầu tiên, đào tạo mạng lưới khổng lồ, dày đặc, là tốn kém nhất”, Lin nói. “Ý tưởng của chúng tôi trong công việc này là xác định mạng lưới được cắt tỉa đầy đủ chức năng cuối cùng, mà chúng tôi gọi là ‘vé sớm’, trong giai đoạn đầu của bước đầu tiên tốn kém này.”

Bằng cách tìm kiếm các mẫu kết nối mạng quan trọng ngay từ đầu trong đào tạo, Lin và các đồng nghiệp đã có thể phát hiện ra sự tồn tại của vé sớm và sử dụng chúng để hợp lý hóa đào tạo DNN. Trong các thử nghiệm trên các bộ dữ liệu điểm chuẩn và mô hình DNN khác nhau, Lin và các đồng nghiệp đã phát hiện Early Bird có thể xuất hiện ít nhất là một phần mười hoặc ít hơn trong giai đoạn đào tạo ban đầu.

Phương pháp của nhóm nghiên cứu có thể tự động xác định vé sớm trong vòng 10% hoặc ít hơn trong quá trình đào tạo các mạng lưới khổng lồ, dày đặc. Điều này có nghĩa là chúng ta có thể đào tạo một DNN để đạt được độ chính xác tương đương hoặc thậm chí tốt hơn cho một nhiệm vụ nhất định trong khoảng 10% hoặc ít hơn thời gian cần thiết cho đào tạo truyền thống, điều này có thể dẫn đến tiết kiệm nhiều hơn một đơn hàng cả về tính toán và năng lượng.

Phát triển các kỹ thuật để làm cho AI xanh hơn là trọng tâm chính của nhóm Lin. Mối quan tâm về môi trường là động lực chính, nhưng Lin cho biết có nhiều lợi ích.

Mục tiêu của các nhà khoa học là làm cho AI trở nên thân thiện với môi trường hơn và toàn diện hơn. Kích thước cực lớn của các vấn đề AI phức tạp đã ngăn cản những người chơi nhỏ hơn. AI xanh có thể mở ra cánh cửa cho phép các nhà nghiên cứu có máy tính xách tay hoặc tài nguyên tính toán hạn chế để khám phá những đổi mới của AI.

Các đồng tác giả khác bao gồm Pengfei Xu, Yonggan Fu và Yue Wang, tất cả của Rice và Xiaohan Chen của Texas A & M.

Nghiên cứu được hỗ trợ bởi Quỹ khoa học quốc gia (1937592, 1937588).


Nguồn truyện:

Tài liệu được cung cấp bởi Đại học Rice . Lưu ý: Nội dung có thể được chỉnh sửa cho kiểu dáng và độ dài.


Bài viết liên quan

Bài viết mới