연구자들, 블록체인 프레임워크를 통해 딥 강화 학습을 민주화하다 소개

콩코디아 대학이 주도하는 연구팀이 어제 딥 강화 학습(DRL)을 보다 접근하기 쉽게 만드는 새로운 블록체인 기반 프레임워크를 발표하였습니다.

DRL은 딥러닝과 강화 학습을 결합한 인공 지능의 한 분야로, 게임, 로보틱스, 건강 관리, 금융 등의 산업에서 가치를 입증해 왔습니다. 그러나 그 복잡성 때문에 많은 소규모 기업들과 개인들에게는 접근하기 어렵습니다.

이 차이를 줄이기 위해, 연구자들은 사용자가 DRL 관련 서비스를 이용할 수 있게 하는 대중 참여형 DRL 서비스(DRLaaS) 프레임워크를 개발하였습니다. 이 서비스에는 모델 훈련 및 공유가 포함되어 있습니다.

이 새로운 프레임워크를 통해 사용자들은 DRL 모델을 대신 훈련할 수 있는 작업자들의 전문성과 계산 능력을 활용할 수 있습니다. 더욱이, 사용자들은 작업자들이 공유하는 사전 훈련된 모델들로부터 이익을 얻을 수 있으며, 이를 지식 전달 방법을 통해 맞춤화할 수 있습니다.

콘소시엄 블록체인에 구축된 이 프레임워크는 업무 실행의 투명성과 추적 가능성을 보장합니다. 시스템은 스마트 컨트랙트를 이용하여 업무 할당을 관리하고, 데이터 무결성을 유지하기 위해 InterPlanetary File System (IPFS)를 사용하여 모델을 저장합니다.

블록체인 기술을 사용함으로써, 이 프레임워크는 서버 오류와 데이터 조작과 관련된 문제를 해결합니다.

주저자인 아흐메드 알라가에 따르면, 크라우드소싱 요소는 접근성을 높여, 더 많은 사람들이 DRL 솔루션 개발에 참여할 수 있게 한다.

알라가는 “이 프레임워크를 통해 누구나 가입하고 개인의 기록과 프로필을 구축할 수 있습니다. 그들의 전문성, 훈련 및 평가에 기반하여 사용자들이 요청하는 작업을 할당받을 수 있습니다.”라고 말했다.

저자들은 이 시스템의 분산화가 대형 재해의 위험을 줄이고, DRL 모델 학습에 관련된 비용을 낮추는 효과가 있다고 주장합니다.

저자들은 계산 노력을 여러 기계에 분산시킴으로써, 이 시스템이 서버 충돌이나 사이버 공격에 대한 내성을 제공하며, 이는 전통적인 중앙집중식 시스템에 비해 큰 개선점이라고 말합니다.

공동 저자인 자말 벤타하르, 알라가의 논문 지도교수는 이 서비스가 DRL 솔루션에 대한 접근을 민주화시킨다고 강조했습니다.

“DRL 모델을 훈련시키려면 모두가 갖추지 못한 컴퓨팅 자원이 필요합니다. 또한 전문 지식도 필요합니다. 이 프레임워크는 두 가지를 모두 제공합니다.”라고 벤타하르는 말했습니다.

이 프레임워크의 전체 세부사항은 Information Sciences에 게시된 그들의 연구 논문에서 확인할 수 있습니다. 이 논문에서는 프레임워크의 설계와 잠재적인 응용 분야에 대해 강조하고 있습니다.