귀에 꽂는 이어버드 속의 AI 에이전트, 항상 듣고 있는 상황 인식 보조를 위해

미시간 대학교와 푸단 대학교의 연구팀이 Buddie라는 오픈소스 AI 이어버드 시스템을 소개했습니다. 이 시스템은 상황 인식 기능을 통해 음성 기반 상호작용을 강화하도록 설계되었습니다.

Buddie는 지속적인 청취 동안 전력 소비를 줄이기 위해 에너지 효율적인 압축을 사용합니다. 전기와 컴퓨터 공학 교수인 Robert Dick가 이끄는 이 프로젝트는 이 기술을 소비자와 개발자에게 제공하기 위해 12월 23일에 Kickstarter 캠페인을 시작했습니다.

Buddie는 이어폰과 스마트폰 앱을 결합해 대화 문맥을 이해할 수 있는 음성 인터페이스를 만듭니다. 이 시스템은 대화를 듣고 배경 정보를 수집하여, AI 어시스턴트가 보다 정확한 응답을 제공하도록 돕습니다. 예를 들어, 최근에 언급된 이름을 기억하거나 회의에서의 업무를 요약할 수 있습니다.

Dick에 따르면, 문맥 인식은 현재 AI 시스템에서 중대한 제한사항을 해결합니다. 이는 사용자들이 반복적으로 배경 정보를 제공해야 하는데, Buddie는 AI 어시스턴트가 필요한 문맥에 접근하도록 허용함으로써 이러한 상호작용을 간소화하는 것을 목표로 합니다.

Buddie 이어버드는 일상에 AI를 통합하는 서비스를 제공하며, ChatGPT나 다른 AI 에이전트들을 상황 인식 개인 비서로 바꾸어 줍니다. 계속해서 들으며, Buddie는 사용자들이 계속해서 상황을 설명할 필요 없이 맞춤형 답변을 제공하는 데 필요한 맥락을 AI 시스템에 제공합니다.

이 무선 상호작용은 음성 통신을 지원하며, 사용자들이 언제 어디서든 AI와 상호작용할 수 있도록 합니다. Buddie는 ChatGPT와 같은 AI 에이전트를 지원하는 iOS와 안드로이드용 오픈소스 모바일 앱과 함께 지능형 이어버드를 포함하고 있습니다. 선택적인 제3자 프리미엄 서비스도 이용 가능하며, 사용자들이 그들의 경험을 맞춤화할 수 있게 해줍니다.

작업 및 개인 사용을 위해 설계된 Buddie는 회의를 필사하고 요약하여 활동 항목을 캡처하고 대화 중에 빠르고 관련성 있는 힌트를 제공함으로써 생산성을 향상시키는 것을 목표로 합니다.

예를 들어, 상사가 익숙하지 않은 단어를 언급하면 Buddie는 즉시 그 정의를 제공합니다. Zoom과 Microsoft Teams를 포함한 다양한 회의 플랫폼과 통합하여 다양한 커뮤니케이션 스타일에 대한 지원을 제공합니다.

직장을 넘어서 일상생활에도 도움을 주는 버디는 사용자의 선호도를 배우고 맞춤형 제안을 제공합니다. 그것은 일일 성과를 반영하고, 작업을 추적하며, 의미 있는 순간을 강조하기 위해 매일 요약을 제공합니다.

연구자들은 버디 이어버드가 사용자의 개인 정보를 보호하면서 AI를 통해 상황 인식을 제공하도록 설계되었다고 말합니다. 오디오 데이터는 캡처되어 무선으로 버디 스마트폰 앱으로 전송되며, 여기서 텍스트로 변환되어 몇 초 내에 삭제됩니다.

대화 내용은 암호화되어 사용자의 장치에 로컬로 저장되어, 무단 접근을 방지합니다. 데이터는 사용자가 명시적으로 요청하지 않는 한 원격 서버로 전송되지 않습니다. 제3자 AI 서비스를 사용하기로 선택한 사용자들

Buddie의 지속적인 수신 능력은 특히 에너지 소비와 관련하여 기술적인 도전을 제기합니다. 이를 해결하기 위해, 이 이어버드는 에너지 효율적인 압축 기술을 사용하여 배터리에 미치는 부담을 줄입니다.

이 프로젝트의 오픈 소스 방식은 사용자와 개발자들이 새로운 응용프로그램을 탐색하고, 소프트웨어를 수정하고, 그 개발에 기여할 수 있도록 장려합니다. Buddie는 초기 후원자들에게 40달러의 비용으로 이용 가능합니다.

그러나, Buddie의 상황 인식 디자인이 혁신적이긴 하지만, 사이버 보안 분야에서 점점 더 우려되는 문제들을 돋보이게 합니다. Morphisec의 사이버보안 전문가들은 공격자들이 상황 인식 기기에서 찾을 수 있는 고급 기능들처럼 세대적 AI 시스템을 이용하는 것이 점차 증가하고 있다고 경고하고 있습니다.

예를 들어, 모델 추출 기법은 AI 시스템을 역설계하는 데 사용될 수 있으며, 그들의 행동을 모방하여 무단으로 통찰력을 얻거나 정교한 공격을 시작할 수 있습니다.

또한 Buddie의 지속적인 수신 기능은 프롬프트 주입 공격과 같은 취약점에 대한 질문을 제기합니다. 공격자들은 AI 시스템의 프롬프트를 조작하여 잠재적으로 해로운 또는 의도하지 않은 출력을 생성하도록 강요할 수 있습니다. 이는 Morphisec가 보고한 바와 같습니다.

Buddie의 컨텍스트 인식 기능을 가능케 하는 것과 비슷한 고급 AI 모델들은, 공격 전략을 성공적으로 식별하기 위해 필터를 우회하는 적응형 프롬프트를 만들 수 있다고 Morphisec는 말합니다.

Buddie의 미래 버전은 개인정보 보호 기능을 향상시키고, 기기 내 인공지능을 통합하며, 더 강력한 데이터 보호 정책을 가진 AI 시스템을 선택하는 옵션을 제공하기를 목표로 합니다. 현재로서는 오디오 기반 상호작용을 개선하고, 일상적인 사용에서 컨텍스트 인식 AI의 잠재력을 이해하는 데 주력하고 있습니다.