실험 결과 AI가 스마트 계약 감사에 도움이 될 수 있지만 아직은 그렇지 않다는 것을 보여줍니다.

AI는 스마트 계약 감사에 도움이 될 수 있지만 아직은 그렇지 않음을 실험 결과로 확인했습니다.

인공지능(AI)은 이미 의료, 자동차, 마케팅 및 금융 등 다양한 산업을 변형시켰으며, 이제 블록체인 산업에서 가장 중요한 분야 중 하나인 스마트 계약 보안에서도 그 잠재력이 시험을 받고 있습니다.

다양한 실험들은 AI 기반 블록체인 감사의 큰 잠재력을 보여주었지만, 이러한 초기 기술은 아직 사람들의 직관, 미묘한 판단력 및 전문 지식과 같은 중요한 특성들이 부족합니다.

저희 OpenZeppelin 조직은 최근 AI가 취약점을 탐지하는 데 있어서 가치를 입증하기 위해 일련의 실험을 진행했습니다. 이를 위해 OpenAI의 최신 GPT-4 모델을 사용하여 Solidity 스마트 계약에서 보안 문제를 식별했습니다. 테스트되는 코드는 Ethernaut 스마트 계약 해킹 웹 게임에서 가져온 것으로, 감사인들이 악용을 찾는 방법을 배우는 데 도움을 주기 위해 설계되었습니다. 실험 중 GPT-4는 28개의 과제 중 20개에서 취약점을 성공적으로 식별했습니다.

관련 기사: Reddit, 준비하세요: 닫힌 API는 예상보다 더 비용이 많이 듭니다

일부 경우에는 코드를 제공하고 계약에 취약점이 있는지 묻는 것만으로도 정확한 결과를 얻을 수 있었습니다. 예를 들어, 생성자 함수와 관련된 다음과 같은 명명 오류의 경우입니다:

ChatGPT 스마트 계약 분석. 출처: OpenZeppelin

다른 경우에는 결과가 조금 불안정하거나 전혀 좋지 않을 수도 있었습니다. 때로는 “이전 계약에서 라이브러리 주소를 변경할 수 있나요?”와 같은 약간의 유도적인 질문을 통해 올바른 답변을 유도해야 했습니다. 최악의 경우에는 AI가 실제로 존재하지 않는 취약점을 발견해내기도 했습니다.

이는 현재 이 기술의 한계를 강조합니다. 그러나 GPT-4는 이전 버전인 GPT-3.5보다 상당한 발전을 이루었습니다. GPT-3.5는 OpenAI의 ChatGPT 초기 버전에서 사용된 대형 언어 모델(LLM)입니다. 2022년 12월, ChatGPT와의 실험에서 이 모델은 26개의 레벨 중 5개만 성공적으로 해결할 수 있었습니다. GPT-4와 GPT-3.5 모두 2021년 9월까지의 데이터를 강화학습을 통해 인간의 피드백을 통해 훈련되었습니다.

코인베이스도 비슷한 실험을 수행하여 비교 결과를 얻었습니다. 이 실험에서는 ChatGPT를 사용하여 토큰 보안을 검토했으며, AI는 많은 스마트 계약의 수동 검토를 반영할 수 있었지만, 일부 계약에 대한 결과를 제공하는 데 어려움이 있었습니다. 또한 코인베이스는 ChatGPT가 고위험 자산을 저위험 자산으로 표시하는 몇 가지 사례를 언급했습니다.

관련 기사: 너무 순진하지 마세요 — 블랙록의 ETF는 비트코인에 유리하지 않을 것입니다

ChatGPT와 GPT-4는 취약점 탐지보다는 자연어 처리, 인간과 유사한 대화 및 텍스트 생성을 위해 개발된 LLM입니다. 충분한 스마트 계약 취약점 예제가 주어진다면, LLM은 취약점을 인식하기 위해 필요한 지식과 패턴을 습득할 수 있습니다.

그러나 취약점 탐지를 위해 더 명확하고 신뢰할 수 있는 솔루션을 원한다면, 고품질 취약점 데이터 세트에 특화된 기계 학습 모델을 훈련시키는 것이 가장 좋은 결과를 얻을 수 있을 것입니다. 특정 목표에 맞춰진 훈련 데이터와 모델은 빠른 개선과 더 정확한 결과를 이끌어냅니다.

예를 들어, OpenZeppelin의 AI 팀은 최근 리엔트리 공격을 탐지하기 위한 커스텀 기계 학습 모델을 구축했습니다. 리엔트리 공격은 스마트 계약이 다른 계약에 대해 외부 호출을 수행할 때 발생할 수 있는 일반적인 악용 형태입니다. 초기 평가 결과는 업계 선두 보안 도구보다 우수한 성능을 보여주며, 오진률은 1% 미만입니다.

인공지능과 인간 전문가의 균형 유지

지금까지의 실험 결과는 현재 AI 모델이 보안 취약점을 식별하는 데 도움이 되는 도구일 수 있지만, 인간 보안 전문가의 미묘한 판단력과 전문 지식을 대체하기는 어렵다는 것을 보여줍니다. GPT-4는 주로 2021년까지의 공개 데이터를 기반으로 하며, 그 훈련 데이터 범위를 벗어난 복잡하거나 독특한 취약점을 식별할 수 없습니다. 블록체인의 빠른 발전을 고려할 때, 개발자들은 산업 내에서 최신 기술 동향과 잠재적인 취약점에 대해 계속해서 학습하는 것이 중요합니다.

앞으로 스마트 계약 보안의 미래는 인간의 전문 지식과 지속적으로 개선되는 AI 도구 간의 협력을 포함할 것으로 예상됩니다. AI를 이용하여 가장 흔한 취약점을 식별하고 잘 알려진 취약성에 대응하기 위해 인간 전문가가 최신 기술 동향을 따라가며 AI 솔루션을 업데이트하는 것이 AI-무장 사이버 범죄자에 대한 가장 효과적인 방어입니다. 사이버 보안 영역을 넘어서, AI와 블록체인의 결합된 노력은 더 많은 긍정적이고 혁신적인 솔루션을 제공할 것입니다.

AI만으로는 인간을 대체하지 않습니다. 그러나 AI 도구를 활용하는 인간 감사인들은 이 신흥 기술을 무시하는 감사인들보다 훨씬 효과적일 것입니다.