링크세상 링크모음
링크세상 링크모음 링크 애니 웹툰 링크 드라마 영화 링크 세상의모든링크

AI 언어 모델은 무손실 압축에서 PNG 및 FLAC를 능가할 수 있다고 연구 결과

효과적인 압축은 정보 손실 없이 데이터를 더 작게 만드는 패턴을 찾는 것입니다. 알고리즘이나 모델이 시퀀스의 다음 데이터 조각을 정확하게 추측할 수 있으면 이러한 패턴을 잘 찾아낸다는 것을 보여줍니다. 이는 좋은 추측(GPT-4와 같은 대규모 언어 모델이 매우 잘 수행하는 기능)을 좋은 압축을 달성하는 아이디어와 연결합니다.

“언어 모델링은 압축이다”라는 제목의 arXiv 연구 논문에서 연구원들은 Chinchilla 70B라고 불리는 DeepMind LLM(대형 언어 모델)이 ImageNet 이미지 데이터베이스의 이미지 패치에 대해 원래 크기의 43.4%까지 무손실 압축을 수행할 수 있다는 발견을 자세히 설명합니다. 동일한 데이터를 58.5%로 압축한 PNG 알고리즘. 오디오의 경우 Chinchilla는 LibriSpeech 오디오 데이터 세트의 샘플을 원시 크기의 16.4%로 압축하여 FLAC 압축보다 30.3% 더 뛰어났습니다.

이 경우 결과의 숫자가 낮을수록 압축이 더 많이 발생함을 의미합니다. 무손실 압축은 압축 프로세스 중에 데이터가 손실되지 않음을 의미합니다. 이는 파일 크기를 크게 줄이기 위해 디코딩 프로세스 중에 일부 데이터를 버리고 근사치를 사용하여 일부 데이터를 재구성하는 JPEG와 같은 손실 압축 기술과 대조됩니다.

연구 결과에 따르면 Chinchilla 70B는 주로 텍스트를 처리하도록 훈련되었지만 다른 유형의 데이터를 압축하는 데에도 놀라울 정도로 효과적이며 종종 해당 작업을 위해 특별히 설계된 알고리즘보다 더 나은 경우가 많습니다. 이는 기계 학습 모델을 텍스트 예측 및 작성을 위한 도구일 뿐만 아니라 다양한 유형의 데이터 크기를 줄이는 효과적인 방법으로 생각할 수 있는 기회를 열어줍니다.

DeepMind 연구진이 논문에서 제공한 압축 테스트 결과 차트.  차트는 초기 크기가 모두 1GB인 다양한 데이터 세트에 대한 다양한 데이터 압축 기술의 효율성을 보여줍니다.  압축된 크기를 원래 크기와 비교하여 낮을수록 좋음 비율을 사용합니다.
크게 하다 / DeepMind 연구진이 논문에서 제공한 압축 테스트 결과 차트. 차트는 초기 크기가 모두 1GB인 다양한 데이터 세트에 대한 다양한 데이터 압축 기술의 효율성을 보여줍니다. 압축된 크기를 원래 크기와 비교하여 낮을수록 좋음 비율을 사용합니다.

딥마인드

지난 20년 동안 일부 컴퓨터 과학자들은 데이터를 효과적으로 압축하는 능력이 일반 지능의 한 형태와 유사하다고 제안해 왔습니다. 이 아이디어는 세상을 이해하는 데 종종 패턴을 식별하고 복잡성을 이해하는 것이 포함된다는 개념에 뿌리를 두고 있으며, 이는 위에서 언급한 것처럼 좋은 데이터 압축이 수행하는 것과 유사합니다. 압축 알고리즘은 필수 기능을 유지하면서 대규모 데이터 세트를 더 작고 관리하기 쉬운 형태로 줄임으로써 해당 데이터를 이해하거나 표현하는 형태를 보여준다고 지지자들은 주장합니다.

Hutter Prize는 지능의 한 형태로서 압축에 대한 아이디어를 집중적으로 보여주는 예입니다. AI 분야 연구원이자 DeepMind 논문의 저자 중 한 명인 Marcus Hutter의 이름을 딴 이 상은 고정된 영어 텍스트 세트를 가장 효과적으로 압축할 수 있는 사람에게 수여됩니다. 기본 전제는 텍스트를 매우 효율적으로 압축하려면 인간이 언어를 이해하는 방식과 유사하게 언어의 의미론적 및 구문론적 패턴을 이해해야 한다는 것입니다.

따라서 이론적으로 기계가 이 데이터를 매우 잘 압축할 수 있다면 이는 일반 지능의 형태를 나타낼 수도 있고 적어도 그 방향으로 한 단계 더 나아간 것일 수도 있습니다. Hutter Prize 수상이 일반 지능을 의미한다는 점에 해당 분야의 모든 사람이 동의하는 것은 아니지만, 이번 대회에서는 데이터 압축 문제와 보다 지능적인 시스템을 구축하려는 목표 간의 중복이 강조되었습니다.

이러한 맥락에서 DeepMind 연구원들은 예측과 압축 사이의 관계가 일방통행이 아니라고 주장합니다. 그들은 gzip과 같은 좋은 압축 알고리즘이 있다면 이를 뒤집어 압축 과정에서 배운 내용을 기반으로 새로운 원본 데이터를 생성하는 데 사용할 수 있다고 가정합니다.

논문의 한 섹션(섹션 3.4)에서 연구원들은 gzip과 Chinchilla를 사용하여 조건을 지정한 후 데이터 시퀀스에서 다음에 무엇이 나올지 예측함으로써 텍스트, 이미지, 오디오 등 다양한 형식에 걸쳐 새로운 데이터를 생성하는 실험을 수행했습니다. 샘플. 당연하게도 gzip은 그다지 좋은 성능을 발휘하지 못했고 적어도 인간의 마음에는 완전히 무의미한 출력을 생성했습니다. 이는 gzip이 데이터를 생성하도록 강요될 수 있지만 해당 데이터는 실험적 호기심 외에는 그다지 유용하지 않을 수 있음을 보여줍니다. 반면, 언어 처리를 염두에 두고 설계된 친칠라는 생성 작업에서 훨씬 더 나은 성능을 발휘할 것으로 예상됩니다.

샘플 텍스트에서 gzip과 Chinchilla의 생성 속성을 비교하는 DeepMind 논문의 예입니다.  gzip의 출력을 읽을 수 없습니다.
크게 하다 / 샘플 텍스트에서 gzip과 Chinchilla의 생성 속성을 비교하는 DeepMind 논문의 예입니다. gzip의 출력을 읽을 수 없습니다.

딥마인드

AI 언어 모델 압축에 관한 DeepMind 논문은 동료 검토를 거치지 않았지만 대규모 언어 모델을 위한 잠재적인 새로운 애플리케이션에 대한 흥미로운 창을 제공합니다. 압축과 지능의 관계는 지속적인 논쟁과 연구의 문제이므로 이 주제에 대한 더 많은 논문이 곧 나올 것입니다.