이 프로그램 뒤에는 2019년 튜링상 수상자 요슈아 벤지오(Yoshua Bengio) 또는 최근 몇 년 동안 AI의 개념을 "소프트웨어 2.0"으로 홍보하는 데 도움을 준 크리스토퍼 레(Christopher Ré)와 같은 인공 지능 분야의 저명한 이름들이 있습니다. 하이에나 달성 교육이 덜 된 ChatGPT와 동일 처리가 훨씬 적습니다.
OpenAI 프로그램인 ChatGPT는 최근 찬사를 받을 만하지만 현실은 평소보다 더 복잡한 소프트웨어는 아닙니다. 하지만 하나는 작동하려면 엄청난 양의 훈련이 필요합니다. 점점 더 복잡해지는 문제에 대응하기 위해서는 놀라운 힘이 필요합니다. 그리고 이것이 실패하기 시작할 수 있는 때입니다.
이 모든 것은 2017년 당시 Google의 연구 리더 중 한 명인 Ashish Vaswani가 현재 AI 프로그램의 기초 또는 아버지인 Transformer AI 프로그램을 발표하면서 시작되었습니다. 문제는 변압기에 큰 결함이 있었습니다. . 작업을 수행하기 위해 "주의"라고 알려진 것을 사용합니다. 프로그램은 단어와 같은 기호 그룹에서 정보를 수신하고 해당 정보를 ChatGPT에서 볼 수 있는 답변과 같은 새로운 기호 그룹으로 이동합니다.
ChatGPT 및 GPT-4를 포함한 모든 현재 프로그램의 필수 도구인 어텐션 작업에는 "XNUMX차" 계산 복잡성이 있습니다. 기본적으로 소요되는 시간을 의미합니다. ChatGPT가 응답을 생성하려면 수신한 정보의 제곱에 따라 증가합니다. .
즉, 데이터가 너무 많으면(너무 많은 단어, 많은 채팅 줄 또는 이미지 픽셀) 프로그램이 응답하는 데 더 많은 컴퓨터 성능이 필요합니다. 그리고 그 욕구는 더 이상 적절하게 반응하지 않는 한계에 도달할 때까지 스스로 배가됩니다.
안에 최근 기사, 스탠포드 대학과 캐나다 MILA 연구소의 과학자 팀은 GPT-4보다 훨씬 더 효율적일 수 있는 기술을 제안하고 하이에나라고 명명했습니다. 저자로는 Stanford의 Michael Poli와 MILA의 최고 과학 책임자인 Yoshua Bengio 및 2019년 튜링상 수상자 (노벨상과 동등한 컴퓨터 과학). Bengio는 Google의 Transformer 프로그램이 존재하기 오래 전에 주의 메커니즘을 개발한 것으로 알려져 있습니다. 그들은 최근 몇 년 동안 AI의 개념을 "소프트웨어 2.0"으로 홍보하는 데 도움을 준 Christopher Ré와 합류했습니다. 어서, 전문화 된 두뇌의 흥미로운 선택입니다.
100을 곱한 성능
하이에나의 능력을 입증하기 위해 저자는 다양한 테스트를 거쳤습니다. 이 중 하나는 825GB의 텍스트 모음인 The Pile로 알려져 있습니다. 250,000권 이상의 책에 해당 )는 비영리 AI 연구팀인 Eleuther.ai가 2020년에 모였습니다. 텍스트는 PubMed, arXiv, GitHub, 미국 특허청 등과 같은 "고품질" 소스에서 얻었으므로 정보는 온라인에서 볼 수 있는 토론보다 더 엄격합니다. 트위터.
하이에나 프로그램은 ChatGPT와 동등한 점수를 얻었지만 컴퓨팅 작업은 20% 적었습니다. 다른 작업에서 하이에나는 GPT 버전과 같거나 비슷한 점수를 얻었습니다. 절반 미만의 데이터로 훈련.
그러나 여기서 흥미로운 점은 Poli의 팀이 하이에나에 대한 수요를 증가시켰을 때(시간이 지남에 따라 더 많은 데이터가 요청되고 교환이 증가함) 프로그램이 더 잘 작동했다는 것입니다. 단어로 생각할 수 있는 2,048개의 토큰에서 하이에나는 GhatGPT보다 언어 작업을 완료하는 데 시간이 덜 걸리지만 64,000개의 토큰에 도달할 때 저자는 " 하이에나 속도 향상이 100배에 도달 ,” 성능 향상. 백번의
이 모든 것이 충분하지 않은 것처럼 프로그램은 GPT-4 또는 GPT-3보다 훨씬 작습니다. 예를 들어 GPT-3에는 175억 개의 매개변수가 있지만 가장 큰 하이에나 버전에는 1.3억 개만 있습니다. 즉, 가장 많이 요구될 때 성능이 XNUMX배 향상됩니다… XNUMX배 더 적은 매개변수로. 흥미로운 발전 그 이상이며 ChatGPT를 아주 좋은 추억으로 남길 수 있는 것…
