대규모 언어 모델과 AI 코드 생성기의 등장

마틴 헬러

InfoWorld 기고 편집자 |

2021년 11월 GitHub Copilot에 대해 글을 썼을 때 Copilot은 사용 가능한 소수의 AI 코드 생성 기술 중 하나였습니다. Visual Studio Code 확장으로 테스트했습니다. 당시 Copilot은 항상 훌륭하고 정확하며 심지어 실행 중인 코드를 생성하지는 않았지만 여전히 어느 정도 유용했습니다. Copilot(및 기계 학습을 사용하는 기타 코드 생성기)의 가장 큰 장점은 사용자 피드백을 통합하고 새로운 코드 샘플을 훈련 코퍼스에 수집하여 시간이 지남에 따라 개선되도록 설계되었다는 것입니다.

2023년 5월 현재 Visual Studio Code에만 사용할 수 있는 "AI" 또는 "코드 생성" 확장이 수백 개 있습니다. 이들 중 일부는 코딩하는 동안 시간을 ​​절약해 줄 수 있지만 생성된 코드를 검토, 테스트 및 디버깅하지 않고 믿으신다면 제가 여러분에게 기회를 드릴 수 있습니다.

시장에 나와 있는 수백 개의 Visual Studio Code 확장은 "코드 생성" 또는 "AI"를 약속하지만 그 중 일부만이 실제로 기계 학습을 기반으로 코드를 생성합니다.

이 분야에서 유망한 발전 중 하나는 여러 도구에 단위 테스트 자동 생성 기능이 있다는 것입니다. 단위 테스트를 생성하는 것은 범용 코드를 생성하는 것보다 훨씬 다루기 쉬운 문제입니다. 실제로 간단한 패턴을 사용하여 수행할 수 있지만 생성된 테스트를 검토하고 실행하여 의미가 있는지 확인해야 합니다.

이 기사의 나머지 부분에서는 텍스트 생성에 사용되는 OpenAI의 GPT 제품군, Google의 LaMDA 및 PaLM과 같은 최첨단 대형 언어 모델(LLM)을 조사하기 전에 언어 모델의 간략한 역사를 제공하겠습니다. 오늘은 코드 생성을 해보겠습니다. Amazon CodeWhisperer, Google Bard 및 GitHub Copilot X를 포함한 10가지 코드 생성 도구에 대한 간략한 둘러보기로 마무리하겠습니다.

언어 모델은 1913년 Andrey Markov로 거슬러 올라갑니다. 해당 연구 분야는 현재 Markov 모델의 특별한 경우인 Markov 체인이라고 합니다. Markov는 러시아어, 특히 푸쉬킨의 Eugene Onegin에서 문자가 나타날 확률은 이전 문자에 따라 달라지며 일반적으로 자음과 모음이 번갈아 나타나는 경향이 있음을 보여주었습니다. Markov의 방법은 이후 단어, 다른 언어 및 다른 언어 응용 프로그램으로 일반화되었습니다.

Markov의 작업은 통신 이론을 위해 1948년 Claude Shannon에 의해 확장되었으며, 1985년 IBM의 Fred Jelinek과 Robert Mercer에 의해 다시 확장되어 교차 검증(삭제 추정이라고 함)을 기반으로 한 언어 모델을 생성하고 실시간에 적용되었습니다. 대규모 어휘 음성 인식. 기본적으로 통계적 언어 모델은 단어 시퀀스에 확률을 할당합니다.

실제 언어 모델을 빠르게 확인하려면 Google 검색이나 스마트폰의 문자 메시지 앱에 몇 단어를 입력하고 자동 완성 옵션을 제공하도록 허용하세요.

2000년에 Yoshua Bengio et al. 신경망이 통계적 언어 모델의 확률을 대체하여 차원의 저주를 우회하고 평탄화된 트라이그램 모델(당시 최첨단 기술)에 비해 단어 예측(이전 단어 기반)을 개선하는 신경 확률적 언어 모델에 대한 논문을 발표했습니다. ) 20%에서 35%까지. 피드포워드(feed-forward), 자동 회귀(auto-regressive), 언어의 신경망 모델이라는 아이디어는 오늘날에도 여전히 사용됩니다. 비록 모델이 이제 수십억 개의 매개변수를 갖고 있으며 광범위한 말뭉치에 대해 훈련되었으므로 "대규모 언어 모델"이라는 용어가 사용됩니다.

앞으로 살펴보겠지만, 언어 모델은 시간이 지남에 따라 성능을 향상시키기 위해 계속해서 더 커졌습니다. 그러나 이에 대한 비용이 있습니다. 확률론적 앵무새의 위험에 관한 2021년 논문: 언어 모델이 너무 클 수 있습니까? 작성자: Emily Bender, Timnit Gebru 등 우리가 이러한 추세에 너무 멀리 가고 있는지에 대한 질문입니다. 저자는 무엇보다도 환경적, 재정적 비용을 먼저 따져보고, 웹에 있는 모든 것을 수집하기보다는 데이터 세트를 관리하고 신중하게 문서화하는 데 자원을 투자해야 한다고 제안합니다.