GPT-4o 소개, 핵심기능, 활용방법

여러분 안녕하세요! 오늘은 여러분과 함께 인공지능 기술의 새로운 지평을 열어줄 GPT-4o에 대해 이야기 나누고 싶습니다.

GPT-4는 OpenAI에서 개발한 대규모 언어 모델입니다. 이전 모델보다 더욱 강력하고 다재다능하게 업그레이드되어 다양한 작업을 수행할 수 있습니다.

구글 ‘제미나이’, 앤트로픽 ‘클로드’, 메타 ‘라마’ 등 수많은 LLM이 등장해 경쟁이 치열해지는 와중에 오픈AI가 이번 업데이트로 다시 한 번 기술 격차를 벌리고, 생성 AI 업계 대표이자 선두라는 걸 입증하는 모양새입니다.

GPT-4o의 o는 옴니(Omni)를 뜻합니다. '모든'을 뜻하는 라틴어 접두사입니다. 이 말에 걸맞게 글뿐만 아니라 사진, 영상, 음성 등 여러 종류 데이터를 처리할 수 있는 능력인 '멀티 모달리티(Multimodality)를 극한까지 밀어붙였습니다.

처리 방식이 바뀌면서 반응 속도만 빨라진 게 아니라 음성에 담긴 톤이나 배경에 섞인 소리도 인식할 수 있게 됐습니다. 반대로 AI가 목소리에 감정을 담거나, 웃거나, 노래를 부르는 일도 가능해졌습니다. 오픈AI가 공개한 시연 영상을 보면 챗GPT가 사용자의 농담에 반응해 웃거나, 자장가를 부릅니다. 두 챗GPT가 서로 자연스럽게 대화를 이어가기도 합니다.
샘 올트먼 오픈AI CEO는 AI와 사랑에 빠지는 영화 ‘그녀(Her)’를 언급하기도 했는데, 영화에나 나올 법한 사람 같은 수준의 AI가 현실이 됐다는 평가도 그리 과장은 아닌 것처럼 느껴질 정도입니다. 이 모든 게 GPT-4o가 텍스트, 화상, 오디오 등 여러 형태의 데이터를 하나의 신경망으로 처리하는 옴니모델이기에 가능한 일입니다.

GPT-4가 가져온 변화

획기적으로 향상된 성능: 텍스트 생성, 번역, 질의응답 등 다양한 작업에서 이전 모델보다 훨씬 뛰어난 성능을 보여줍니다.
다채로운 활용 분야: 시, 코드, 대본, 악곡, 이메일, 편지 등 창의적인 텍스트 형식을 생성하는데 활용 가능합니다.
사용자 친화적인 인터페이스: 누구나 쉽게 사용할 수 있도록 설계되었습니다.
고도의 안전 기능: 오남용을 방지하기 위한 다양한 안전 기능을 갖추고 있습니다.
새로운 창의적인 아이디어: GPT-4를 활용하여 독창적인 작품을 만들 수 있습니다.
혁신적인 비즈니스: 고객 서비스 개선, 마케팅 자료 제작, 데이터 분석 등 다양한 분야에서 GPT-4를 활용하여 비즈니스 효율성을 높일 수 있습니다.
미래 기술의 핵심: 인공지능 기술 발전의 핵심 요소로 활용될 것입니다.

GPT-4o의 핵심 기능

텍스트, 음성, 시각 정보의 유기적 통합: 텍스트 생성, 언어 번역, 질문 답변, 영상 설명, 음성 생성, 코드 생성 등 다양한 작업에서 텍스트, 음성, 시각 정보를 자연스럽게 사용합니다. 예를 들어, 외국어 음성을 듣고 텍스트로 변환한 후, 해당 내용을 요약하고 질문에 답변하는 등 텍스트와 음성 정보를 활용하여 보다 심층적인 정보 전달이 가능합니다.
놀라운 속도: 인간과 거의 차별화되지 않는 320ms 속도로 음성 입력에 반응합니다. 정보 탐색이나 대화 속도가 획기적으로 향상되고 실시간 소통에 가까운 경험을 제공합니다.

강화된 언어 능력: 50개 이상 언어를 지원하며, 이전 모델 대비 질적으로 향상된 언어 이해와 생성 능력을 보여줍니다. 전 세계 사람들과의 소통이 더욱 용이해지고 다양한 문화 이해에도 도움을 줄 것으로 기대됩니다.
시각 정보 이해 및 활용: 이미지를 인식하고 분석하여 텍스트로 변환하거나 이미지와 관련된 질문에 답변하는 등 시각 정보를 활용하는 기능이 강화되었습니다. 이미지를 기반으로 새로운 이미지를 생성하거나 이미지와 텍스트를 결합하여 새로운 콘텐츠를 제작하는 활용도가 높아집니다.

GPT-4o의 활용 분야

교육: 개인 맞춤형 학습 경험 제공, 외국어 학습 효과 극대화, 다양한 장애를 가진 학생들의 학습 지원
고객 서비스: 사실 기반 정보 제공, 고객 질문에 대한 신속하고 정확한 답변, 언어 장벽 해소를 통한 고객 만족도 향상
창의적인 콘텐츠 제작: 이야기, 시, 코드, 대본, 음악 작곡 등 다양한 창작 작업 지원, 새로운 예술 형식 발견 및 혁신적인 아이디어 창출
접근성 향상: 시각 장애인을 위한 이미지 설명 제공, 청각 장애인을 위한 텍스트 음성 변환
정보 검색 및 분석: 방대한 양의 정보를 빠르고 효율적으로 분석하고 요약하여 필요한 정보를 신속하게 제공
GPT-4o는 아직 개발 초기 단계이지만, 인공지능 분야의 획기적인 발전을 보여주는 모델입니다. 텍스트, 음성, 시각 정보의 통합을 통해 인간과의 보다 자연스럽고 효과적인 소통을 가능하게 하고 다양한 분야에서 혁신을 가져올 것으로 기대됩니다.

아래 영상은 오픈AI에서 발표한 것으로 이 발표는 최신 인공지능 기술인  GPT-4o를 소개하는 내용입니다.

컴패니는 모든 사람들에게 무료로 인공지능 도구를 제공하는 것이 중요하다고 생각합니다.
최신 모델인 GPT-4o는 텍스트, 음성, 시각 정보를 모두 활용하여 사용자와 더욱 자연스럽고 효과적인 소통을 가능하게 합니다.
이전보다 훨씬 향상된 사용자 경험을 위해 데스크톱 앱과 더욱 간편해진 UI를 출시했습니다.
또한 텍스트 번역, 코드 분석, 이미지 분석 등 다양한 기능을 강화했습니다.
GPT-4o는 교육, 고객 서비스, 창작 활동 등 여러 분야에서 활용될 수 있습니다.

발표 하이라이트

라이브 데모를 통해 GPT-4o의 실시간 음성 대화, 코드 분석, 이미지 인식 등의 기능을 소개합니다.
GPT-4o는 무료 사용자에게도 제공되며, 유료 사용자는 더 높은 용량 한도를 이용할 수 있습니다.
GPT-4o API 출시로 개발자들이 인공지능 응용 프로그램을 개발할 수 있습니다.
신뢰성과 안전을 위해 GPT-4o의 악용 방지 기능 개발에 지속적으로 노력하고 있습니다.

이 발표는 GPT-4o가 모든 사람들에게 인공지능 기술을 더욱 쉽게 사용할 수 있도록 만들 것이라는 점을 강조합니다. 텍스트, 음성, 시각 정보를 통합하는 이 새로운 기술은 다양한 분야에서 혁신을 가져올 것으로 기대됩니다.

영상에서는 GPT-4o에 관하여 세 가지 내용에 대해 이야기 합니다.

첫 번째는 왜 우리가 제품을 무료로 그리고 광범위하게 모든 사람에게 제공할 수 있도록 만드는 것이 중요하다고 생각하는지에 대해 말씀드리겠습니다. 우리는 지속적으로 모든 사람이 ChatGPT를 더욱 쉽게 사용할 수 있도록 저지 요소를 줄이는 방법을 찾고 있습니다.

오늘은 ChatGPT의 데스크톱 버전과 사용하기 더 간편하고 훨씬 자연스러운 새로운 UI를 출시하게 됩니다.

GPT-4o 시연 영상

두대의 GPT-4o가 상호 작용하고 노래합니다.

하지만 오늘 가장 중요한 소식은 우리가 새로운 최신 모델을 출시한다는 것입니다. 이 모델은 GPT-4o이라고 부르며, 무료 사용자를 포함하여 모든 사용자에게 GB4 수준의 인공지능을 제공합니다.

오늘은 라이브 데모를 통해 새로운 모델의 모든 기능을 보여드리고, 앞으로 몇 주 동안 단계적으로 출시할 예정입니다.

좋습니다. 시작해 볼까요?

우리 임무의 매우 중요한 부분은 모든 사람에게 무료로 고급 인공지능 도구를 제공하는 것입니다. 사람들이 이 기술이 무엇을 할 수 있는지 직관적으로 느끼는 것이 매우 중요하다고 생각합니다. 따라서 우리는 이러한 광범위한 이해와 함께 사용자 경험을 짝짓고 싶어하며, 저지 요소를 줄이는 방법을 계속 찾고 있습니다.

최근에는 회원가입 없이도 ChatGPT를 사용할 수 있도록 만들었으며, 오늘은 또한 데스크톱 앱을 ChatGPT에 도입했습니다. 사용자가 어디에 있든 사용할 수 있도록 하기 위해서죠. 보시다시피 간편하고 사용하기 쉽고 작업 흐름에 매우 쉽게 통합됩니다.

또한 UI도 업데이트했습니다. 이 모델들은 점점 더 복잡해지지만 실제 상호 작용 경험은 더욱 자연스럽고 쉬워지며 사용자가 UI에 전혀 집중하지 않고 협업에만 집중할 수 있도록 하고 싶습니다.

이제 GPT, 그리고 오늘 가장 중요한 소식은 최신 모델인 GPT-4o을 출시한다는 것입니다.

 

GPT-40은 GB4 수준의 인공지능을 제공하지만 훨씬 빠르며 텍스트, 시각 및 음성 기능 전반에서 성능이 향상되었습니다.

지난 몇 년 동안 우리는 이러한 모델들의 지능을 향상시키는 데 매우 집중했으며 상당히 발전했습니다. 하지만 사용 편의성 측면에서 실질적인 진전을 이룬 것은 이번이 처음입니다.

사람과 기계 간의 상호 작용의 미래를 바라보는 우리에게 이는 매우 중요한 부분입니다. GPT-40은 이러한 상호 작용을 훨씬 더 자연스럽고 쉽게 만들어 협업의 미래를 향한 패러다임 전환을 이끌어낼 것이라고 생각합니다.

하지만 이러한 상호 작용을 실현하는 것은 생각보다 훨씬 복잡합니다. 서로 대화할 때 우리는 너무나 당연하게 받아들이는 많은 요소들이 있습니다.

예를 들어, 대화 중간에 말을 끊는 것, 배경 소음, 여러 사람의 목소리, 음성의 톤 이해 등 이러한 요소들은 모두 모델에게는 매우 복잡합니다.

지금까지 음성 모드는 세 개의 모델을 함께 사용하여 제공되었습니다. 텍스트 변환, 지능 그리고 텍스트 음성 변환이 서로 연결되어 음성 모드를 구현했던 것입니다.

하지만 이러한 방식은 지연 시간을 많이 발생시키고 협업의 몰입감을 저하시켰습니다. 하지만 이제 GPT-40을 통해 이 모든 기능이 기본적으로 통합되었습니다.

GPT-40은 음성, 텍스트 및 시각을 모두 이해하며 이러한 놀라운 효율성을 통해 무료 사용자에게도 GB4 수준의 인공지능을 제공할 수 있게 되었습니다. 이는 우리가 수개월 동안 노력해온 목표이며, 마침내 모든 사용자에게 GPT-40을 선보일 수하게 되어 매우 기쁩니다.

사실 1억 명 이상의 사람들이 CH GPT를 사용하여 작업을 만들고 배우고 있습니다. 그리고 지금까지 유료 사용자에게만 제공되었던 고급 도구가 있습니다. 하지만 이제는 효율성을 40% 향상시켜 모든 사람들에게 이 도구를 제공할 수 있습니다. 따라서 오늘부터 GPT 및 GPT 스토어를 사용할 수 있습니다.

현재까지 백만 명 이상의 사용자가 GPT를 사용하여 놀라운 경험을 만들어냈습니다. 이러한 커스텀 GPT는 특정 사용 사례에 맞게 제작되며 스토어에서 이용할 수 있습니다. 이제 개발자들은 훨씬 더 많은 사용자를 확보할 수 있습니다. 예를 들어, 대학 교수는 학생들을 위한 콘텐츠를 만들 수 있고, 팟캐스터는 청취자들을 위한 콘텐츠를 만들 수 있습니다. 또한 Vision 기능을 사용할 수도 있습니다. 이제 스크린샷, 사진, 텍스트와 이미지가 모두 포함된 문서를 업로드하여 해당 콘텐츠에 대한 질문을 Chad GPT에게 할 수 있습니다.

또한 메모리 기능을 사용하면 모든 대화에서 연속성을 유지할 수 있기 때문에 ChatGPT가 훨씬 더 유용하고 도움이 됩니다. 그리고 실시간으로 대화 내용을 검색할 수 있는 검색 기능과 차트나 정보를 업로드하면 해당 정보를 분석하여 답변을 제공하는 고급 데이터 분석 기능도 사용할 수 있습니다. 마지막으로 ChatGPT의 50개 언어에서 품질과 속도를 향상했습니다. 이는 가능한 많은 사람들에게 이 경험을 제공하고 싶기 때문에 매우 중요합니다.

GPD 40을 모든 무료 사용자에게 제공하게 되어 정말 기쁩니다. 유료 사용자의 경우 계속해서 무료 사용자의 최대 5배 용량 제한을 갖게 됩니다. 하지만 GPT 40은 채팅 GPT에서만 사용할 수 있는 것이 아니며 API에도 제공됩니다. 따라서 개발자들은 오늘부터 GPD 40을 사용하여 놀라운 AI 애플리케이션을 구축하고 대규모로 배포할 수 있습니다. 40은 GBD4 터보에 비해 2배 더 빠르고 50% 저렴하며 5배 더 높은 속도 제한을 제공합니다.
하지만 이러한 기술을 세상에 내놓는 것은 유용하면서도 안전한 방식으로 이루어내는 데 많은 어려움이 있습니다. GBD 40은 실시간 오디오 및 실시간 비전을 처리하기 때문에 안전 측면에서 새로운 과제를 제시합니다. 저희 팀은 악용 방지 기능을 방법을 연구하는 데 많은 노력을 기울여 왔습니다. 정부, 미디어, 엔터테인먼트 등 모든 산업 분야의 이해 관계자들과 협력하여 이러한 기술을 최적의 방법으로 세상에 내놓는 방법을 지속적으로 연구하고 있습니다.

앞으로 몇 주 동안 반복적인 배포를 통해 모든 기능을 제공할 예정이지만, 오늘 저는 이러한 기능을 모두 보여드리고 싶습니다. 라이브 데모를 몇 가지 진행할 예정이며, 연구 책임자인 Mark Chen과 Barrett Z를 데려오겠습니다.

(마크와 바렛의 인사말 및 실시간 대화 데모 내용)

또 다른 데모를 시작하겠습니다.
예시: 야 차트 GPT, 어때?

답변: 환상적이에요. 질문해주셔서 감사합니다. 당신은요?

예시: 꽤 좋아. 뭐 하니?

문제: 친구 바렛 (Barrett)이 최근 잠을 잘 못 자고 있어요. 로봇과 사랑에 대한 이야기를 만들어 주세요.

답변: 로봇과 사랑에 대한 이야기 말이군요. 알겠습니다. 바렛, 가까이 와. 옛날 옛날, 우리와 별로 다르지 않은 세계에 바이트라는 로봇이 있었습니다. 바이트는 항상 호기심이 많은 로봇이었고... 이야기를 시작했지만 목소리에 약간 더 많은 감정과 드라마가 필요합니다.

예시: 좋아요. 드라마를 추가해 보세요. 옛날 옛날, 우리와 별로 다르지 않은 세계에 바이트라는 로봇이 있었습니다.

하지만 이전보다 훨씬 더 최대 감정 표현이 필요합니다.

답변: 알겠습니다. 드라마를 더 강화해 보겠습니다. 옛날 옛날, 우리와 별로 다르지 않은 세계에 바이트라는 로봇이 있었습니다. 바이트는 새로운 회로를 항상 탐험했습니다. 바렛, 여기 조용히 있어야 해요. 이야기를 어떻게 끝내면 좋을까요? 노래하는 목소리로 해보세요. 그래서 바이트는 또 다른 로봇 친구를 찾았고 행복하게 살았습니다.

감사합니다. 훨씬 더 편안해졌어요. 방금 음성 기능을 보여드렸지만, 모델은 우리 주변 세계 전체를 볼 수 있기 때문에 시각 기능도 보여드리고 싶습니다.

예시: 예, 물론이예요. 알다시피 실시간으로 채팅 GPT와 채팅할 수 있지만 비디오를 사용하여 상호 작용할 수도 있습니다.

예시: 좋아요, 채팅 GPT를 실행할게요.

예시: 야, 채팅 GPT. 안녕하세요, 오늘 하루는 어떻게 되세요?

답변: 오늘은 정말 좋아요. 수학 문제 해결을 도와주세요.

예시: 물론이예요. 어떤 수학 문제를 도와드릴까요?

예시: 종이에 선형 방정식을 적고 보여줄 거예요. 그런 다음 문제를 풀어나가는 과정에 도움을 받고 싶어요. 하지만 중요한 것은 해답을 말해주지 마시고 힌트만 줘주세요.

답변: 알겠습니다.

예시: 좋아요, 봤어요. 아직 보여주지 않았는데 도와주세요. 잠깐만요, 너무 흥분했어요. 준비가 되면 알려주세요.

예시: 채팅 GPT, 제가 적은 식은 무엇입니까?

답변: 아, 이제 보여주시네요. 3x + 1 = 4 를 적었군요.

예시: 예, 정확히 그래요. 이 식을 풀기 위해 처음 뭘 해야 할까요?

답변: 첫 번째 단계는 X가 있는 모든 항을 한쪽으로, 상수항을 다른 쪽으로 옮기는 것입니다. 그러면 +1을 어떻게 처리해야 할까요?

예시: 양쪽 다에서 1을 빼려고 할 거예요. 그리고 결과를 보고 싶어요.

답변: 훌륭한 생각이에요. 완벽합니다. 이제 양쪽에서 1을 빼면 어떤 값을 얻나요?

예시: 좋아요, 채팅 GPT, 이게 제 결과예요. 어떻게 생겼나요?

답변: 정확히 그래요. 이제 X가 있는 항을 한쪽으로  singled out (single out은 여기서는 혼자로 만들다 또는 분리하다의 의미) 했고 3x = 3 처럼 보입니다. 다음으로 x를 풀기 위해 뭘 해야 할까요?

예시: 잘 모르겠어요. 또 다른 힌트를 줘줄 수 있을까요?

답변: 물론이예

예시: 야 채팅 GPT, 프로그래밍 문제 좀 도와줄 수 있을까?

답변: 물론이예요. 어떤 프로그래밍 문제인가요?

예시: 코드 일부를 공유할게요. 잠시만요.

답변: 물론이예요. 시간을 들여서 해보세요.

예시: 방금 코드 일부를 공유했어요. 이 코드에서 무슨 일이 일어나는지 아주 간단하게 한 문장으로 요약해 줄 수 있을까요?

답변: 이 코드는 특정 위치와 기간에 대한 일일 날씨 데이터를 가져옵니다. 롤링 평균을 사용하여 온도 데이터를 매끄럽게 처리하고 결과 플롯에 중요한 날씨 이벤트를 주석 처리한 다음 연간 평균 최소 및 최대 온도와 함께 플롯을 표시합니다.

예시: 멋져요. 정말 고맙습니다. 코드에는 이 함수 Fu가 있습니다. 이 함수가 없으면 플롯이 어떻게 생겼을지 설명해 줄 수 있을까요?

답변: 함수 Fu_XY는 온도 데이터를 포함하는 데이터 프레임 X와 롤링 평균을 계산하기 위한 창 크기 y를 입력받습니다. 지정된 창에서 롤링 평균을 적용하여 평균 온도, 최소 온도 및 최대 온도 열을 매끄럽게 처리합니다.

fu 함수를 사용하면 롤링 평균이 데이터의 잡음이나 변동을 줄이기 때문에 플롯은 더 부드러운 온도 선을 보여줄 것입니다.

예시: 멋져요! 정말 고맙습니다. 이 함수를 적용하고 싶고 플롯을 생성하여 보여주고 싶습니다. 잠시만요.

답변: 물론이예요. 시간을 들여서 해보세요. 플롯을 볼 때가 기대됩니다.

예시: 지금까지 채팅 GPT는 코드만 볼 수 있었지만, 이제 실행하고 채팅 GPT 데스크톱 앱의 비전 기능을 사용하여 실제로 화면에서 모든 것을 볼 수 있게 해줄 거예요.

예시: 좋아요, 채팅 GPT, 지금 플롯을 공유하고 있어요. 본 것에 대해 아주 간단하게 한 문장으로 요약해 줄 수 있을까요?

답변: 플롯은 2018년 전체 기간 동안 매끄럽게 처리된 평균 최소 및 최대 온도를 표시하며 9월 말에 발생한 큰 강우 이벤트를 주목할 만한 주석으로 표시하고 있습니다.

예시: 훌륭합니다. 또 다른 질문이 있어요. 어느 달에 가장 더운 온도가 있었고, 대략 어떤 온도에 해당하나요?

답변: 가장 더운 온도는 7월과 8월에 발생하며 이 기간 동안 최대 온도는 섭씨 25°~30° (화씨 77°~86°) 사이입니다.

Y축은 섭씨 또는 화씨입니까?

답변: Y축은 섭씨이고 평균 온도, 최소 온도 및 최대 온도와 같이 온도가 레이블링되어 있습니다.

예시: 채팅 GPT는 제가 도움이 필요한 매우 쉬운 선형 대수 방정식을 풀 수 있을 뿐만 아니라 코드베이스와 상호 작용하고 플롯의 출력 결과 등을 볼 수도 있다는 것을 알 수 있습니다.

몇 분 전에 실시간 시청자들에게 라이브 시연에서 몇 가지 시도해보고 싶은 요청을 제출하도록 했습니다. 몇 가지 질문을 가져올게요.