![]()
AI 기술이 발전하면서 우리 삶은 많은 측면에서 변화하고 있습니다. 특히, 인공지능이 언어를 이해하고 생성하는 능력이 크게 향상되면서 다양한 분야에서 새로운 가능성들이 열리고 있습니다.저는 이러한 변화에 큰 관심을 가지고 있으며, 특히 대규모 언어 모델(LLM) 개발 프로세스에 대해 깊이 공부하고 있습니다. LLM은 방대한 양의 텍스트 데이터를 기반으로 학습되어 뛰어난 언어 처리 능력을 가지고 있습니다.하지만 LLM 개발은 간단하지 않습니다. 많은 단계를 거쳐야 하며, 끊임없는 연구와 노력이 필요합니다. 저는 이러한 복잡하고 흥미로운 과정을 다른 사람들과 함께 공유하고 싶었고, 이를 통해 LLM 개발에 대한 관심을 높이고 더 많은 사람들이 이 분야에 참여하도록 돕고 싶었습니다. 포스터에는 LLM 개발 프..
![]()
여러분 안녕하세요! 오늘은 여러분과 함께 인공지능 기술의 새로운 지평을 열어줄 GPT-4o에 대해 이야기 나누고 싶습니다.GPT-4는 OpenAI에서 개발한 대규모 언어 모델입니다. 이전 모델보다 더욱 강력하고 다재다능하게 업그레이드되어 다양한 작업을 수행할 수 있습니다.구글 ‘제미나이’, 앤트로픽 ‘클로드’, 메타 ‘라마’ 등 수많은 LLM이 등장해 경쟁이 치열해지는 와중에 오픈AI가 이번 업데이트로 다시 한 번 기술 격차를 벌리고, 생성 AI 업계 대표이자 선두라는 걸 입증하는 모양새입니다. GPT-4o의 o는 옴니(Omni)를 뜻합니다. '모든'을 뜻하는 라틴어 접두사입니다. 이 말에 걸맞게 글뿐만 아니라 사진, 영상, 음성 등 여러 종류 데이터를 처리할 수 있는 능력인 '멀티 모달리티(Multim..
![]()
안녕하세요. 여러분! ChatGTP가 세상에 알려준 이후로 LLM(Large Language Model)을 활용하기 위해서 교육, 의료, 산업, 법률, 과학, 공공서비스 등 다양한 분야에서 관련 사업이나 연구를 현재 추진 중입니다. 자연어 처리(NLP)를 통한 문서 분석를 분석하고, 문서 내 정보 추출 및 요약하거나, 문서 간 유사도를 분석하여 자동 문서를 생성하고, 데이터를 시각화하는 등 LLM을 활용을 통해 업무 편의성을 증대시킬 수 있습니다. 오늘은 제가 많은 사람들이 LLM에 대해서 궁금해하는 부분을 해결해 드리기 위해 조금? 깊이 있는 지식과 특화된 전문성을 갖추기 위한 도움을 드리기 위해 본 포스트를 작성해 보려고 합니다. LLM과 관련해서 오늘 다뤄볼 주제는 라마인덱스(Llama Index)..
![]()
인공지능 기술의 발전은 우리의 삶에 혁명적인 변화를 가져오고 있습니다. 특히 교육 분야에서는 이러한 기술이 새로운 문화를 형성하고 있습니다. 이번 포스트에서는 현재 인공지능과 교육이 어떻게 상호작용하고 있는지 살펴보고, 미래에는 어떤 변화가 올 것인지에 대해 알아보겠습니다. 1. 인공지능과 교육의 현재 상황 1-1. 개별화된 학습 지원 인공지능 기술은 개별화된 학습을 가능하게 합니다. 기계학습과 데이터 분석 기술을 활용하여 학생들의 학습 수준을 분석하고, 그에 맞춰 맞춤형 학습 경로를 제시합니다. 이는 학생들의 개별적인 학습 요구에 맞춰 교육을 제공할 수 있는 혁신적인 방법입니다. 학생들의 강점과 약점을 식별하여 맞춤형 지원을 제공함으로써 학습 효율성을 높일 수 있습니다. 1-2. 자동화된 평가 시스템 ..
![]()
생성형 AI 기술은 인공지능이 새로운 콘텐츠나 데이터를 만들어내는 기술입니다. 이를 이해하기 쉽게 설명하면, 우리가 컴퓨터에게 어떤 주제나 문제를 제시하면, AI가 스스로 학습하고 그에 맞는 새로운 내용을 만들어 낼 수 있는 것이죠. 예를 들어, 만약에 우리가 "강아지에 대한 글을 써봐"라고 컴퓨터에게 말한다면, 생성형 AI는 이를 이해하고 강아지에 관한 글을 쓸 수 있습니다. 더 나아가서는 그림도 그려줄 수 있습니다. 이 기술은 어떻게 가능한 걸까요? 생성형 AI는 먼저 대규모의 데이터를 학습하고, 그 데이터에서 패턴을 파악합니다. 그리고 그 패턴을 기반으로 새로운 것을 만들어냅니다. 이 과정에서 딥러닝과 자연어 처리 등의 기술이 사용됩니다. 생성형 AI는 예술 작품을 만들거나 문제를 해결하는 데에도 ..
![]()
* Cost가 작아지는 방향뿐만 아니라 w가 최소가 되는 방향으로 학습(Weight 값이 작아지면 데이터의 실뢰성, 성능이 더 좋다고 평가할 수 있다) 》 W가 작아지도록 학습하는 이유 : local noise가 학습에 큰 영향을 끼치지 않는다는 것을 의미 Outlier의 영향을 더 적게 받도록 하겠다는 것 - 일반화에 적합한 특성을 가지도록 》 활성화 함수(activation function) - 활성화 함수를 사용하면 입력값에 대한 출력값이 linear하게 나오지 않으므로 선형분류기를 비선형 시스템으로 만들 수 있다. - 따라서 MLP(Multiple layer perceptron)는 단지 linear layer를 여러개 쌓는 개념이 아닌 활성화 함수를 이용한 non-linear 시스템을 여러 lay..
![]()
* KNN 》 컴퓨터에게 학습하는 능력을 주는 것이란 ⇒ 파라미터를 찾는 것(데이터를 통해 스스로 학습하여 최적의 판단이나 예측 즉, 적절한 파라미터를 찾는 것) 》 KNN(K-Nearest Neighbor) : 탐색할 이웃 수(k), 거리 측정 방법에 따라 분류가 달라짐 》 장점 : 이해하기 매우 쉬운 모델이며, 많이 조정하지 않아도 좋은 성능을 발휘한다. 매우 빠르게 만들 수 있어서 더 복잡한 알고리즘을 적용해 보기 전에 시도해 볼 수 있다. 》 단점 : 훈련 세트가 매우 크면 예측이 느려진다. 많은 특성을 가진 데이터 세트에는 잘 동작하지 않는다. 따라서 예측이 느리고 많은 특성을 처리하는 능력이 부족하여 현업에서는 사용하지 않는다. - K = Hyperparameter = 임의로 변경할 수 있는 ..
![]()
* 머신러닝 : 경험적 데이터를 기반으로 학습하고 예측하고 스스로 성능을 향상시키(파라미터가 업데이트 되는 것)는 시스템과 이를 위한 알고리즘을 구현하는 연구분야 인공지능 : 인간의 학습능력과 추론능력,지각능력,자연언어의 이해능력 등을 프로그램으로 실현한 기술 딥러닝 : 머신러닝의한 분야로 Neural Network를 기반으로 하는 학습모델을 구축하는 연구 머신러닝 변천사 : 전문가 시스템(논리/규칙 기반)→인공신경망(연결기반)→기계학습(통계기반)→딥러닝 머신러닝 응용 분야 : 문서분류, 감성분석, 번역, 얼굴인식, 주식예측, 로봇제어 머신러닝을 하려면 필요한 사항 : 데이터 + 모델 데이터(제일중요), 모델(지도, 비지도, 강화학습) * 모델을 학습한다? : (의미)모델에 존재하는 파라미터를 학습하는 ..
![]()
1.AI 딥러닝(Deep Learning)을 잘 실행하기 위한 CPU 기술요소 고려사항 1.병렬 처리(CPU의 코어 수): 딥러닝은 대량의 연산이 필요한 작업이므로, CPU의 병렬 처리 능력이 중요합니다. 더 많은 코어를 가진 CPU는 동시에 더 많은 작업을 처리할 수 있어 딥러닝 알고리즘을 빠르게 실행할 수 있습니다. 2.연산 처리 속도: 딥러닝 작업은 고도로 계산 집약적이므로, CPU의 연산 처리 속도가 빠를수록 작업이 빨리 실행됩니다. 연산 처리 속도는 CPU의 클럭 속도와 마이크로아키텍처 개선으로 향상될 수 있습니다. 3.벡터화 지원: 딥러닝은 벡터 및 행렬 연산을 많이 사용합니다. CPU는 벡터화 지원을 통해 이러한 연산을 효율적으로 처리할 수 있어야 합니다. SIMD(단일 명령, 다중 데이터)..
![]()
1. GAN의 후속 연구들 ○ goodfellow에 의해 GAN이라는 architecture가 제시된 이후, GAN은 여러가지 분야로 응용되기도 했고 앞서 말한 문제점들을 해결하기 위한 여러가지 시도가 있었다. 아래 이미지를 통해 GAN의 후속연구들을 볼 수 있다. 2. Conditional GAN ○ 2014년 Mehdi Mirza, Simon Osindero 에 의해 제안된 GAN의 변종 알고리즘이다. ○ 때때로 이미지를 처음부터 생성하기보다 이미 있는 이미지를 다른 영역의 이미지로 변형하고 싶은 경우가 많다. 예를 들어, 스케치에 채색하거나, 흑백 사진을 컬러로 만들거나, 낮 사진을 밤 사진으로 바꾸고 싶을 때 등이다.‘cGAN(Conditional GAN)’은 이를 가능케 해주는 모델이다. ○ 기..
![]()
○ Training instability - GAN은 많은 기대를 받고 있는 모델이지만 아직 여러 가지 한계점도 존재한다. 앞서 소개한 많은 모델이 GAN의 학습을 안정화시키기 위해 노력했지만, 아직도 GAN을 실제로 적용하려 할 때 가장 큰 걸림돌은 학습이 어렵다는 점이다. GAN 학습이 잘 되기 위해서는 서로 비슷한 수준의 생성자와 구분자가 함께 조금씩 발전해야 한다. 그런데 한쪽이 너무 급격하게 강력해지면 이 관계가 깨져버려서 GAN의 학습이 이루어지지 않는다. 경찰이 너무 강력하면 위조지폐범의 씨가 말라버리는 것이다. - GAN은 generator와 discriminator가 서로가 서로를 속이는 과정에서 generator가 data distribution에 근사하는것을 목적으로 한다. 하지만, ..
![]()
○ GAN은 V(D,G) MINMAX로 문제를 푸는 것이고, 이것을 Generator의 Model Concept의 다른 관점에서 해석해보면 Pdata(x)와 Pg(x)의 거리가 최소가 되면 동일한 것이다. 다시 말해, 게임이론(game-theoretic) 접근 방식을 통해 문제를 푸는 것과 수학적으로 확률 이론 및 통계 이론에서 사용되는 Jensen-Shannon divergence을 통해 두 distribution이 같다고 푸는 것과 같다고 증명할 수 있게 된다. 1. Discriminator 최적해 증명 ○ x는 진짜 픽셀의 high dimensional vector 이고 z는 차원이 축소된 low dimensional vector라고 했을 때, Discriminator를 최적화하기 때문에 G는 고정..
