인공지능(LLM 구축)/AI 및 ML 알고리즘 소개

1.AI 딥러닝(Deep Learning)을 잘 실행하기 위한 CPU 기술요소 고려사항 1.병렬 처리(CPU의 코어 수): 딥러닝은 대량의 연산이 필요한 작업이므로, CPU의 병렬 처리 능력이 중요합니다. 더 많은 코어를 가진 CPU는 동시에 더 많은 작업을 처리할 수 있어 딥러닝 알고리즘을 빠르게 실행할 수 있습니다. 2.연산 처리 속도: 딥러닝 작업은 고도로 계산 집약적이므로, CPU의 연산 처리 속도가 빠를수록 작업이 빨리 실행됩니다. 연산 처리 속도는 CPU의 클럭 속도와 마이크로아키텍처 개선으로 향상될 수 있습니다. 3.벡터화 지원: 딥러닝은 벡터 및 행렬 연산을 많이 사용합니다. CPU는 벡터화 지원을 통해 이러한 연산을 효율적으로 처리할 수 있어야 합니다. SIMD(단일 명령, 다중 데이터)..

1. GAN의 후속 연구들 ○ goodfellow에 의해 GAN이라는 architecture가 제시된 이후, GAN은 여러가지 분야로 응용되기도 했고 앞서 말한 문제점들을 해결하기 위한 여러가지 시도가 있었다. 아래 이미지를 통해 GAN의 후속연구들을 볼 수 있다. 2. Conditional GAN ○ 2014년 Mehdi Mirza, Simon Osindero 에 의해 제안된 GAN의 변종 알고리즘이다. ○ 때때로 이미지를 처음부터 생성하기보다 이미 있는 이미지를 다른 영역의 이미지로 변형하고 싶은 경우가 많다. 예를 들어, 스케치에 채색하거나, 흑백 사진을 컬러로 만들거나, 낮 사진을 밤 사진으로 바꾸고 싶을 때 등이다.‘cGAN(Conditional GAN)’은 이를 가능케 해주는 모델이다. ○ 기..

○ Training instability - GAN은 많은 기대를 받고 있는 모델이지만 아직 여러 가지 한계점도 존재한다. 앞서 소개한 많은 모델이 GAN의 학습을 안정화시키기 위해 노력했지만, 아직도 GAN을 실제로 적용하려 할 때 가장 큰 걸림돌은 학습이 어렵다는 점이다. GAN 학습이 잘 되기 위해서는 서로 비슷한 수준의 생성자와 구분자가 함께 조금씩 발전해야 한다. 그런데 한쪽이 너무 급격하게 강력해지면 이 관계가 깨져버려서 GAN의 학습이 이루어지지 않는다. 경찰이 너무 강력하면 위조지폐범의 씨가 말라버리는 것이다. - GAN은 generator와 discriminator가 서로가 서로를 속이는 과정에서 generator가 data distribution에 근사하는것을 목적으로 한다. 하지만, ..

○ GAN은 V(D,G) MINMAX로 문제를 푸는 것이고, 이것을 Generator의 Model Concept의 다른 관점에서 해석해보면 Pdata(x)와 Pg(x)의 거리가 최소가 되면 동일한 것이다. 다시 말해, 게임이론(game-theoretic) 접근 방식을 통해 문제를 푸는 것과 수학적으로 확률 이론 및 통계 이론에서 사용되는 Jensen-Shannon divergence을 통해 두 distribution이 같다고 푸는 것과 같다고 증명할 수 있게 된다. 1. Discriminator 최적해 증명 ○ x는 진짜 픽셀의 high dimensional vector 이고 z는 차원이 축소된 low dimensional vector라고 했을 때, Discriminator를 최적화하기 때문에 G는 고정..

GAN(Generative Adversarial Networks)은 훈련 데이터의 명시적인 확률 밀도 함수를 사용하지 않는다. 대신에 GAN은 생성자(generator)와 식별자(discriminator)로 알려진 두 개의 신경망(neural networks)을 사용하는 게임이론(game-theoretic) 접근 방식을 취합한다. 생성자는 무작위한 잡음을 입력으로 받아 실제 데이터와 유사한 가짜 샘플을 생성하려고 하며 식별자는 실제와 생성된 샘플을 구분하려고 한다. 생성자와 식별자는 이 게임을 반복적으로 진행하며, 생성자는 식별자를 속이기 위해 샘플을 개선하고, 식별자는 실제와 생성된 샘플을 정확히 구분하는 방법을 학습한..

안녕하세요. 우리의 인공지능 항해사 유로젠입니다. 이번에는 Generative Adversarial Network (GAN) 모델의 개념에 대해 이야기하려고 합니다. GAN(Generative Adversarial Networks, 생성적 적대 신경망)이란 비지도학습에 사용되는 머신러닝 프레임워크의 한 종류이다. GAN은 Generative Adversarial Networks 의 줄임말로, Generative Model의 한 종류입니다. 우리말로는 적대적 생성 신경망이라고 합니다. GAN은 실제에 가까운 이미지나 사람이 쓴 것과 같은 글 등 여러 가짜 데이터들을 생성하는 모델입니다. 1. GAN 배경 및 개요 ○ GAN (Generative Adversarial Network: 생산적 적대 신경망)은 ..