인공지능(LLM 구축)/AI 및 ML 알고리즘 소개6

• 

  Deep Learning 인공지능(AI) 시대 CPU의 발전 방향은? 1.AI 딥러닝(Deep Learning)을 잘 실행하기 위한 CPU 기술요소 고려사항 1.병렬 처리(CPU의 코어 수): 딥러닝은 대량의 연산이 필요한 작업이므로, CPU의 병렬 처리 능력이 중요합니다. 더 많은 코어를 가진 CPU는 동시에 더 많은 작업을 처리할 수 있어 딥러닝 알고리즘을 빠르게 실행할 수 있습니다. 2.연산 처리 속도: 딥러닝 작업은 고도로 계산 집약적이므로, CPU의 연산 처리 속도가 빠를수록 작업이 빨리 실행됩니다. 연산 처리 속도는 CPU의 클럭 속도와 마이크로아키텍처 개선으로 향상될 수 있습니다. 3.벡터화 지원: 딥러닝은 벡터 및 행렬 연산을 많이 사용합니다. CPU는 벡터화 지원을 통해 이러한 연산을 효율적으로 처리할 수 있어야 합니다. SIMD(단일 명령, 다중 데이터).. 인공지능(LLM 구축)/AI 및 ML 알고리즘 소개 2024. 1. 23.

• 

  최신 기술 동향과 함께 알아보는 Advanced GAN 1. GAN의 후속 연구들 ○ goodfellow에 의해 GAN이라는 architecture가 제시된 이후, GAN은 여러가지 분야로 응용되기도 했고 앞서 말한 문제점들을 해결하기 위한 여러가지 시도가 있었다. 아래 이미지를 통해 GAN의 후속연구들을 볼 수 있다. 2. Conditional GAN ○ 2014년 Mehdi Mirza, Simon Osindero 에 의해 제안된 GAN의 변종 알고리즘이다. ○ 때때로 이미지를 처음부터 생성하기보다 이미 있는 이미지를 다른 영역의 이미지로 변형하고 싶은 경우가 많다. 예를 들어, 스케치에 채색하거나, 흑백 사진을 컬러로 만들거나, 낮 사진을 밤 사진으로 바꾸고 싶을 때 등이다.‘cGAN(Conditional GAN)’은 이를 가능케 해주는 모델이다. ○ 기.. 인공지능(LLM 구축)/AI 및 ML 알고리즘 소개 2024. 1. 22.

• 

  GAN의 한계와 극복 전략: 전문가의 시선으로 살펴보는 최신 연구 동향과 해결 방법 ○ Training instability - GAN은 많은 기대를 받고 있는 모델이지만 아직 여러 가지 한계점도 존재한다. 앞서 소개한 많은 모델이 GAN의 학습을 안정화시키기 위해 노력했지만, 아직도 GAN을 실제로 적용하려 할 때 가장 큰 걸림돌은 학습이 어렵다는 점이다. GAN 학습이 잘 되기 위해서는 서로 비슷한 수준의 생성자와 구분자가 함께 조금씩 발전해야 한다. 그런데 한쪽이 너무 급격하게 강력해지면 이 관계가 깨져버려서 GAN의 학습이 이루어지지 않는다. 경찰이 너무 강력하면 위조지폐범의 씨가 말라버리는 것이다. - GAN은 generator와 discriminator가 서로가 서로를 속이는 과정에서 generator가 data distribution에 근사하는것을 목적으로 한다. 하지만, .. 인공지능(LLM 구축)/AI 및 ML 알고리즘 소개 2024. 1. 22.

• 

  GAN 모델의 전문적인 증명 분석 ○ GAN은 V(D,G) MINMAX로 문제를 푸는 것이고, 이것을 Generator의 Model Concept의 다른 관점에서 해석해보면 Pdata(x)와 Pg(x)의 거리가 최소가 되면 동일한 것이다. 다시 말해, 게임이론(game-theoretic) 접근 방식을 통해 문제를 푸는 것과 수학적으로 확률 이론 및 통계 이론에서 사용되는 Jensen-Shannon divergence을 통해 두 distribution이 같다고 푸는 것과 같다고 증명할 수 있게 된다. 1. Discriminator 최적해 증명 ○ x는 진짜 픽셀의 high dimensional vector 이고 z는 차원이 축소된 low dimensional vector라고 했을 때, Discriminator를 최적화하기 때문에 G는 고정.. 인공지능(LLM 구축)/AI 및 ML 알고리즘 소개 2024. 1. 22.

• 

  GAN 동작 원리(How to work) GAN(Generative Adversarial Networks)은 훈련 데이터의 명시적인 확률 밀도 함수를 사용하지 않는다. 대신에 GAN은 생성자(generator)와 식별자(discriminator)로 알려진 두 개의 신경망(neural networks)을 사용하는 게임이론(game-theoretic) 접근 방식을 취합한다. 생성자는 무작위한 잡음을 입력으로 받아 실제 데이터와 유사한 가짜 샘플을 생성하려고 하며 식별자는 실제와 생성된 샘플을 구분하려고 한다. 생성자와 식별자는 이 게임을 반복적으로 진행하며, 생성자는 식별자를 속이기 위해 샘플을 개선하고, 식별자는 실제와 생성된 샘플을 정확히 구분하는 방법을 학습한.. 인공지능(LLM 구축)/AI 및 ML 알고리즘 소개 2024. 1. 21.

• 

  Generative Adversarial Network (GAN) 개념 안녕하세요. 우리의 인공지능 항해사 유로젠입니다. 이번에는 Generative Adversarial Network (GAN) 모델의 개념에 대해 이야기하려고 합니다. GAN(Generative Adversarial Networks, 생성적 적대 신경망)이란 비지도학습에 사용되는 머신러닝 프레임워크의 한 종류이다. GAN은 Generative Adversarial Networks 의 줄임말로, Generative Model의 한 종류입니다. 우리말로는 적대적 생성 신경망이라고 합니다. GAN은 실제에 가까운 이미지나 사람이 쓴 것과 같은 글 등 여러 가짜 데이터들을 생성하는 모델입니다. 1. GAN 배경 및 개요 ○ GAN (Generative Adversarial Network: 생산적 적대 신경망)은 .. 인공지능(LLM 구축)/AI 및 ML 알고리즘 소개 2024. 1. 21.