본문 바로가기

인공지능(LLM 구축)16

핵심으로 알아보는 인공지능 기본 이론(요약 정리) 2 * KNN 》 컴퓨터에게 학습하는 능력을 주는 것이란 ⇒ 파라미터를 찾는 것(데이터를 통해 스스로 학습하여 최적의 판단이나 예측 즉, 적절한 파라미터를 찾는 것) 》 KNN(K-Nearest Neighbor) : 탐색할 이웃 수(k), 거리 측정 방법에 따라 분류가 달라짐 》 장점 : 이해하기 매우 쉬운 모델이며, 많이 조정하지 않아도 좋은 성능을 발휘한다. 매우 빠르게 만들 수 있어서 더 복잡한 알고리즘을 적용해 보기 전에 시도해 볼 수 있다. 》 단점 : 훈련 세트가 매우 크면 예측이 느려진다. 많은 특성을 가진 데이터 세트에는 잘 동작하지 않는다. 따라서 예측이 느리고 많은 특성을 처리하는 능력이 부족하여 현업에서는 사용하지 않는다. - K = Hyperparameter = 임의로 변경할 수 있는 .. 2024. 1. 24.

핵심으로 알아보는 인공지능 기본 이론(요약 정리) 1 * 머신러닝 : 경험적 데이터를 기반으로 학습하고 예측하고 스스로 성능을 향상시키(파라미터가 업데이트 되는 것)는 시스템과 이를 위한 알고리즘을 구현하는 연구분야 인공지능 : 인간의 학습능력과 추론능력,지각능력,자연언어의 이해능력 등을 프로그램으로 실현한 기술 딥러닝 : 머신러닝의한 분야로 Neural Network를 기반으로 하는 학습모델을 구축하는 연구 머신러닝 변천사 : 전문가 시스템(논리/규칙 기반)→인공신경망(연결기반)→기계학습(통계기반)→딥러닝 머신러닝 응용 분야 : 문서분류, 감성분석, 번역, 얼굴인식, 주식예측, 로봇제어 머신러닝을 하려면 필요한 사항 : 데이터 + 모델 데이터(제일중요), 모델(지도, 비지도, 강화학습) * 모델을 학습한다? : (의미)모델에 존재하는 파라미터를 학습하는 .. 2024. 1. 24.

Deep Learning 인공지능(AI) 시대 CPU의 발전 방향은? 1.AI 딥러닝(Deep Learning)을 잘 실행하기 위한 CPU 기술요소 고려사항 1.병렬 처리(CPU의 코어 수): 딥러닝은 대량의 연산이 필요한 작업이므로, CPU의 병렬 처리 능력이 중요합니다. 더 많은 코어를 가진 CPU는 동시에 더 많은 작업을 처리할 수 있어 딥러닝 알고리즘을 빠르게 실행할 수 있습니다. 2.연산 처리 속도: 딥러닝 작업은 고도로 계산 집약적이므로, CPU의 연산 처리 속도가 빠를수록 작업이 빨리 실행됩니다. 연산 처리 속도는 CPU의 클럭 속도와 마이크로아키텍처 개선으로 향상될 수 있습니다. 3.벡터화 지원: 딥러닝은 벡터 및 행렬 연산을 많이 사용합니다. CPU는 벡터화 지원을 통해 이러한 연산을 효율적으로 처리할 수 있어야 합니다. SIMD(단일 명령, 다중 데이터).. 2024. 1. 23.

최신 기술 동향과 함께 알아보는 Advanced GAN 1. GAN의 후속 연구들 ○ goodfellow에 의해 GAN이라는 architecture가 제시된 이후, GAN은 여러가지 분야로 응용되기도 했고 앞서 말한 문제점들을 해결하기 위한 여러가지 시도가 있었다. 아래 이미지를 통해 GAN의 후속연구들을 볼 수 있다. 2. Conditional GAN ○ 2014년 Mehdi Mirza, Simon Osindero 에 의해 제안된 GAN의 변종 알고리즘이다. ○ 때때로 이미지를 처음부터 생성하기보다 이미 있는 이미지를 다른 영역의 이미지로 변형하고 싶은 경우가 많다. 예를 들어, 스케치에 채색하거나, 흑백 사진을 컬러로 만들거나, 낮 사진을 밤 사진으로 바꾸고 싶을 때 등이다.‘cGAN(Conditional GAN)’은 이를 가능케 해주는 모델이다. ○ 기.. 2024. 1. 22.

GAN의 한계와 극복 전략: 전문가의 시선으로 살펴보는 최신 연구 동향과 해결 방법 ○ Training instability - GAN은 많은 기대를 받고 있는 모델이지만 아직 여러 가지 한계점도 존재한다. 앞서 소개한 많은 모델이 GAN의 학습을 안정화시키기 위해 노력했지만, 아직도 GAN을 실제로 적용하려 할 때 가장 큰 걸림돌은 학습이 어렵다는 점이다. GAN 학습이 잘 되기 위해서는 서로 비슷한 수준의 생성자와 구분자가 함께 조금씩 발전해야 한다. 그런데 한쪽이 너무 급격하게 강력해지면 이 관계가 깨져버려서 GAN의 학습이 이루어지지 않는다. 경찰이 너무 강력하면 위조지폐범의 씨가 말라버리는 것이다. - GAN은 generator와 discriminator가 서로가 서로를 속이는 과정에서 generator가 data distribution에 근사하는것을 목적으로 한다. 하지만, .. 2024. 1. 22.

GAN 모델의 전문적인 증명 분석 ○ GAN은 V(D,G) MINMAX로 문제를 푸는 것이고, 이것을 Generator의 Model Concept의 다른 관점에서 해석해보면 Pdata(x)와 Pg(x)의 거리가 최소가 되면 동일한 것이다. 다시 말해, 게임이론(game-theoretic) 접근 방식을 통해 문제를 푸는 것과 수학적으로 확률 이론 및 통계 이론에서 사용되는 Jensen-Shannon divergence을 통해 두 distribution이 같다고 푸는 것과 같다고 증명할 수 있게 된다. 1. Discriminator 최적해 증명 ○ x는 진짜 픽셀의 high dimensional vector 이고 z는 차원이 축소된 low dimensional vector라고 했을 때, Discriminator를 최적화하기 때문에 G는 고정.. 2024. 1. 22.

이전 1 2 3 다음

티스토리툴바