Marlangcow의 Datalab

머신 러닝은 지도 학습과 비지도학습으로 나뉘는데, 지도 학습은 '회귀'와 '분류'로 나뉜다. 지도 학습회귀: 연속적인 값을 예측분류: 정해진 몇 개의 값 중에 예측ex. 어떤 이메일이 스팸인지 아닌지, 아니면 어떤 기사가 스포츠 기사인지 정치 기사인지 연예 기사인지 등 보통 분류 문제를 풀 때는, 각 결괏값에 어떤 숫자 값을 지정해 준다.예를 들어서 이메일이 스팸인지 아닌지 분류한다면, 보통 이메일에는 0이라는 값을 주고 스팸 이메일에는 1이라는 값을 주는 것이다. 이메일의 속성들을 가설 함수에 넣어서 0이 나오면 보통 이메일이고 1이 나오면 스팸 이메일이라고 할 수 있다.만약 어떤 기사가 스포츠 기사인지 정치 기사인지 연예 기사인지 분류하고 싶다면, 이번에는 가능한 결과가 3가지죠? 그러면 각각 0, ..

머신러닝 수업을 다 나갈 때 즈음미니 프로젝트, 그러니까 중간 프로젝트를 시작한다고 했다.  그렇게 시작된 약 3주간의 중간 프로젝트..! 팀은정말 고맙게도 먼저 제안해준 친구가 있어서 조심스레 합류했다.  '조심스레' 는..진짜 아직 초짜에 생초짜라 할 줄 아는게 있나 싶기도 하고...내 나이가 적지 않은터라 편하지만은 않을 텐데 이렇게 먼저 제안을 해줬다는게 고마우면서도 민폐가 되지 않을까노심초사했다.  우선 결과부터 말하자면잘했다.  중간 프로젝트라 조금 가벼운 마음으로 임했으나다른 친구들은 매우 진지하고 깊게 파고든 덕분에'대상'을 타게 되었다.수상은 토스뱅크 사무실 투어를 하는 날에 진행됐는데,그때 CTO님도 봤고멘토님들의 발표도 들을 수 있어서 좋았다.생각보다 더 동기부여가 뽱뽱 됐달까~귀여운..

딥 러닝 프레임워크딥 러닝 모델을 설계, 훈련, 검증하기 위해 사용되는 소프트웨어 라이브러리나 도구 모음 필요성- 복잡한 수치 계산과 미분을 자동화하여 효율성을 증대 시킬 수 있음- 모델 컴포넌트를 모듈화 하여 재사용 가능- 다양한 하드웨어 환경의 확장을 용이하게 함 주로 사용되는 프레임워크딥러닝의 기초 이론퍼셉트론(Perceptron)인공 신경망의 가장 기본적인 형태퍼셉트론을 구성하는 노드(Node)는 인공 신경망에서 정보를 처리하는 기본 단위라고 할 수 있다. 각 노드는 여러 입력값을 받아 이에 가중치를 곱한 후 합산하여 출력을 생성하는데, 신경망에서는 이러한 노드들이 서로 연결되어 있으며, 이 연결을 통해 데이터가 입력부터 출력까지 흐르게 된다.  초기 퍼셉트론의 구조는 이러한 노드 단위로 각 입력..

다항회귀란?선형 회귀는 학습 데이터에 가장 잘 맞는 일차식을 찾아서 예측을 하는 알고리즘인 반면, 다항 회귀는 고차식을 찾아서 예측하는 알고리즘이다.  집 값 예측 문제를 생각해보자. 항상 집의 크기라는 변수가 주어진다는 가정을 했고 이걸 하나의 속성으로 이용했는데 사용하는 데이터가 항상 이렇게 하나만 사용해도 의미가 있는 완벽한 변수일 수는 없다. 예를 들어 집이 사각형이라고 가정하고 집 크기 대신 집의 높이와 너비 데이터만 있다고 하자.사실 아무리 너비가 커도 높이가 작거나, 높이만 크고 너비만 작으면 크기가 작고 구조가 효율적이지 않기 때문에 집 값이 높지 않다. 사실 이 두 변수들보다 집값을 예측하는 데 훨씬 좋은 수치는 이 둘을 곱한 값, 집의 넓이다.단순 선형 회귀를 사용하면 이 두 변수가 서..

PCA(Principal Component Analysis): 대표적인 차원 축소 기법 중 하나로, 여러 차원들의 특징을 가장 잘 설명해주는 차원인 주성분(Principal Component)을 이용하여 차원을 축소하는 방법 PCA의 동작 과정1. 데이터 표준화 및 원점 이동PCA를 하기 위해선 데이터의 단위를 통일해야 한다. 아래 예시를 보면 키를 표시한 단위는 m이고 신발의 단위는 mm인데, 이렇게 변수의 단위가 다르면 두 변수의 영향이 PCA 결과에 고르게 반영되지 않고 상대적으로 큰 값이 들어간 변수의 영향이 더 많이 반영되게 된다. 따라서 PCA를 적용하기 전에는 변수 간 단위를 통일해주는 '표준화' 과정이 필요하다.  데이터를 표준화하면 변수의 단위 뿐만 아니라 데이터의 중심 지점이 원점이 되..

차원의 저주데이터에서 '차원'이란 변수의 개수를 의미한다. 즉, 변수가 1개인 데이터는 1차원 데이터, 2개인 데이터는 2차원 데이터, n개인 데이터는 n차원 데이터라고 부른다. 이때, 아래와 같은 데이터는 변수가 6개이기 때문에 6차원 데이터이다. 만약 recency와 age라는 2개의 변수만 가지고 있는 2차원 데이터라면 children, spent_all까지 4차원으로 구성된 데이터보다 정보가 적다. 마찬가지로 purchase_num_all 과 family_size 를 모두 포함한 6차원 데이터라면 2, 4차원보다 더 많은 정보를 가지게 된다. 따라서 차원이 높은 데이터를 분석에 활용하면 더 많은 정보를 반영한 결과를 얻을 수 있다.  그러나오히려 데이터의 차원이 너무 많아지면 분석의 정확도가 떨어..

from sklearn.mixture import GaussianMixturen_components = 4 # 분포 개수random_state = 10 # 모델 고정model = GaussianMixture(n_components=n_components, random_state=random_state)# GMM 모델 학습model.fit(df)df['gmm_label'] = model.predict(df)# 시각화sns.scatterplot(x=df[0], y=df[1], hue=df['gmm_label'], palette='rainbow', alpha=0.7, s=100)계층 기반 클러스터링: 유사한 데이터를 묶은 클러스터들을 층으로 쌓아가며 클러스터링 하는 방식데이터간 관계를 쉽게 파악할 ..

동작 방식k-means의 기본 원리는 '유사한 데이터는 Centroid(중심점)로부터 가까이에 모여있다' 이다. 동작 과정1단계: Centroid 배치먼저 클러스터의 개수를 의미하는 k를 정해주어야 한다. (*아래 예시에서는 우선 '2'로 설정함) 그리고 k의 값만큼 Centroid를 생성하여 임의로 배치한다. 2단계: 클러스터 형성생성한 Centroid와 각 데이터 사이의 거리를 계산하여 가까이에 있는 데이터들을 하나의 클러스터로 묶어준다.3단계: Centroid 위치 갱신클러스터에 속해있는 데이터들의 중심으로 Centroid의 윛치를 이동한다. 이때, 데이터들 사이의 중심을 찾기 위하여 평균값(means)을 사용한다.4단계: 클러스터 재형성새롭게 위치한 Centroid를 기준으로 각 데이터와의 거리..

클러스터링유사한 데이터들을 같은 클러스터(집단)으로 묶어 주는 작업을 의미하며, 우리말로는 '군집화' 라고도 한다.클러스터링은 머신러닝 기법 중, 비지도 학습에 해당한다. 머신러닝은 컴퓨터가 데이터들을 통해 스스로 규칙을 학습하도록 하는 인공지능의 한 방법인데, 이 중 비지도 학습 정답(레이블)을 주지 않은 상태에서 데이터의 특성만 가지고 스스로 규칙을 찾아내는 방식이다. 더보기클러스터링과 분류(Classification)클러스터링과 비슷하게 데이터들의 특성을 바탕으로 특정 범주로 구분해 주는 분류(Classification) 문제도 있다. 예를 들어서, 100명의 학생이 공부한 시간과 시험에 통과했는지 여부를 체크한 데이터가 있을 때 이 데이터를 바탕으로, 새로운 학생이 몇 시간 공부했는지에 따라 시..

위의 함수에 대해 그래프를 그리면 아래와 같다. 그리고 편미분을 통해 함수의 기울기 벡터를 구해보았다. 이 벡터는 해당 지점에서의 기울기를 알려 주기도 하지만, 그래프를 가장 가파르게 올라갈 수 있는 방향도 함께 알려준다. 2차원 그래프에서도 가장 가파르게 올라가기 위해 왼쪽으로 가야 하는지, 오른쪽으로 가야 하는지, 기울기가 그 방향을 알려 준다는 것을 배웠다. 마찬가지로 고차원 그래프에서도 기울기가 그 방향을 알려주는데 대신 기울기가 벡터가 된다. 예를 들어서 x가 1이고 y가 1인 지점에 놓였다고 생각해보자. 기울기 벡터는 2, 4 이므로 이 벡터를 그래프에 표시하면, x 방향으로 두 칸이고 y 방향으로 네 칸이니까, 위와 같은 대각선 방향이 나온다. 이 대각선 방향으로 움직인다면, 가장 가파르게 ..