Daniel's blog

Calinski-Harabasz Index는 Variance Ration Criterion (VRC) 라고도 알려져 있으며 직역하자면 분산 비율 기준이다, 데이터에서 최적의 클러스터 수를 결정하기 위한 평가 지표로. 1974년 칼린스키와 하라바츠가 제안했다. 평가 지표는 Internal Validation 기법과 External Validation 기법이 있는데 데이터에 label이 없을 시 Internal Validaiton 기법을 사용할 수 있으며 여기에는 Calinski-Harabasz Index 외에 Silhoutte Score, Davies-Bouldin Index 등이 있다. 이 지표는 클러스터 간 분산 합계와 클러스터 내 분산 합계의 비율을 기반으로 한다. 직관적으로, 이 비율은 클러스터 내..

Cornell Univesity(코넬 대학교)의 한 Computer Science 수업 자료에 설명된 Disentalged Representation Learning에 대한 설명이다. : Disentagled Representation Learning은 관찰 가능한 데이터에 숨어있는 기저 요인을 식별하고 얽힘을 풀 수 있는(disentangling) 모델을 표현 형태로 학습하는 것을 목표로 한다. 기저 요인의 변형을 의미를 갖는 변수로 분리하는 것은 설명 가능한 데이터 표현을 학습하는 데 도움이 되며, 이는 인간이 사물이나 관계를 관찰할 때 의미 있는 이해하는 과정을 모방한 것이다. 일반적인 학습 전략으로서, DRL은 컴퓨터 비전, 자연어 처리, 데이터 마이닝과 같은 광범위한 시나리오에서 모델의 설명 가..

: KNN은 비모수적(모수에 의하지 않는 검정) 지도 학습 분류로, 근접성을 사용해 개별 데이터를 그룹화하는 분류 또는 예측에 사용된다. Regression(회귀)나 Classifciation(분류) 문제 모두에 사용될 수 있지만, 일반적으로 유사한 점들이 서로 가까이에 있다는 가정 하에 분류 알고리즘으로 사용된다. 분류 문제의 경우, 클래스 레이블은 다수결에 의해 할당된다. 즉, 레이블은 주어진 데이터 포인트 주변에서 가장 빈번하게 나타나는 레이블이 사용된다. 이는 기술적으로 "plurality voting(다수결 투표)"라 간주되지만, 문헌에선 "majority vote(다수결 투표)"라는 용어가 좀 더 보편적이다. 두 용어의 차이점은 "majority voting"은 기술적으로 주로 두 가지의 카테..

이스라엘 소프트웨어 회사인 Run:AI에 따르면 Deep Convolutional Neural Networks(CNN)은 아래와 같다. 1. Deep Convolutional Neural Networks란 무엇인가? : Deep Learning(딥러닝)은 AI 시스템을 구축하는 Machine Learning 기법 중에 하나다. Deep CNN은 Artificial Neural Networks(ANN)을 기반으로 한, 여러 계층의 신경망(Neuraon)을 통해 방대한 양의 데이터를 복합적인 분석을 할 수 있도록 설계 됐다. 다양한 Deep Neural Networks(DNN)이 존재하는데. 이미지와 비디오의 패턴 식별에 가장 많이 사용되는 것은 Deep CNN(CNN 혹은 DCNN)이다. DCNN은 전통적..

오라클은 K-means clustering algorithms 다음과 같이 소개하고 있다. : K-means clustering은 unsupervised learning(자율 학습)의 하나로, 레이블 되지 않은 데이터를 갖고 있을 때 사용한다(예를 들어, 카테고리나 그룹이 정의되지 않은 데이터). 이 알고리즘의 목적은 데이터를 K개의 그룹으로 나누는 것이다. 이 알고리즘은 각 데이터를 데이터의 특징(features)에 따라 반복적으로 K개의 그룹 중 하나에 할당하는 것이다. 데이터는 특징의 유사성에 따라 무리지어진다(clustered). K-means clustering algorithm의 결과물은 아래와 같다: 1. 새로운 데이터를 레이블 할 수 있는 각 K개의 clusters의 중심들(centroid..

Worker의 2차원 좌표를 담은 workers와 Bike의 2차원 좌표를 담은 bikes 리스트가 각각 주어지고, worker와 bike가 가장 가깝게 쌍을 지어주는 문제다. 문제를 복잡하게 생각해 Priority Queue(우선순위 큐)를 사용하기 위해 heapq를 사용했으나 오히려 사이즈가 큰 input은 TLE(Time Limit Exeeded)가 발생한다. 오히려 간단하게 거리를 계산한 모든 쌍을 리스트에 담고 리스트를 정렬해 거리가 짧은 순서부터 반환할 리스트에 담으면 쉽게 해결된다. 아래는 앞서 말한 모든 쌍을 리스트에 담고 정렬한 솔루션인데 시간복잡도 측면에선 중복 체크를 리스트(bl) 대신 세트를 사용하면 훨씬 개선이 가능하다. 참고로 가장 높은 vote를 받은 솔루션은 Bucket So..

: IaaS는 기업이 서버를 클라우드가 아닌 자체 설비로 보유하고 운영하는 인프라(on-premises infrastructure)에서 한 발짝 물러나게 해준다. 이는 비용을 지불해 서드 파티가 제공하는 저장소나 가상화와 같은 당신이 필요한 서비스를 클라우드를 통해 사용하는 것이다. 사용자로서 당신은 운영체제나 데이터, 어플리케이션, 미들웨어, 런타임에 대한 책임은 지지만, IaaS 제공자는 당신에게 접근 권한, 관리, 네트워크, 서버, 가상화, 저장소와 같은 당신이 필요한 것을 제공한다. 사내 데이터 센터에 대한 유지보수나 업데이트는 서드 파티에서 담당하기에 당신이 관리할 필요가 없다. 대신 당신은 API나 대시보드를 통해 인프라에 대한 접근이나 제어가 가능하다. 간단한 예를 들자면, 개발이나 테스트 ..

Redhat의 설명은 아래와 같다. What's the difference between IaaS, PaaS, and SaaS? Let's start by breaking down commonality within the acroynyms. "As-a-service" generally means a cloud computing service that is provided by a third party so that you can focus on what’s more important to you, like your code and relationships with your customers. Each type of cloud computing leaves you less and less on-premis..

AWS(Amazon Web Service)에 따르면 Middleware란 다음과 같다. : Middleware란 다른 어플리케이션(앱, 응용프로그램)이 서로 의사소통할 수 있게 해주는 소프트웨어다. 이것은 어플리케이션들을 영리하고 효율적으로 연결함으로서 현식적으로 속도를 향상할 수 있다. Middleware는 다양한 기술과 도구, 데이터베이스 간의 다리로서 역할을 해 이들을 하나의 시스템으로 아주 매끄럽게 통합할 수 있다. 이 하나의 시스템은 유저에게 통합된 서비스를 제공할 수 있다. 예를 들어, 윈도우는 프론트엔드 어플리케이션인 윈도운 리눅스 백엔드 서버로부터 데이터를 전송받지만 어플리케이션 사용자는 이를 인지하지 못한다. : Middleware is software that different appl..

TypeError: 'int' object is not subscriptable : Python에서 List가 아닌 int 변수를 slicing(ex. list[0:5]) 하려고 할 때 발생하는 에러다. 경험상 주로 현재 변수의 자료형을 오인해 해당 에러가 발생하곤한다. slicing 하려고 했던 변수와 변수의 type을 출력해보면 무엇이 잘못됐는지 쉽게 찾을 수 있다.