분류 전체보기 159

#5 데이터 클렌징

목차 1. 데이터 클렌징(Data Cleansing) 데이터 분석에서 데이터의 특정 편향(Bias)이 없으며 명확하고 깨끗한 데이터를 확보하는 작업을 데이터 클렌징이라고 한다.데이터 클린징은 전체 데이터 분석에서 많은 부분을 차지할 정도로 중요하면서도 손이 많이 가는 일이다.  2차 세계대전이 끝나가던 시기 연합군은 무사 귀환 비행기들을 대상으로 비행기의 어느 부위에 적의 총알이 집중되었는지를 조사했고 그 결과로 꼬리날개, 몸통 중앙, 앞날개 양쪽을 제외한 부분에 총탄이 집중되었다는 것을 알고 대비책으로 강판을 추가로 부착하여 비행기의 안전성을 확보하고자 했지만 아브라함 월드는 이에 대해 반대 주장을 했습니다. 아브라함 월드는 총탄이 맞지 않은 부분을 강화해야 한다는 것이었는데 실제로 위의 데이터의 경우..

#4 데이터 모델링(관계)

관계(Relationship)란?시작하기 전에 엔터티와 객체 그리고 인스턴스에 대해 조금 알고가자..엔터티, 객체, 그리고 인스턴스는 각기 다른 컴퓨터 과학적인 개념이며, 조금씩 다른 의미를 가지고 있습니다.1.엔터티 데이터베이스 설계에서 주로 사용되는 용어로, 현실 세계에서 독립적으로 식별 가능한 사물이나 개념을 나타냅니다. 데이터베이스에서 엔터티는 테이블을 기반으로 데이터의 구조를 정의하는 데 사용됩니다.2.객체객체지향 프로그래밍에서 사용되는 개념으로, 속성(상태)과 메서드(동작)를 가지는 소프트웨어 개체를 나타냅니다. 클래스(Class)에 의해 정의된 구체적인 데이터 구조를 가진 개체입니다.3.인스턴스객체지향 프로그래밍에서 클래스(Class)를 기반으로 생성된 실제 데이터를 의미합니다. 클래스는 객..

SQLD 2024.07.09

#3 데이터 모델링(속성)

목차속성이란?우리가 무언가(사람, 사물)을 정의할 때 보통 여러 가지 특징들이 수식어로 붙게 되는 것을 볼 수 있다. 예를 들어 우리 사람에게는 이름, 주민번호, 전화번호 등 수식어가 붙는데 이렇게 사물이나 개념의 특징을 설명해 줄 수 있는 것들을 속성이라고 부른다.그리고 이러한 속성은 더 이상 분해가 되지 않아야 하며, 필요한 항목이어야 한다. 사람이라는 엔터티에 국적이라는 속성으로 예를 들 수 있다. 속성값각각의 객체(엔터티)가 가질 수 있는 속성들은 속성값들을 가지는데 엔터티에 속한 하나의 인스턴스를 구체적으로 나타내주는 데이터라고 볼 수 있다.속성속성값이름홍길동국적대한민국전화번호010-1234-5678 하지만 각 속성은 하나의 속성값만을 가질 수 있다. 만약 하나의 속성이 여러 개의 속성값을 갖는..

SQLD 2024.07.08

#3 데이터 준비

데이터 이해빅데이터 시대가 오면서 수치 중심의 데이터는 기술 발전으로 대량의 텍스트와 이미지, 음성 등 모든 산업 분야에서 만들어지는 빅데이터를 처리할 수 있게 되었다. 데이터는 고정 형식이 아니며 먼저 수집되는 데이터 유형을 확인해야 한다. 유형별 저장 및 처리 기술 별로 데이터를 파악하는 것도 매우 중요하기 때문이다.데이터 분석을 위한 데이터는 규격화된 형식에 따라 정형(Structured), 반정형(Semi-Structured) 그리고 비정형(Unstructured)으로 분류한다. 1. 정형 데이터 (Structured Data)정형 데이터는 고정된 필드에 저장되는 데이터로, 데이터베이스와 같은 테이블 형식으로 구조화되어 있습니다. 각 데이터 항목은 정의된 필드(열)에 들어가며, 데이터 유형과 형식..

#2 데이터 모델링(엔티티)

목차엔터티란?사전 의미: '독립체'로, 그 자체로 존재하는 독립된 객체를 의미한다.데이터베이스 의미: 식별이 가능한 객체로, 현실 세계에서 식별할 수 있는 모든 개체를 의미합니다. 예를 들어, 사람, 물건, 사건 등을 엔터티로 볼 수 있다. 엔터티의 주요 특징식별 가능성: 엔터티는 고유하게 식별될 수 있어야 합니다. 각 엔터티는 하나 이상의 속성을 통해 식별됩니다. 이를 위해 주로 기본 키(Primary Key)를 사용한다.속성 (Attributes): 엔터티는 여러 속성을 가질 수 있으며, 각 속성은 엔터티의 특성을 나타냅니다. 예를 들어, '고객' 엔터티는 이름, 주소, 전화번호 등의 속성을 가질 수 있다.관계 (Relationships): 엔터티는 다른 엔터티와 관계를 맺을 수 있습니다. 예를 들어..

SQLD 2024.07.04

#1 데이터 모델링

목차모델링이란?모델링은 여러가지로 표현할 수 있다. 건축 모델링일 수도 있고 석고 모델링일 수도 있고 3D 모델링을 떠올릴 수 있다.이렇게 다양한 분야의 모델링 공통 분모를 찾아보면 공통적으로 '설계'나 '디자인', '형상'이라는 단어들이 존재한다.데이터베이스의 모델링은 '현실 세계를 단순화하여 표현하는 기법'이다. 예를 들어, 고객이 물건을 주문한다고 하자. 이상황을 도식화하면 어떻게 될가? 고객, 물건(상품), 그리고 주문하는 행위로 나눠진다.우리가 머리속으로 생각하면 매우 단순하지만 우리가 물건을 주문하는 현실 세계를 위의 그림과 같은 모델로 만듦으로써 모델링이 된다.따라서 모델링의 모델은 이처럼 현실 세계에서 일어날 수 있는 다양한 현상(일)에 대해서 일관성 있는 표기법으로 표현해 놓은 모형이라고..

SQLD 2024.07.04

#2 파이썬 데이터

목차 데이터 표현우리가 일반적으로 사용하는 데이터는 모두 기계 성능과 상관없이 디지털 컴퓨터를 통해 이루어지는데...컴퓨터에서 처리하는 데이터의 표현 방식에 따라 수치 데이터와 비수치 데이터로 구분된다. 수치 데이터는 주소 산술, 논리 연산 과정으로 사용하며 고정된 정수와 부동 소수점인 실수로  구성이된다.그리고 빅데이터의 시대가 오면서 그동안 소외되었던 비수치 데이터의 세상이 오게되었는데, 대용량 데이터를 처리할 수 있는 인프라가 만들어졌기 때문이다.비수치 데이터는 우리가 일상생활에서 사용하는 문장과 같은 텍스트 데이터와 소리 그리고 영상 등과 같은 멀티미디어 데이터로 구성된다. 데이터 -> 수치 데이터 -> 정수, 실수                                           -> ..

#1 빅데이터와 인공지능(머신러닝)

목차 SF영화와 같은 영화를 보다 보면 자율주행차량은 최근 기술 발전에 힘입어 더 이상 상상 속의 기술이 아닌 일상 현실에 자리를 잡고 있다.스스로 주변 환경을 실시간으로 파악하고 차량 스스로 결정을 내려 운행이 가능한 도로를 질주하는 컴퓨터가 되고 있는데...빅데이터와 인공지능의 발전머신러닝이 자동차의 엔진이라면 데이터는 이 엔진에 필요한 연료와 마찬가지다. 데이터는 지난 수년간 저장 장치의 급격한 발전에 따라서 같이 발전했는데... 천공카드와 천공 테이프(19세기 말 ~ 20세기 초) -> 자기 테이프(1950년대) -> 자기 드럼 -> 자기 디스크(1956년 - 현재) -> 플로피 디스크(1971년 -2000년대 초) -> 광학 디스크(1980년대 -현재)-> 반도체 저장장치(1990년대 현재) -..

[프로그래머스, 입문] 세균 증식

목차문제 설명어떤 세균은 1시간에 두배만큼 증식한다고 합니다. 처음 세균의 마리수 n과 경과한 시간 t가 매개변수로 주어질 때 t시간 후 세균의 수를 return하도록 solution 함수를 완성해주세요. import java.util.stream.IntStream;class Solution { public int solution(int n, int t) { int[] count = { n }; IntStream.rangeClosed(1, t) .forEach(hour -> count[0] *= 2); return count[0]; }}------------------------------------..

[프로그래머스, 입문] 숨어있는 숫자의 덧셈(1)

목차문제 설명문자열 my_string이 매개변수로 주어집니다. my_string안의 모든 자연수들의 합을 return하도록 solution 함수를 완성해주세요. class Solution { public int solution(String my_string) { return my_string.chars() .filter(Character::isDigit) // 숫자인 문자만 필터링 .map(Character::getNumericValue) // 각 문자를 정수로 변환 .sum(); // 모든 정수의 합을 계산 }}--------------------------..