데이터 모델과 성능

성능 데이터 모델링의 개요

1. 정의

데이터베이스 성능 향상을 목적으로 설계단계의 데이터 모델링 때부터 성능과 관련된 사항이 데이터 모델링에 반영될 수 있도록 하는 것

 

2. 고려사항

1) 데이터 모델링을 할 때 정규화를 정확하게 수행

2) 데이터베이스 용량 산정을 수행

3) 데이터베이스에 발생되는 트랜잭션 유형 파악

4) 용량과 트랜잭션의 유형에 따라 반정규화 수행

5) 이력 모델의 조정, PK/FK 조정, 슈퍼타입/서브타입 조정 등을 수행

6) 성능관점에서 데이터 모델 검증

 

 

정규화와 성능

1. 정규화를 통한 성능 향상 전략

1) 데이터에 대한 중복성을 제거하여 데이터가 관심사별로 처리되어 성능 향상

2) 엔터티가 증가하고, SQL에서 조인이 많이 발생하여 성능저하가 나타나는 경우도 있어 유의 필요함

 

2. 데이터 처리에서의 성능 구분

1) 조회 성능: 처리 조건에 따라 성능 향상 될 수 있고, 저하 될 수 도 있음

2) 입력/수정/삭제 성능: 일반적으로 반정규화된 테이블에 비해 처리 성능 향상

 

3. 정규화

구분	내용
1차 정규화	정규화된 모든 릴레이션 릴레이션의 모든 도메인은 원자값 부분 함수 종속
2차 정규화	부분 함수 종속 제거 모든 속성은 기본키에 완전 함수 종속 이행적 함수 종속
3차 정규화	이행적 함수 종속 제거 모든 속성은 모두 기본키에 이행적 함수 종속 되지 않음 결정자가 후보키가 아닌 함수 종속
BCNF	모든 결정자는 후보키
4차 정규화	다치 종속 제거
5차 정규화	후보키를 통하지 않은 조인 종속 제거 (후보키를 통한 조인 종속만 성립 가능)

 

 

4. 함수적 종속성(Functional Dependency)

데이터들이 어떤 기준값에 의해 종속되는 현상

결정자(Determinant): 기준값, 아래 예시에 주민등록번호에 해당

종속자(Dependent): 종속되는 값, 아래 예시에 이름, 출생지, 주소에 해당

종속자는 근본적으로 결정자에 함수적 종속성을 가짐

주민등록번호 -> (이름, 출생지, 주소)

 

반정규화와 성능

1. 정의

1) 반정규화(역정규화): 정규화된 엔터티, 속성, 관계에 대해 시스템의 성능향상과 개발/운영의 단순화를 위해 중복, 통합, 분리 등을 수행하는 데이터 모델링 기법

2) 좁은 의미: 데이터를 중복하여 성능 향상

3) 넓은 의미: 성능을 향상시키기 위해 정규화된 데이터 모델에서 중복, 통합, 분리 등을 수행하는 모든 과정

 

2. 반정규화 절차

1) 대상조사: 범위 처리 빈도수, 대량의 범위 처리, 통계성 프로세스, 테이블 조인 개수

2) 다른 방법 유도 검토

방법	내용
뷰 테이블	지나치게 많은 조인이 걸려 데이터를 조회하는 작업이 기술적으로 어려울 경우 뷰를 사용하여 해결
클러스터링/인덱스	대량의 데이터 (부분)처리에 의해 성능이 저하되는 경우 클러스터링을 적용하거나, 인덱스를 조정하여 성능 향상 클러스터링: 특정 클러스터링 팩트에 의해 저장방식을 다르게 함, 조회 중심의 테이블에서 성능 향상 효과가 있음
파티셔닝 기법	인위적인 테이블을 통합/분리하지 않고 물리적인 저장기법에 따라 성능을 향상시킬 수 있음 데이터가 특정 기준(파티셔닝 키)에 의해 다르게 저장되고 파티셔닝 키에 따른 조회가 될 때 성능 향상됨 특정 기준에 의해 물리적인 저장공간이 구분될 수 있고 트랜잭션이 들어올 때 일정한 기준에 의해 들어올 때 적용
로직 변경	응용 애플리케이션에서 로직을 구사하는 방법을 변경하여 성능 향상

3) 반정규화 적용: 테이블 반정규화, 속성 반정규화, 관계 반정규화

 

3. 테이블 반정규화 기법

분류	기법	내용
테이블 병합	1:1 관계 테이블 병합	1:1 관계를 통합하여 성능 향상
	1:M 관계 테이블 병합	1:M 관계를 통합하여 성능 향상
	슈퍼/서브 타입 테이블 병합	슈퍼/서브 관계를 통합하여 성능 향상
테이블 분할	수직 분할	컬럼 단위의 테이블을 디스크 I/O 분산 처리 하기 위해 테이블을 1:1로 분리하여 성능향상(트랜잭션 처리 유형 파악 선행 필요)
	수평 분할	Row 단위로 집중 발생되는 트랜잭션을 분석하여 디스크 I/O 및 데이터 접근 효율성을 높여 성능 향상
테이블 추가	중복 테이블 추가	다른 업무이거나 서버가 다른 경우 동일한 테이블 구조를 중복하여 원격 조인을 제거하여 성능 향상
	통계 테이블 추가	SUM, AVG 등을 미리 수행하여 계산해 둠으로써 조회 시 성능을 향상
	이력 테이블 추가	마스터 테이블에 존재하는 레코드를 중복으로 이력 테이블에 존재하게하는 방법
	부분 테이블 추가	한 테이블의 전체 컬럼 중 자주 이용하는 집중화된 컬럼들이 있을 때 디스크 I/O를 줄이기 위해 해당 컬럼들을 모아놓은 별도의 반정화된 테이블 생성

 

4. 컬럼 반정규화 기법

기법	내용
중복 컬럼 추가	조인에 의한 성능저하를 예방하기 위해 중복된 컬럼 추가
파생 컬럼 추가	트랜잭션 처리 시점에 계산하여 발생되는 성능저하를 예방하기 위해 값을 미리 계산하여 컬럼에 보관
이력 테이블 컬럼 추가	대량의 이력 데이터를 처리할 때 불특정 일 조회 또는 최근 값 조회 시 발생하는 성능저하 예방을 위해 이력 테이블에 기능성 컬럼(최근값 여부, 시작/종료 일자 컬럼) 추가
PK에 의한 컬럼 추가	복합 의미를 갖는 PK를 단일 속성으로 구성한 경우 발생, 단일 PK안에서 특정값을 별도 조회하는 경우 성능저하가 발생될 수 있음 이 때 이미 PK안에 데이터가 존재하지만 성능향상을 위해 일반속성으로 포함하는 방법
응용시스템 오작동을 위한 컬럼 추가	사용자가 데이터를 잘못 처리할 경우를 대비하여 기존값 복구를 위한 데이터  임시 중복 저장 기법 컬럼으로 보관하는 방법은 오작동 처리를 위한 임시적 기법 (cf. 이력 데이터 모델로 해결 시 정상적인 데이터 모델 기법이 됨)

 

5. 대량 데이터에 따른 성능

1) 한 테이블에 많은 수의 컬럼을 가지고 있는 경우

디스크 I/O양이 증가하여 성능 저하 발생, 

트랜잭션이 발생 시 어떤 컬럼에 대해 집중적으로 발생하는지 분석, 테이블을 1:1 관계로 분리하여 디스크 I/O가 감소시켜 성능 개선

분리된 테이블은 디스크에 적어진 컬럼이 저장되어 로우마이그레이션과 로우체이닝이 많이 줄어들 수 있음

 

2) 대량 데이터를 저장 및 처리하는 경우

파티셔닝을 적용하거나 PK에 의해 테이블을 분할하는 방법을 적용할 수 있음, Oracle 기준 크게 4가지 방법 적용 

파티셔닝 방법	내용
RANGE PARTITION(범위)	- 프로그램은 하나의 테이블에 접근하면 내부적으로 RANGE로 구분된 테이블에서 트랜잭션을 처리 - 대상 테이블이 날자 또는 숫자값으로 분리가 가능하고 각 영역별로 트랜잭션 분리 될 시 적합 - 데이터보관주기에 따라 테이블에 데이터를 쉽게 지우는 것이 가능하여(파티션 테이블을 DROP하면 되므로) 데이터보관주기에 따른 테이블관리 용이
LIST PARTITION(특정값 지정)	- 프로그램은 하나의 테이블에 접근하면 내부적으로 LIST로 구분된 파티션 테이블에서 트랜잭션을 처리 - 핵심적인 코드값 등으로 PK가 구성되어 있고 대량의 데이터가 있는 테이블의 적합 - 대용량 데이터를 특정값에 따라 분리 저장할 수는 있으나 RANGE PARTITION과 같이 데이터 보관주기에 따른 삭제 기능은 제공되지 않음
HASH PARTITION(해시적용)	- 지정된 HASH 조건에 따라 해시 알고리즘이 적용되어 테이블이 분리되며 설계자는 테이블에 데이터가 정확하게 어떻게 들어갔는지 알 수 없음 - 성능향상을 위해 사용하며 데이터 보관주기에 따라 쉽게 삭제하는 기능은 제공되지 않음
COMPOSITE PARTITION (범위 & 해시 복합)

 

6. 테이블에 대한 수평분할/ 수직 분할 절차  4가지 원칙

1) 데이터 모델링 완성
2) 데이터베이스 용량산정: 어느 테이블에 데이터의 양이 대용량이 되는지 분석
3) 대량 데이터가 처리되는 테이블의 트랜잭션 처리 패턴 분석

특정 테이블이 대용량인 경우 컬럼 수 확인,  컬럼 수가 많은 경우 트랜잭션의 특성에 따라 테이블을 1:1 형태로 분리할 수 있는지 검증
4) 컬럼 단위로 집중화된 처리가 발생하는지, 로우단위로 집중화된 처리가 발생되는지 분석하여 집중화된 단위로 테이블을 분리 검토

컬럼의 수가 적지만 데이터용량이 많아 성능저하가 예상이 되는 경우 테이블에 대해 파티셔닝 전략을 고려, 이 때 임의로 파티셔닝할 것인지 데이터가 발생되는 시간에 따라 파티셔닝을 할 것인지를 설명된 기준에 따라 적용

 

 

데이터베이스 구조와 성능

1. 슈퍼타입/서브타입 모델의 개요

Extended ER모델이라고 부르는 이른바 슈퍼/서브타입 데이터 모델은 최근에 데이터 모델링을 할 때 자주 쓰이는 모델링 방법

 

2. 슈퍼타입/서브타입 모델의 변환

구분	One to One Type	Plus Type	Single Type: All in One 타입
테이블	1:1 개별 테이블	슈퍼 테이블+서브 테이블	하나의 테이블
확장성	우수	보통	나쁨
조인 성능	나쁨	나쁨	우수
I/O성능	좋음	좋음	나쁨
관리 용이성	좋지않음	좋지 않음	좋음
트랜잭션 유형에 따른 선택 방법	개별 테이블로 접근이 많은 경우	슈퍼+서브 형식으로 데이터 처리	전체를 일괄적으로 처리하는 경우

 

3. 슈퍼타입/서브타입 모델의 변환 기술

1) 개별로 발생되는 트랜잭션에 대해서는 개별 테이블로 구성: 업무적으로 발생되는 트랜잭션이 슈퍼타입과 서브타입 각각에 대해 발생

2) 슈퍼타입 + 서브타입에 대해 발생되는 트랜잭션에 대해서는 슈퍼타입+서브타입 테이블로 구성

3) 전체를 하나로 묶어 트랜잭션이 발생할 때는 하나의 테이블로 구성

 

인덱스 특성을 고려한 PK/FK 데이터베이스 성능 향상

1. PK/FK 컬럼 순서와 성능

PK순서를 결정하는 기준은 인덱스 정렬구조를 이해한 상태에서 인덱스를 효율적으로 이용할 수 있도록 PK순서를 지정해야 한다. 즉 인덱스의 특징은 여러 개의 속성이 하나의 인덱스로 구성되어 있을 때 앞쪽에 위치한 속성의 값이 비교자로 있어야 인덱스가 좋은 효율을 나타낼 수 있다. 앞쪽에 위치한 속성 값이 가급적 ‘=’ 아니면 최소한 범위 ‘BETWEEN’ ‘< >’가 들어와야 인덱스를 이용할 수 있는 것이다.

 

 

2. 물리적인 테이블에 FK제약이 걸려있지 않을 경우 인덱스 미생성으로 성능 저하

물리적인 테이블에 FK를 사용하지 않아도 데이터 모델 관계에 의해 상속받은 FK속성들은 SQL WHERE 절에서 조인으로 이용되는 경우가 많이 있으므로 FK 인덱스를 생성해야 성능이 좋은 경우가 빈번하다.

 

분산 데이터베이스와 성능

1. 정의

1) 여러 곳으로 분산되어있는 데이터베이스를 하나의 가상 시스템으로 사용할 수 있도록 한 데이터베이스

2) 논리적으로 동일한 시스템에 속하지만, 컴퓨터 네트워크를 통해 물리적으로 분산되어 있는 데이터들의 모임. 물리적 Site 분산, 논리적으로 사용자 통합·공유

 

2. 분산 데이터베이스의 투명성(Transparency)

1) 분할 투명성 (단편화) : 하나의 논리적 Relation이 여러 단편으로 분할되어 각 단편의 사본이 여러 site에 저장
2) 위치 투명성 : 사용하려는 데이터의 저장 장소 명시 불필요. 위치정보가 System Catalog에 유지되어야 함
3) 지역사상 투명성 : 지역DBMS와 물리적 DB사이의 Mapping 보장. 각 지역시스템 이름과 무관한 이름 사용 가능
4) 중복 투명성 : DB 객체가 여러 site에 중복 되어 있는지 알 필요가 없는 성질
5) 장애 투명성 : 구성요소(DBMS, Computer)의 장애에 무관한 Transaction의 원자성 유지
6) 병행 투명성 : 다수 Transaction 동시 수행시 결과의 일관성 유지, Time Stamp, 분산 2단계 Locking을 이용 구현

 

3. 장단점

장점	단점
- 지역 자치성, 점증적 시스템 용량 확장 - 신뢰성과 가용성 - 효용성과 융통성 - 빠른 응답 속도와 통신비용 절감 - 데이터의 가용성과 신뢰성 증가 - 시스템 규모의 적절한 조절 - 각 지역 사용자의 요구 수용 증대	- 소프트웨어 개발 비용 높음 - 오류의 잠재성 증대 - 처리 비용의 증대 -설계, 관리의 복잡성과 비용 - 불규칙한 응답 속도 - 통제의 어려움 - 데이터 무결성에 대한 위협

 

4. 데이터베이스 분산 구성의 가치

데이터를 분산 환경으로 구성하였을 때 가장 핵심적인 가치는 바로 통합된 데이터베이스에서 제공할 수 없는 빠른 성능을 제공한다는 점이다. 원거리 또는 다른 서버에 접속하여 처리하므로 인해 발생되는 네트워크 부하 및 트랜잭션 집중에 따른 성능 저하의 원인을 분산된 데이터베이스 환경을 구축하므로 빠른 성능을 제공하는 것이 가능

 

5. 적용기법

분산 환경으로 데이터베이스를 설계하는 방법은 일단 통합 데이터 모델링을 하고 각 테이블별로 업무적인 특징에 따라 지역 또는 서버별로 테이블을 분산 배치나 복제 배치하는 형태로 설계할 수 있다.

 

1) 테이블 위치 분산: 설계된 테이블의 위치를 각각 다르게 위치시키는 것

- 테이블 구조는 변하지 않고, 테이블이 다른 데이터베이스에 중복되어 생성되지 않음

- 정보를 이용하는 형태가 각 위치별로 차이가 있을 경우 이용

- 테이블의 각 위치가 다르므로 테이블의 위치를 파악할 수 있는 도식화된 위치별 데이터베이스 문서 필요

 

2) 테이블 분할(Fragmentation) 분산: 단순히 위치만 다른 곳에 두는 것이 아니라 각각의 테이블을 쪼개어 분산하는 방법

- 수평분할(Horizontal Fragmentation): 테이블의 로우(Row)단위로 분리

- 수직분할(Vertical Fragmentation): 테이블을 칼럼(Column) 단위로 분할

 

3) 테이블 복제(Replication) 분산: 가장 많이 사용하는 방식, 동일한 테이블을 다른 지역이나 서버에서 동시에 생성하여 관리하는 유형

- 부분복제(Segment Replication): 마스터 데이터베이스에서 테이블의 일부의 내용만 다른 지역이나 서버에 위치시킴

- 광역복제(Broadcast Replication): 마스터 데이터베이스의 테이블의 내용을 각 지역이나 서버에 존재시킴

 

4) 테이블 요약(Summarization) 분산 전략: 지역간 또는 서버 간에 데이터가 비슷하지만 서로 다른 유형으로 존재하는 경우

- 분석요약(Rollup Summarization): 동일한 테이블 구조를 가지고 있으면서 분산되어 있는 동일한 내용의 데이터를 이용하여 통합된 데이터를 산출하는 방식

- 통합요약(Consolidation Summarization): 분산되어 있는 다른 내용의 데이터를 이용하여 통합된 데이터를 산출하는 방식