hotamul의 개발 이야기

병렬 처리 구조 Greenplum 데이터베이스(이하 GPDB)는 Postgresql 기반의 데이터베이스로 OLAP 시스템에 적합한 데이터베이스이다. GPDB는 MPP(massively parallel processing) 데이터베이스로 병렬 처리 구조 아키텍처를 가지고 있다는 특징이 있다. Scale-out GPDB는 위의 그림과 같이 Scale-out 방법으로 병렬처리를 구현했다(기존 서버를 높은 사양으로 업그레이드 하는 것이 Scale-up, 기존 서버에 추가로 서버를 연결해 데이터 용량 및 서버 부하를 분담하는 것을 Scale-out이라고 한다). Master Hosts, Interconnect, Segment Hosts GPDB는 크게 Master Hosts, Interconnect, Segmen..

Database 실행 계획을 가독성 있는 그래프로 보는 방법은 아래 링크를 이용하면 됩니다! Postgres Explain visualizer Example -- 파티셔닝이 되어 있는 테이블 EXPLAIN (ANALYZE, FORMAT JSON) SELECT o_orderpriority, count(*) as order_count FROM orders WHERE o_orderdate >= date '1994-05-01' AND o_orderdate < date '1994-05-01' + interval '3 month' AND exists ( SELECT * FROM lineitem WHERE l_orderkey = o_orderkey AND l_commitdate < l_receiptdate ) GRO..

-- example returning deleted rawdata WITH deleted_rows AS ( DELETE FROM products WHERE "date" >= &#39;2010-10-01’ AND "date" < &#39;2010-11-01’ RETURNING * ) SELECT * FROM deleted_rows; 위 쿼리 처럼 WITH 구문을 이용하고 DELETE 문 다음 RETURNING * 사용하면 실제 delete된 데이터를 사용할 수 있어요😊 delete된 데이터를 다른 테이블에 insert 하거나 COPY 해두거나 한다면 유용하게 사용될 수 있을거에요!

아래와 같은 External Table을 define 하거나 COPY operation을 실행할 때 발생한 에러를 확인하려면 gp_read_error_log 함수를 이용해 table 형태로 에러가 발생한 각각의 row에 대해 확인할 수 있어요. (Viewing Bad Rows in the Error Log) -- create external table example CREATE EXTERNAL TABLE ext_expenses ( name text, date date, amount float4, category text, desc1 text ) LOCATION (&#39;gpfdist://etlhost-1:8081/*&#39;, &#39;gpfdist://etlhost-2:8082/*&#39;) FORM..