전체 글306

• 

  [PostgreSQL] Tibero to PostgreSQL 개별 테이블 이관하기 (pandas 사용) 0. 이기종 DBMS 마이그레이션? 이기종 DBMS 테이블 이관은 오라클의 expdp/impdp 처럼 DBMS에서 제공하는 방식들을 적용 할수 없어 고민이 필요한 작업이다. 보통 1)CSV 파일 EXPORT/IMPORT 2)이기종 DBLINK 3)별도 솔루션으로 테이블을 넘기곤 하는데 대용량인 경우 1번 csv 파일로 떨궈서 넘기는건 거의 불가능하다😮 이번에 Tibero의 특정 테이블을 PostgreSQL로 이관 업무가 생겨서, 많은 레퍼런스들을 기대하며 폭풍 구글링 시작.. 하지만 소스가 티베로인 이관 프로그램은 찾기가 어려웠다.. 어라..없나?😥이후 유사 업무가 반복 될 것 같아 파이썬 코드로 ODBC로 티베로에 연결 후 데이터를 가져와 타겟 Postgresql에 넣는 기능을 구현했다.소스(Tib.. CS

• 

  PostgreSQL Temp file 관련 정리 (Temp tablespace) Temp file? Postgresql에서 Temporary table/Sort/Hash Operation 등의 작업 처리 시에 temp_buffers, work_mem에 허용된 사이즈 만큼 메모리를 사용한다. 이를 초과하는 작업에 대해서 임시로 디스크에 temp file을 생성하여 처리한다. (like 오라클 temp segment)이 때, temp file을 읽고 쓰기 위해 디스크 I/O가 발생되며 디스크 I/O는 메모리 처리보다 느리기 때문에.. In-Memory 작업 대비 속도 저하, 추가된 Temp file 의 파일시스템 사용량 등을 고려해야한다.언제 생성이 될까?위에 정리했듯이 CREATE TEMPORARY TABLE 처리 중 temp_buffers 설정 값을 초과하거나, QUERY 수행 중 .. CS