MobilityFlow

수집부터 분석에 쓸 자료의 검사까지 자동 연결

Airflow가 15분 수집과 재실행을 조정합니다. event_id는 지역·도로 링크·수집시각을 5분 단위로 내린 값으로 구성합니다. API의 실제 관측시각이 아니므로 같은 원천 관측을 다른 수집 구간에서 다시 받는 것까지 식별하지는 못합니다. 원문 gzip JSON과 변환 Parquet 파일에는 실행별 해시·행수 기록을 남깁니다.

PostgreSQL/dbt의 28개 데이터 검사와 처리 기록의 원본 객체 수·행수 대조·dbt 결과·해시 목록을 사용합니다. READY의 해시 조건은 목록 개수와 해시 값의 존재를 확인합니다. 저장 객체를 다시 읽어 해시가 일치하는지 검사하는 기능은 아닙니다. 원천에 없는 교통량이나 기준속도는 임의로 만들지 않습니다.

Airflow·PostgreSQL/dbt·PySpark는 로컬 Docker에서 실행했으며 PySpark의 실행 모드는 local[2]입니다. 현재 수집량에는 분산 처리가 필요하다는 근거가 없습니다. 이 프로젝트에서는 Spark의 변환·중복 제거·재실행 동작을 검증했으며 처리량 개선이나 분산 운영 성과를 주장하지 않습니다.

정기 수집과 변환·검사는 개인 컴퓨터에서 실행했습니다. 전체 처리 흐름의 클라우드 상시 운영 실적은 아닙니다.

개인 환경의 예약 실행과 클라우드 시험을 구분

예약 실행 기록은 2026년 8월 31일 로컬 Docker 환경의 누적 115,570행과 최근 10회 성공을 보여줍니다. 화면 녹화와 같은 날 이후 AWS 확인 기록의 116,025행은 더 늦은 확인 시점의 값입니다.

AWS에서는 S3 객체 적재, ECR 이미지 저장소와 CloudWatch 상태 지표를 구성했습니다. Fargate 일회성 작업이 이미지 읽기·S3 일부 읽기·CloudWatch 기록을 수행하고 종료 코드 0으로 끝나는지 확인했습니다. 상시 ECS 서비스나 AWS에서 Airflow·Spark를 운영한 결과는 아닙니다.

현재 실시간 상태가 아닌 과거 실행 기록입니다. QR에서는 검사 결과·원본 기록·실행 녹화를 확인할 수 있습니다.

저장과 처리 완료를 함께 확정

PostgreSQL의 같은 트랜잭션에서 raw.traffic_observation 적재와 ops.object_manifest 파일 완료 기록을 확정합니다. 완료 전 실패하면 둘 다 취소됩니다. 이미 처리한 동일 파일은 완료 기록을 확인해 건너뜁니다. 새 파일에 기존 event_id가 있으면 새 행을 추가하지 않고 기존 원천 행을 갱신합니다. 이 적재가 끝난 뒤 dbt가 fct/dim 분석용 테이블을 만드는 별도 단계를 실행합니다. Airflow에는 재시도·시간 제한과 max_active_runs=1을 설정했습니다.

분석용 테이블의 한 행

fct_traffic_observation은 지역·도로 링크·5분 단위 수집 기준시각으로 구분되는 event_id 한 건을 저장하는 증분 모델입니다. dim_road_segment는 도로 구간별 최신 명칭·좌표·길이를 보관합니다. 사실 테이블은 event_id, 도로 정보는 segment_id가 기준입니다. observed_at은 실제 관측시각이 아니므로 최신성 검사도 수집 기준시각의 경과를 확인하는 범위입니다.

실패와 재실행

2026.08.28 통제된 전송 복구 시험에서 Bronze writer를 중단한 동안 1,200개 이벤트를 보존하고 재기동 후 17초에 밀린 자료를 회수했습니다. 첫 변환은 중복 104개를 제거했고 즉시 재실행 입력은 0건이었습니다. 서울 API의 실제 장애나 처리량 측정은 아닙니다. READY는 처리 기록과 검사 결과의 조건 통과를 뜻하며 파일 저장 후 재검증을 뜻하지 않습니다.

실행 환경

공개 저장소의 README에 Docker Compose 실행, API 키 설정, 검증 명령과 운영 범위를 설명합니다. 데모 열람에는 API 키가 필요하지 않습니다. 직접 수집을 재현할 때는 사용자 본인의 서울 열린데이터광장 키와 로컬 실행환경이 필요합니다.