Oyun Kitabı

Operasyonel Veriyi PostgreSQL’e Temizleme (Operasyonel Veriyi Postgresql E Temizleme)

Operasyonel Veriyi PostgreSQL’e Temizleme — ABC Logistics backend / data platform üretim dersi.

PythonHTML 5HTML 5
postgresql etl data-quality logistics architecture
1 dk okuma
Faru
Faru

Lojistik Çok Dilli Veri Platformu (Polyglot Data Platform)

Bolum 2 / 10

ERP MySQL’den PostGIS’e temizleme, telemetri için MongoDB ve arama için Elasticsearch ile çok dilli veri platformu.

Logistics polyglot data platform diagram

Operasyonel Veriyi PostgreSQL’e Temizleme

Temizlik yoksa PostGIS sorusu yalandır. ETL validates plates, timestamps, and foreign keys before analytics tables accept a row.

MySQL rows → validate → typed PG tables

Temizlik yoksa PostGIS sorusu yalandır.

Kavramlar ilk geçtiği yerde

📦 Operational Store
ERP’nin yazdığı MySQL — günlük işlem için doğru, analitik için kirli.

📦 Analytics Store
Temizlenmiş PostgreSQL/PostGIS — coğrafi sorgu ve rapor için.

📦 Telemetry Store
Yüksek frekanslı konum olayları için belge/store (MongoDB).

📦 Search Index
Çok varlıklı ops araması için Elasticsearch kümesi.

Bu katmanları karıştırmak, hem analitikte hem frontend haritada yanlış gerçeğe yol açar.

Problemin şekli

ETL validates plates, timestamps, and foreign keys before analytics tables accept a row.

MySQL rows → validate → typed PG tables

Çalışan ayrım

Temizlik yoksa PostGIS sorusu yalandır.

MySQL rows → validate → typed PG tables
        ↓
   explicit contract → frontend

Frontend ile bağ

Ops haritası, bekleme geofence UI’si ve MFE’ler bu okuma modellerini tüketir; ham ERP/MySQL’e bağlanmaz.

Bu bölümde en çok karışan eşleştirmeler

❌ ERP MySQL = analitik veritabanı
✓ ERP yazma store’udur; analitik PostGIS’te yaşar

❌ Harita doğrudan vendor/public router’a güvensin
✓ Üretimde kendi API/OSRM kenarınız olmalı

❌ ML çıktısı PII ile birlikte loglansın
✓ Değerlendirme ve serving gizlilik sınırına uyar

Kendi sisteminizi denetleme listesi

  1. Bu yüzey hangi store’u source of truth sayıyor?
  2. Frontend hangi API kontratını çağırıyor?
  3. Cluster’da tek node kaybında ne olur?
  4. Lag operatöre nasıl gösteriliyor?
  5. Deny-list: içerikte müşteri domain/vendor sızıntısı var mı?

Bu bölümden aklında kalması gerekenler

  1. Polyglot store’lar farklı iş yükleri içindir; tek DB hayali kırılgandır.
  2. Frontend temiz read model tüketir, ERP’yi değil.
  3. ML ve OSRM çıktıları API kontratı olmadan haritaya dökülmez.

Kirli kaynaktan çizilen harita, güzel bir yalandır.

SSS

Sık sorulan sorular

Operational Store nedir?

ERP’nin yazdığı MySQL — günlük işlem için doğru, analitik için kirli.

Analytics Store nedir?

Temizlenmiş PostgreSQL/PostGIS — coğrafi sorgu ve rapor için.

"ERP MySQL = analitik veritabanı" doğru mu?

ERP yazma store’udur; analitik PostGIS’te yaşar

Bu bölüm neyi sabitler?

Temizlik yoksa PostGIS sorusu yalandır. Temizlik yoksa PostGIS sorusu yalandır. ETL validates plates, timestamps, and foreign keys before analytics tables accept a row.

Ogrenilen Muhendislik Prensipleri

  • Operational store ile analytics store’u ayırın.
  • Telemetry, search ve ilişkisel GIS farklı erişim örüntüleri ister.
  • Her okuma modeli bir frontend sözleşmesidir.

Okumaya devam et

Okumaya devam et

Seride sonraki yazi

Seride sonraki yazi

Ayni seriden

Paylaş