از انبارداده تا پلتفرم داده؛ انقلاب صنعت بانکی در جریان است
آرتین خاچاطوریان، مدیر راهبرد محصول شرکت دادهکاوان توسن با ارسال یادداشتی به عصربانک نوشت: دادههای صنعت بانکی، از تراکنشهای مالی و رخدادهای سیستمی تا ردپای دیجیتال مشتریان در موبایلبانک، در میان صنایع با بیشترین حجم و تنوع داده قرار دارد. این حجم و تنوع، بانکها را به تکاپو انداخته تا راهحلی نه فقط برای ذخیرهسازی، بلکه برای مدیریت یکپارچه و تحلیل بلادرنگ بیابند. پاسخ این نیاز، گذار از انبار داده ایستا به پلتفرم داده مدرن است؛ پلتفرمی که بر پایه معماری ترکیبی Lakehouse، دادههای خام و پردازششده را در یک بستر منطقی یکپارچه مدیریت میکند؛ بستری که هم گزارشگیری کلاسیک و هم مدلهای پیشرفته هوش مصنوعی را تغذیه میکند.
چرا به دریاچه داده (Data Lake) نیاز داریم؟
برای فرایندی مثل کشف تخلف، تحلیل همزمان دادههای تراکنشی، رفتاری و زمانی ضروری است. در معماریهای سنتی مبتنی بر انبار داده (Data Warehouse)، ساختار دادهها پیش از ذخیرهسازی تعریف میشود. این رویکرد برای گزارشهای از پیش شناختهشده کارآمد است، اما بهخوبی از دادههای بدون ساختار (مثل کلیکهای کاربر) پشتیبانی نمیکند.
دریاچه داده در نقطه مقابل، بستری برای ذخیره دادههای خام با هر فرمتی (ساختیافته، نیمهساختیافته یا بدون ساختار) است. ساختاردهی عمدتاً در زمان خواندن و تحلیل (schema-on-read) و متناسب با نیاز انجام میشود؛ ویژگی که برای یادگیری ماشین و تحلیلهای اکتشافی حیاتی است.
انبارهای داده سنتی با افزایش حجم، تنوع و سرعت تولید داده، با سه چالش جدی روبهرو میشوند: انعطافپذیری پایین در پذیرش منابع جدید، هزینه و زمان بالای مدلسازی، و عدم نگهداری مؤثر داده خام برای استفاده در مدلهای پیشرفته. پیامد این محدودیتها، پیدایش سیلوهای دادهای و تضعیف تحلیل یکپارچه در بانکها بوده است.
ترکیب؛ به جای جایگزینی
وقتی دریاچه داده معرفی شد، بسیاری آن را جایگزین کامل انبار داده پنداشتند. اما تجربه نشان داد که ذخیرهسازی دادههای خام، بدون حاکمیت، مدیریت متادیتا و کنترل کیفیت، به سرعت به مرداب داده (Data Swamp) میانجامد؛ تودهای از دادههای بیساختار که تحلیل مؤثر از دل آن بیرون نمیآید.
اینجاست که معماری Lakehouse مطرح میشود؛ بستری یکپارچه که انعطاف و مقیاسپذیری دریاچه داده را با قابلیتهای کلیدی انبار داده (حاکمیت داده، پشتیبانی از تراکنشهای ACID در سطح لایه داده، و پرسوجوی ساختیافته) در هم میآمیزد. نتیجه، بستری یکپارچه برای انواع داده و انواع تحلیل، از گزارشگیری سنتی تا یادگیری ماشین است.
برای پرسوجوهای تحلیلی سریع روی حجم بالای داده، موتورهای ستونی مانند ClickHouse بهعنوان لایه سرویسدهی تحلیلی مستقل در کنار Lakehouse بهکار گرفته میشوند. این دو مکمل یکدیگرند: Lakehouse بستر اصلی ذخیرهسازی و مدیریت داده را فراهم میکند و در تعامل با لایههای حاکمیتی، تحلیل چندمنظوره را پشتیبانی میکند و موتور ستونی، ضامن عملکرد سریع داشبوردها و تحلیلهای تعاملی است.
تحول واقعی در حذف زیرساختهای موجود نیست، بلکه در ترکیب هوشمندانه لایههاست.
معماری مدرن داده در بانکها
فرآیندهایی مانند کشف تقلب، اعتبارسنجی لحظهای و پیشنهادهای شخصیسازیشده، نیازمند جریان پیوسته داده و پردازش نزدیک به لحظه هستند. معماری مدرن داده در بانکها برای پاسخ به این نیاز، به چهار لایه تقسیم میشود:
- لایه دریافت (Ingestion Layer): جمعآوری دادهها از منابع گوناگون، هم بهصورت دستهای و هم جریانی.
- لایه ذخیرهسازی (Storage Layer): نگهداری دادهها (خام و پردازششده) در بستر Lakehouse، در یک زیرساخت مقیاسپذیر.
- لایه پردازش (Processing Layer): تبدیل، غنیسازی و آمادهسازی دادهها و اتصال به زیرساختها و مدیریت چرخه عمر مدلهای هوش مصنوعی (MLOps).
- لایه سرویسدهی (Serving Layer): ارائه دادههای نهایی از طریق APIها، داشبوردهای مدیریتی و ابزارهای گزارشگیری.
این زنجیره یکپارچه هم نیازهای گزارشگیری سنتی را پوشش میدهد و هم بستر توسعه مدلهای تحلیلی پیشرفته را فراهم میکند.
چالشهای پیش روی معماری مدرن داده در صنعت بانکی
پیادهسازی معماری مدرن داده در بانکها با سه چالش اصلی روبروست.
- حاکمیت داده: در محیطی با منابع و ساختارهای متنوع، تعریف مالکیت داده، سیاستهای دسترسی و طبقهبندی دادهها الزامی است؛ بدون آن، مدیریت یکپارچه ممکن نخواهد بود.
- کیفیت داده: پایش مستمر کیفیت از ابتدا زنجیره ضروری است. دادههای خام بدون اعتبارسنجی و پاکسازی، به تدریج کیفیت کل زنجیره پردازش داده را تخریب میکنند.
- امنیت و انطباق: بانکها با دادههای حساس مشتریان سروکار دارند. رمزنگاری در حالت سکون و انتقال، کنترل دسترسی مبتنی بر نقش (RBAC) و ثبت وقایع جامع، از الزامات پایهای این معماری هستند.
نقش دادهکاوان توسن در پیادهسازی معماری نوین داده
گذار از انبار داده به معماری Lakehouse دیگر یک انتخاب نیست، بلکه ضرورتی است برای بانکهایی که میخواهند هم گزارشگیری دقیق و ساختاریافته داشته باشند و هم مدلهای پیشرفته هوش مصنوعی را پشتیبانی کنند.
اما معماری بهتنهایی کافی نیست. طراحی صحیح، حاکمیت داده قوی و اجرای تدریجی و کنترلشده، خط فاصل میان یک تحول واقعی و یک پروژه ناتمام است. بانکهایی که این مسیر را درست طی کنند، نهتنها زیرساخت دادهای مقیاسپذیر خواهند داشت، بلکه پایهای محکم برای سرویسهای هوشمند و تصمیمگیری مبتنی بر داده خواهند ساخت.
