Data Lake – Nền tảng lý trí cho mọi quyết định tài chính

Anh Nguyễn Quang Huy từng có kinh nghiệm nhiều năm về Khoa học dữ liệu cũng như phát triển và quản lý Hệ thống Dữ liệu lớn (Big Data) khi công tác tại các tập đoàn đa quốc gia tại tại Sing và Mỹ. Được truyền cảm hứng từ những bài toán lớn trên hành trình số hóa mà Techcombank đang giải quyết cho thị trường ngân hàng, Anh Nguyễn Quang Huy đã quyết định quay trở về Việt Nam để đồng hành với đội ngũ Techcombank trong giai đoạn chuyển đổi số mạnh mẽ nhất từ trước đến nay.

Ở thời điểm hiện tại, anh đang giữ vị trí Director, Data Engineer tại Techcombank. Công việc chính của anh là phụ trách xây dựng các hoạt động, dự án liên quan đến Data Lake (Hồ dữ liệu) tại Techcombank. Hãy cùng nghe câu chuyện về Data Lake sẽ giải quyết những bài toán lớn nào cho hàng triệu khách hàng của Techcombank.

Theo anh đâu là tầm quan trọng của dữ liệu trong sự phát triển của Techcombank trong 5 năm tiếp theo?    

Trong tương lai, việc tận dụng dữ liệu sẽ đem lại trải nghiệm hoàn toàn tích cực và mới mẻ cũng như tạo được niềm tin cho khách hàng. Tại Việt Nam, đôi khi chúng ta sẽ có một khoảng cách nhất định giữa người gửi tiền là khách hàng và người giúp giữ tiền là ngân hàng. Để cải thiện điều đó, chiến lược đầu tư lâu dài vào dữ liệu sẽ giúp tăng tính minh bạch, và cải thiện trải nghiệm khách hàng thông qua những thông tin (insights) mà ngân hàng có được khi phân tích dữ liệu khách hàng.

Cụ thể, dựa trên dữ liệu của khách hàng trong quá trình sử dụng dịch vụ, ngân hàng có thể giúp khách hàng tạo thói quen tài chính khỏe mạnh, phân tích và đưa ra các gợi ý về việc cơ cấu tài chính cá nhân, đầu tư dài hạn/ ngắn hạn hoặc kế hoạch chi tiêu như thế nào theo từng thời kỳ.. Từ đó giúp khách hàng có những quyết định hợp lý, xây dựng một kế hoạch tài chính cá nhân cho hiện tại và cả trong tương lai. Điều này đã rất phổ biến ở các nước phát triển, do vậy ở Việt Nam đây sẽ là một cơ hội lớn trong những năm sắp tới để ứng dụng dữ liệu vào việc giải quyết những vấn đề tài chính/quản lý tài sản (Wealth Management) cho nhiều phân khúc khách hàng khác nhau.

Được biết hiện tại Techcombank đang tập trung khá nhiều nguồn lực cho Data Lake, vậy Data Lake có tầm quan trọng như thế nào về Big Data của lĩnh vực Banking?

Trước hết, có thể hiểu Data Lake (Hồ Dữ liệu) là một hệ thống dữ liệu tập trung, điểm khác biệt của nó so với Data Warehouse (Kho Dữ liệu) là cho phép lưu trữ & quản lý cả dữ liệu có cấu trúc và không có cấu trúc cùng một chỗ. Đặc biệt, nó còn có thể lưu trữ dữ liệu ở định dạng gốc mà không yêu cầu xử lý đặc biệt, không giới hạn số dung lượng, bản ghi hay số file. Điều này cho phép ngân hàng có thể dễ dàng tiếp cận dữ liệu một cách đa dạng nhất nhằm phân tích, theo dõi, tạo mô hình trong thời gian thực hay ứng dụng Machine Learning hoặc AI để đưa ra các quyết định tối ưu nhất cho cả phía ngân hàng và khách hàng.

Data Lake có thể lưu trữ những dữ liệu hành vi như việc khách hàng đang lướt web như thế nào, truy cập vào đâu (User Behavior Tracking), theo dõi phản ứng của khách hàng trên trang web của ngân hàng, sau khi phân tích dữ liệu chuyên sâu, ngân hàng có thể đưa ra các thay đổi hay tuỳ chọn về kỹ thuật cũng như trải nghiệm người dùng nhằm tạo ra những sản phẩm phục vụ tốt hơn cho những nhóm khách hàng cụ thể. 

Ngoài ra, Data lake tập hợp và quản lý toàn bộ thông tin của một khách hàng trong cùng một hệ thống, nhờ đó cho phép đánh giá sức khỏe tài chính của khách hàng (Credit Scoring – chấm điểm tín dụng) một cách tự động. Dựa trên điểm tín dụng, việc phát hành thẻ tín dụng hay phê duyệt khoản vay có thể được đưa ra ngay lập tức với hạn mức chính xác và phù hợp. Khi đó, khách hàng có thể thực hiện các tác vụ tài chính từ xa một cách tin cậy và an toàn.

Ý tưởng chung của Big Data là cho phép phân tích để đưa quyết định. Ngân hàng có thể dùng lượng dữ liệu khổng lồ của mình (từ các sản phẩm khách hàng sử dụng) để nghiên cứu và tạo ra thêm những sản phẩm mới, trải nghiệm mới cho khách hàng. Về phía khách hàng, những dữ liệu này khi tập trung lại sẽ giúp khách hàng có được cái nhìn tổng quan về tài chính cá nhân, từ đó có thể tạo ra kế hoạch tài chính cá nhân phù hợp, hướng đến thói quen tài chính khỏe mạnh. Do đó, Big Data, khi được phát triển và sử dụng đúng, có thể được coi là chiếc chìa khóa giúp các ngân hàng có thể tạo ra thế mạnh cạnh tranh trong tương lai. 

Cấu trúc và hệ thống vận hành Data Lake của Techcombank có điểm gì khác biệt so với những cái hiện có trên thị trường. Cách Techcombank triển khai Data Lake như thế nào?

Về mặt kỹ thuật: hệ thống Data Lake của Techcombank được xây dựng trên AWS (một trong những dịch vụ điện toán đám mây – Cloud Service hoàn thiện và tốt nhất trên thế giới), đảm bảo tính an toàn và toàn vẹn của dữ liệu. Đảm bảo độ tin cậy cao cho các dịch vụ cũng như khả năng kiểm soát chặt chẽ.

Về mặt tính năng: hệ thống Data Lake của Techcombank được xây dựng với những tính năng đảm bảo phục vụ được các yêu cầu kinh doanh, lấy khách hàng làm trung tâm (cá nhân, doanh nghiệp, quốc tế, v.v.) trong bối cảnh và thị trường của Việt Nam. Đây chính là điểm khác biệt và cũng là ưu thế lớn của Techcombank khi so sánh với các ngân hàng khác không có nền tảng số tập trung hay các ngân hàng quốc tế không có những hệ thống được xây dựng để đáp ứng toàn diện các yêu cầu đáp ứng theo nhu cầu sử dụng hoặc pháp luật tại Việt Nam.

Thách thức: bài toán nhân lực và chi phí 

  • Chi phí: Rất khó có một lời giải tốt nhất cho bài toán xây dựng Data lake cho ngân hàng tại Việt Nam. Với từng hệ thống và sản phẩm, hệ thống tập trung dữ liệu được thiết kế như thế nào, gồm những cấu phần nào, cần đưa qua những qui trình quản lý nào, dữ liệu cần được làm sạch ra sao, v.v… Đó là những thứ rất khó có thể sao chép hay đưa từ nước ngoài về vì các sản phẩm tài chính của Việt Nam khá đặc trưng sơ với khu vực và thế giới. Những nhân tốt bất định nêu trên sẽ khiến chi phí trở thành bài toán khó chúng ta cần đối mặt.
  • Nhân lực: Tại Việt Nam, hiện tại có khá nhiều ngân hàng, công ty, và tổ chức làm về dữ liệu hay sản phẩm tài chính (FinTech), ngoài các tổ chức, doanh nghiệp Việt Nam, các tổ chức nước ngoài đơn cử như Trusting Social với sản phẩm đánh giá điểm tín dụng cá nhân, hay NAB (ngân hàng quốc gia Úc) cũng đang tận dụng nhân lực Việt Nam để xây dựng hệ thống ngân hàng số cho thị trường Úc. Hiện tại, chúng ta chưa có quá nhiều nhân lực hiểu rõ về ngành ngân hàng, việc đối mặt với sự cạnh tranh nhân lực từ tổ chức nước ngoài và sự đào thải nhân sự khi đòi hỏi cao về chuyên môn ngành FinTech, khiến cho việc khan hiếm về nhân sự trở thành bài toán khó cho thị trường Việt Nam.

Cơ hội: Giúp người Việt đưa ra những quyết định tài chính quan trọng

Thị trường tài chính ở Việt Nam khác rất nhiều so với thế giới. Ở thế giới vay mua nhà là thị trường lớn nhất trong lĩnh vực tài chính cá nhân, từ đó sẽ phái sinh các sản phẩm tài chính khác như bảo hiểm, tài khoản giám hộ, v.v.. Tuy nhiên ở Việt Nam thì chưa được như vậy, một trong những rào cản lớn nhất của ngân hàng là chưa có đủ dữ liệu để đưa ra quyết định nhanh chóng và chính xác về tín dụng của các cá nhân hay doanh nghiệp vay vốn, dẫn đến việc đánh mất nhiều cơ hội kinh doanh và cung cấp sản phẩm tối ưu cho khách hàng. Vì vậy, Techcombank sẽ tiếp tục tập trung vào chuyển đổi số, đi đầu trong việc sử dụng Data Lake để dùng dữ liệu để giải quyết những bài toán này. Đây dự đoán sẽ là con đường tất yếu mà các ngân hàng, tổ chức tài chính tại Việt Nam bắt buộc phải theo đuổi và tiếp tục ảnh hưởng dài hạn đến xu hướng chung của ngành lẫn kinh tế Việt Nam. Đơn cử, Quý 1 vừa qua, Vietcombank cũng mới vừa thành lập bộ phận chuyên về dữ liệu CDAO, hay VPBank cũng đang đầu tư rất mạnh vào hệ thống dữ liệu.

Khi tất cả ngân hàng cùng tham gia vào quá trình chuyển đổi số, chúng ta sẽ được thấy nền tài chính Việt Nam trở nên mạnh khỏe hơn nhờ tăng khả năng minh bạch, tăng tính tập trung dữ liệu. Điều đó cũng cho phép các ngân hàng liên kết với nhau dễ dàng hơn. Từ đó, thúc đẩy nền tài chính Việt Nam phát triển vượt bậc. 

Hơn thế nữa, Data Lake cho phép Techcombank, với vai trò người hỗ trợ quản lý tài sản của khách hàng, có thông tin đầy đủ về phân bổ tài sản và thói quen tài chính của mỗi khách hàng, từ đó giúp khách hàng có hiểu biết sâu sắc hơn về sức khỏe tài chính cá nhân, định hướng phân bổ, sử dụng tài chính hợp lý và dài hạn hơn. Mục tiêu cuối cùng là giúp khách hàng có thể đưa ra những quyết định tài chính chính xác hơn trong cuộc sống hằng ngày. 

Mô hình làm việc trong phòng ban liên quan đến Data Engineering sẽ như thế nào?

Trong bộ phận Data Engineering sẽ có 2 nhóm: 

  • (1) Nhóm sẽ chuyên vào nền tảng của Data Lake: thiết kế các hệ thống dùng chung cho tất cả bài toán liên quan đến dữ liệu.
  • (2) Nhóm phục vụ các khối nghiệp vụ: thiết kế các bài toán hay dự án (project) rất là cụ thể của một phòng ban nghiệp vụ nào đó liên quan đến các khối nghiệp vụ riêng biệt.

Những kỹ năng và tư duy mà các Data Engineer cần trang bị khi làm việc với “Hồ Dữ Liệu” tại Techcombank.

Data Engineer (DE) vs Software Engineer (SE): Hiện tại, nhân lực trực tiếp làm về Data còn khá hạn chế trong khi thị trường đang có nhu cầu ngày càng cao. Thông thường các bạn DE sẽ có xuất phát điểm là SE, sau một thời gian phát triển, các bạn có định hướng làm về dự liệu và cơ hội tiếp xúc với dữ liệu lớn có thể chuyển hướng công việc sang DE. Nói đơn giản, các bạn làm DE là những bạn SE chuyên tập trung vào backend (nắm vững vào quản lý hệ thống, xây dựng hệ thống) và xử lý Data (về mặt skills). Nếu các bạn muốn phát triển về mảng DE, thì nên trang bị và trau dồi thêm cho mình về thiết kế hệ thống backend, các ngôn ngữ lập trình được thiết kế cho backend, và đặc biệt những công nghệ, kỹ thuật backend liên quan đến dữ liệu (Database, ETL, etc.).

Ai là người phù hợp? Trong lĩnh vực phát triển phần mềm nói chung, những bạn thiên về trải nghiệm người dùng sẽ chọn hướng front-end, còn những bạn thiên về làm micro-service hay thuật toán sẽ chọn back-end. Đối với vị trí DE, bên cạnh các yêu cầu về kinh nghiệm back-end thì bạn cần phải yêu thích làm việc với dữ liệu, chẳng hạn có khả năng nhìn vào một bảng dữ liệu, suy nghĩ hay phân tích dữ liệu đó, đưa ra những ý tưởng về việc tổ chức hay sử dụng dữ liệu 1 cách tối ưu nhất.

Điều gì khiến anh lại lựa chọn làm trong mảng Banking và đặc biệt là lựa chọn gắn bó với Techcombank?

Một trong những lý do chính là mình muốn học hỏi và nâng cao kiến thức chuyên môn (Domain Knowledge) của mình trong lĩnh vực Fintech – một ngành mà mình rất quan tâm và yêu thích. Bênh cạnh đó, trong suốt quá trình làm việc tại Sing hay US, mình có nhiều cơ hội cộng tác và làm việc với nhiều đội ngũ công nghệ tại Việt Nam, qua đó hiểu được rõ hơn về tiềm năng phát triển của thị trường trong tương lai, đặc biệt là mảng số hóa ngân hàng.  

Techcombank có những bài toán rất lớn và thú vị về thị trường tài chính mà không phải ngân hàng nào cũng có được. Song song đó, môi trường làm việc cởi mở, mọi người đều có cơ hội tham gia trong mỗi quyết định, sự có mặt của các đối tác lớn và tin cậy như AWS, Adobe, Microsoft… cũng là một yếu tố thúc đẩy tôi gia nhập đội ngũ của nhà Techcombank. 

Mình tin rằng Techcombank sẽ luôn là một điểm đến lý tưởng cho nhân sự Công nghệ và Dữ liệu tại Việt Nam, những người muốn làm việc trong các bài toán phức tạp, có ảnh hướng lớn đến khách hàng và xã hội, muốn tìm kiếm cơ hội tiếp cận các công nghệ mới nhất trên thế giới ,  sở hữu những kinh nghiệm dẫn dắt hành trình số hóa ngân hàng. Nếu anh chị em nào đang có ý định hoặc cân nhắc về cơ hội nghề nghiệp tại Techcombank có thể để lại bình luận bên dưới hoặc liên hệ trực tiếp với Huy, Huy rất sẵn lòng chia sẻ cùng mọi người nhé.

Cảm ơn anh về những chia sẻ rất sâu sắc về lĩnh vực này, chúc anh và đội ngũ Data ngày càng phát triển mạnh mẽ và gặt hái được nhiều thành công hơn trong thời gian tới.


Thuộc dự án "InsideGem Technology" do Techcombank x TopDev triển khai, chuỗi nội dung thuần Tech "độc quyền" được chia sẻ bởi đội ngũ Tech Leader đến từ Silicon Valley tại Techcombank sẽ được cập nhật liên tục tại chuyên mục Tech Blog Techcombank x TopDev. Cùng theo dõi & gặp gỡ các chuyên gia bạn nhé!

 

Các cơ hội việc làm tại Techcombank

Bài viết liên quan

Data is all about orchestration (Tầm quan trọng của việc điều phối khi làm việc với dữ liệu)

Bài viết đến từ anh Vũ Tuấn Nghĩa - Quản lý cao cấp hoạch định dữ liệu Data Engineering team @Techcombank Data orchestration là một khối xây dựng cốt lõi của các hệ thống ETL dữ liệu, và là một công cụ đã có từ lâu đời và được áp dụng trong nhiều hệ thống khác nhau. Khi xây dựng Data Lake tại Techcombank, chúng mình có cơ hội thiết kế nhiều component/system từ đầu, từ hệ thống Data sourcing đến Datalake, đến hệ thống data ETL pipeline trên các zones của Data Lake. Để đáp ứng các nhu cầu và thách thức thực tế, ta cần có một hệ thống Data orchestration để giải quyết các bài toán: Cơ chế trigger các downstream job một cách linh hoạt mà không gây khó khăn trong quá trình vận hành Rút ngắn thời gian phát triển, xây dựng và kiểm thử Hạn chế sự phụ thuộc lẫn nhau gây ra chain failure Hôm nay chúng ta sẽ tìm hiểu về Data orchestration và cách giả [...]

Data Modeling with DynamoDB: Single table design (Xây dựng mô hình dữ liệu với DynamoDB: Thiết kế bảng đơn lẻ)

Bài viết đến từ anh Vũ Tuấn Nghĩa - Quản lý cao cấp hoạch định dữ liệu Data Engineering team @Techcombank DynamoDB là một dịch vụ cơ sở dữ liệu NoSQL cung cấp hiệu năng nhanh và nhất quán - có khả năng mở rộng và linh hoạt trong cách sử dụng. Khác với cơ sở dữ liệu quan hệ (RDMS), DynamoDB không sử dụng joins và các cấu trúc quan hệ khác để lưu trữ và truy vấn dữ liệu. Thay vào đó, bạn sẽ thiết kế table của mình theo Single design table - 1 table duy nhất phục vụ toàn bộ application hay service, việc này giúp hiệu suất đọc và ghi nhanh hơn ở scale lớn và giảm chi phí cloud. Trong bài viết này, chúng mình sẽ khám phá các lợi ích và thách thức của việc sử dụng Single design table trong DynamoDB, cũng như cách Datalake ở Techcombank sử dụng để đáp ứng và tối ưu như cầu sử dụng. Single table design Trong tài liệu trang chủ AWS có đề cập: You should maintain as few tables as [...]