Đây là bài viết giới thiệu nhanh về Big Data và sự ảnh hưởng của công nghệ mới này với những ngành kinh doanh truyền thống.

Giới thiệu

Không ai có thể phủ nhận được ngày nay mọi công ty đều có xu hướng phát triển theo công nghệ (digital transform). Trong thời đại toàn cầu hoá (hay được gọi là nền công nghệ 4.0) công nghệ thực sự là động lực phát triển trong giai đoạn tiếp theo của các ngành công nghiệp, là biểu tượng của sự tiến bộ.

Các công ty phải đặt công nghệ lên hàng đầu và nó phải là ưu tiên của bất kỳ doanh nghiệp nào. Thông tin và dữ liệu hiện là phần cốt lõi của các doanh nghiệp đi theo hướng này. Việc thu thập dữ liệu, xử lý và hiểu được các thông tin – các chỉ số để có thể đưa ra dự đoán hoặc phân tích mang tính chiến lược là một điều rất quan trọng. Chỉ có những công ty thực sự hiểu, quản lý và kiểm soát được dữ liệu kinh doanh trong ngành của họ thì có khả năng thành công là rất cao. Ngày nay các công ty khởi nghiệp (startup company) có thể được đánh giá giá trị của mình thông qua khả năng hiểu Data và xử lý được các Data đó để đưa ra những quyết định giúp thúc đẩy kết quả kinh doanh của họ tốt hơn.

big data

Công nghệ xử lý dữ liệu mà không có Data đề xử lý thì sẽ không có kết quả hoặc có Data mà không đủ năng lực công nghệ để xử thì thì Data đó cũng không có giá trị gì. Rõ ràng là để chứng minh công việc kinh doanh trong tương lai, chúng ta cần phân bổ 2 luồng hoạt động song song ở tất cả các cấp. Thứ 1 là chiến lược dữ liệu: hiểu được mô hình kinh doanh, thu thập và xử lý dữ liệu giữa các đơn vị kinh doanh, hiểu mối quan hệ giữa các bộ phận, phòng ban và xây dựng hệ thống phân tích cũng như work based dựa trên luồng dữ liệu doanh nghiệp.  Một công ty khi đứng trên góc độ phân tích dữ liệu nó chỉ là một hộp đen lấy đầu vào và tạo đầu ra, điều này cần phải được tinh chỉnh và chia nhỏ cho đến khi chúng ta hiểu rõ về dữ liệu kinh doanh của doanh nghiệp đó. Thứ 2 là luồng công nghệ: cải thiện cơ sở hạ tầng, kỹ năng và công cụ để xử lý và quản lý dữ liệu một cách hiệu quả.

Có một sự “ngộ nhận” rất lớn về các thuật ngữ như Big Data và AI,.v.v. điều cốt yếu là phải hiểu được đằng sau những thuật ngữ này là gì và điều gì là động lực để doanh nghiệp phải chuyển mình trong cuộc cách mạng công nghệ thông tin khi mà con người tiến vào kỷ nguyên của công nghệ. AI sẽ không tự nó thành công nếu như doanh nghiệp của bạn không tự thay đổi để đáp ứng được những yếu tố công nghệ thiết yếu hay mô hình kinh doanh của bạn không thực sự thay đổi để phù hợp với điều kiện cần và điều kiện đủ.

Là một phần của cuộc cách mạng Big Data, điều quan trọng là bạn phải hiểu rằng bây giờ Data là dữ liệu, là cốt lõi của công ty chứa các thông tin nằm trong quy trình kinh doanh tổng thể của doanh nghiệp và mô hình đó phải phù hợp với những Data – số liệu – có thể sàng lọc, bóc tách được trong “data pool”.

Cùng nhìn lại một chút về lịch sử của Big Data để hiểu rõ hơn về nó

Khả năng truyền thông tin đến các thế hệ tương lai đã thúc đẩy sự tiến hóa trong hàng triệu năm của loài người. Ngôn ngữ viết (ký tự, hình ảnh) chính là cột mốc chính của lịch sử loài người; nhưng một số người sẽ cho rằng sự thay đổi lớn nhất trong lịch sử loài người đang xảy ra khi chúng ta đi sâu hơn vào Thời đại Thông tin. Lượng dữ liệu trên thế giới đã mở rộng theo cấp số nhân chỉ trong hai thập kỷ qua.

data trên thế giới

Đây là biểu đồ lượng dữ liệu trên toàn cầu (đơn vị Zettabytes = ZB = 1021 bytes)

Không còn nghi ngờ gì nữa, tất cả những tiến bộ và thành tựu của thập kỷ trước thực chất liên quan đến lượng dữ liệu được thu thập và phân tích, và điều này đang định hình tương lai. Dữ liệu chính là sức mạnh nó đang được nhiều doanh nghiệp cũng như tổ chức ưu tiên thu thập và lưu trữ.

Big Data

Như Gartner định nghĩa – “Big Data là khối lượng lớn, tốc độ cao và/hoặc tài sản thông tin có tính đa dạng cao đòi hỏi các hình thức xử lý mới để cho ra các quyết định mang tính chất tương lai, dự đoán, khám phá insights và tối ưu hóa quy trình”.

Đơn giản hơn thì thuật ngữ “Big Data” là một tập hợp các tập dữ liệu cực lớn mà các kỹ thuật tính toán thông thường không thể xử lý được. Tiến bộ công nghệ và sự ra đời của các kênh truyền thông mới (như mạng xã hội) và các thiết bị mới mạnh hơn đã đưa ra những  thách thức cho những nhà khoa học dữ liệu (Data science) phải tìm cách khác để xử lý những dữ liệu này.

Rõ ràng chúng ta đều thấy được tầm quan trọng và lợi ích rõ ràng của Big Data có thể mang lại. Trong phạm vi bài viết này tác giả không đi quá sâu vào việc giải thích Big Data là gì? Mà tác giả sẽ tập trung và ý nghĩa mà nó mang lại.

Tóm gọn lại Big Data được sử dụng để xác định được sự phức tạp của các giao dịch và quản lý lượng dữ liệu khổng lồ được tạo ra từng ngày như hiện nay. Big Data đề cập tới các công nghệ và những sáng kiến làm sao để xử lý và sử dụng những thông tin quá đa dạng, thay đổi nhanh và mạnh với các công nghệ mới, kỹ năng và cấu trúc thông thường để đạt được hiệu quả. Nói một cách khác: volume, velocity, veracity hoặc variety của Data là rất lớn. Đây là 4 khía cạnh chính khi nói đến Big Data 

  • Volume (khối lượng): Khối dữ liệu khổng lồ từ logs, table, file, .v.v.
  • Velocity (tốc độ): Dữ liệu cần phải được xử lý nhanh và đạt được hiệu quả
  • Variety (sự đa dạng): Trước kia chúng ta chỉ có dạng dữ liệu như là bảng (table) trong cơ sở dữ liệu. Còn bây giờ chúng ta có các dạng dữ liệu khác như là: file âm thanh, tập tinh có cấu trúc, tập tin phi cấu trúc. Chi phí chuyển đổi các loại dữ liệu này thành định dạng có cấu trúc trong kho dữ liệu rất lớn, vì sao trọng tâm chính của dữ liệu lớn là chuyển từ ETL (traditional data warehouse – kho dữ liệu truyền thống) sang ELT (modern data lakes – hồ dữ liệu hiện đại). Đây gọi là việc digital transform những dữ liệu của doanh nghiệp truyền thống lên thành dữ liệu kỹ thuật số.
  • Veracity (độ chính xác): Data đến từ những nguồn dữ liệu khác nhau.

4 yếu tố chính của big data

Công cụ hỗ trợ công nghệ lớn nhất đã cách mạng hóa dữ liệu lớn là Hadoop, một phần của hệ sinh thái khổng lồ các công cụ được sử dụng để:

  • Quản lý và xử lý dữ liệu
  • Machine learning / AI
  • Business Intelligence
  • Marketing
  • Batch Processing
  • Automation
  • Thực hiện quy trình công việc kinh doanh

 

Data Strategy

Để cho đơn giản, bạn cần dữ liệu và sau đó bạn cần hiểu rõ về dữ liệu. Điều này nghe có vẻ đơn giản nhưng khó đạt được. Trong Data strategy, có hai luồng phụ có thể được thực thi song song. Một là chiến lược kinh doanh là hiểu về doanh nghiệp và cách mà Data flow đi qua doanh nghiệp. cách thứ hai rất đơn giản: thu thập càng nhiều thông tin càng tốt.

Business Data Strategy

Trong chiến lược dữ liệu kinh doanh thì ưu tiên chính của nó là hiểu dữ liệu và có 2 loại dữ liệu cần thu thập:

  • Dữ liệu ngành: Dữ liệu mở rộng có liên quan tới doanh nghiệp 
  • Dữ liệu công ty: Dữ liệu nội bộ liên quan tới cách thức vận hành doanh nghiệp

Xác định nguyên tắc kinh doanh cốt lõi này là rất quan trọng cho doanh nghiệp. Nếu một công ty không có hiểu biết đầy đủ về cách thức hoạt động của các đơn vị phòng ban khác nhau, mối quan hệ của họ, người sở hữu dữ liệu, trong bao lâu, loại dữ liệu nào thuộc sở hữu của ai, số lượng dữ liệu mà công ty có, kiểm toán,.v.v..Dữ liệu và quy trình kinh doanh cần được xác định và ghi chép lại.

Các nhiệm vụ sau phải được thực hiện:

  • Xác định dữ liệu mở rộng: Dữ liệu nào được cung cấp cho chúng tôi; Dữ liệu nào chúng tôi tạo và cung cấp cho các đối tác bên ngoài; Xác định các luồng thông tin. Tạo sơ đồ.
  • Kiểm tra quy định (GDPR)
  • Nâng cao kỹ năng kinh doanh và khả năng công nghệ về khoa học dữ liệu. Hiểu Big Data là gì. Hiểu những gì AI có thể làm và những gì không thể làm được.
  • Dữ liệu nội bộ. Xác định những gì bạn cần lưu trữ; các loại dữ liệu; ai sở hữu dữ liệu; ai xử lý dữ liệu; Xác định việc sử dụng dữ liệu trong tương lai có thể. Đối với mỗi phần dữ liệu có được danh sách sử dụng có thể. (Ví dụ: Email có thể được sử dụng để tạo bot trò chuyện với khách hàng.)
  • Xác định mối quan hệ giữa các đơn vị kinh doanh, bộ phận và thậm chí các cá nhân
  • Tạo sơ đồ với các luồng thông tin khác nhau
  • Tạo quy tắc và quy định xung quanh Data
  • Tài liệu về các quy trình dữ liệu
  • Xác định chiến lược Big Data

Thu Thập dữ liệu 

Thay đổi công ty để trở thành một công ty trung tâm dữ liệu có thể mất thời gian nhưng chúng ta có thể bắt đầu ngay hôm nay để thu thập dữ liệu ngay cả khi chúng ta không có phương tiện để sử dụng nó. Google đã làm điều đó trong quá khứ và bây giờ đã xây dựng AI để sử dụng nó. Bắt đầu thu thập dữ liệu ngay bây giờ để xây dựng tương lai.

Xem lại tất cả các hệ thống như một phần của chiến lược, xác định thông tin mà bạn muốn lưu trữ và có thể thu thập tại thời điểm này. Các giải pháp tạm thời có thể được sử dụng trong khi bạn làm việc trên hệ thống doanh nghiệp. Nói tóm lại, bạn có thể bắt đầu thu thập dữ liệu ngay bây giờ và lưu trữ dữ liệu đó trong một kho lưu trữ tạm thời trong khi bạn xác định giải pháp lưu trữ dữ liệu tiên tiến hơn. Ví dụ như:

  • Lưu trữ logs file từ các ứng dụng
  • Lưu trữ các cuộc hội thoại email
  • Lưu trữ các mục công việc ở định dạng tiêu chuẩn
  • Số hóa tài liệu giấy

Học về Data Analysis & Machine learning

Để hiểu rõ hơn về Big Data, các phương pháp phân tích dữ liệu cũng như Machine Learning thì các bạn có thể tham gia các khoá học của Nordic Coder– Trung tâm dạy lập trình uy tín và chuyên nghiệp, giúp bạn bổ sung thêm kiến thức cũng như định hướng được sự nghiệp của mình trong tương lai. Thông tin khoá học Data Analysis xem ở đây hoặc thông tin khoá học Machine learning có thể xem ở đây.