LINK TẢI LUẬN VĂN MIỄN PHÍ CHO AE KET-NOI
CHƯƠNG 1 – TỔNG QUAN NGHIÊN CỨU
1.1.
Mô tả chung về nghiên cứu
1.1.1 Giới thiệu
Việc xác định được khách hàng là ai hiện là mối quan tâm hàng đầu của các nhà
cung cấp sản phẩm và dịch vụ bán hàng. Nhờ xác định được dáng khách hàng mà
các doanh nghiệp có thể đạt được hiệu quả tối đa khi thực hiện các chiến dịch quảng bá
sản phẩm, nhắm vào những đối tượng cụ thể và có các cách tiếp cận hợp lý nhất. Các
nhà quảng cáo cũng sẽ có cơ sở để quyết định quảng cáo của mình sẽ có nội dung như
thế nào, đặt ở đâu, thời gian nào.. để có thể tiếp cận được tập khách hàng tối đa nhất.
Có rất nhiều biện pháp để xác định rõ ràng một bức tranh hoàn chỉnh về chân
dung khách hàng, nhưng trong nghiên cứu này tui sẽ tập trung vào việc xác định chân
dung khách hàng từ tập thuê bao viễn thơng. Đóng góp chính trong cơng việc của tơi là
phát triển một mơ hình dự đốn nghề nghiệp của thuê bao di động, giúp các nhà khai
thác viễn thông dự đốn được đối tượng khách hàng của mình, từ đó có thể đưa ra các
gói sản phẩm phù hợp cũng như cung cấp các dịch vụ giá trị gia tăng khác để thu hút
cũng như giữ chân khách hàng, gia tăng lợi nhuận doanh nghiệp.
Mơ hình được phát triển trong nghiên cứu này sử dụng các kĩ thuật học máy cho
mục đích phân lớp nhị phân dựa trên bộ dữ liệu là các đặc trưng được xây dựng từ toàn
bộ các bản ghi chi tiết về cuộc gọi, sử dụng dịch vụ để dự đốn một th bao có là sinh
viên hay không. Để đo lường hiệu suất của mơ hình, thước đo tiêu chuẩn AUC được sử
dụng và giá trị AUC đạt được là 94,6% dựa trên thuật tốn XGBoost. Mơ hình được
chuẩn bị và thử nghiệm thơng qua ứng dụng Spark và H20 và làm việc trên bộ dữ liệu
lớn được cung cấp và mã hóa từ một trong các công ty viễn thông hàng đầu tại Việt
Nam. Bộ dữ liệu chứa tất cả các thông tin CDR của khách hàng đã được mã hóa số
thuê bao để đảm bảo tính bảo mật và ATTT của khách hàng được sử dụng để huấn
luyện, thử nghiệm và đánh giá mơ hình. Nghiên cứu cũng thử nghiệm 4 thuật tốn:
Rừng ngẫu nhiên, mơ hình tuyến tính tổng qt (GLM), máy tăng cường Gradien
“GBM” và tăng cường độ dốc cao “XGBoost”. Tuy nhiên kết quả tốt nhất đã thu được
bằng cách sử dụng thuật toán XGBoost, và thuật toán này sẽ được sử dụng để phân loại
nghề nghiệp trong bài nghiên cứu này.
1.1.2
Đặt vấn đề và giải quyết bài toán
10
Viễn thông là một nhân tố quan trọng trong công cuộc phát triển công nghệ số
và hội nhập kinh tế. Trong đó Dịch vụ viễn thơng đã phát triển mạnh trong thập kỷ qua
và thị trường Viễn thông truyền thống những năm gần đây đã trở nên bão hòa. Năm
2019 đạt 125,8 triệu thuê bao di động mặt đất, lớn hơn cả dân số hiện tại là hơn 96
triệu người, trong đó 3 cơng ty lớn VNPT, Viettel, Mobifone chiếm hơn 97% thị phần
[2]. Để phát triển và tồn tại, các cơng ty viễn thơng khơng chỉ tìm cách phát triển thuê
bao mới, giữ chân thuê bao cũ mà còn cần phát triển mạnh mẽ các dịch vụ giá trị gia
tăng, đánh trúng vào từng đối tượng cụ thể nhằm tăng trải nghiệm khách hàng và chất
lượng dịch vụ. Do đó, nhu cầu định danh khách hàng là một mối quan tâm lớn của các
công ty viễn thông. Việc xác định rõ dáng khách hàng sẽ giúp các công ty viễn
thông hiểu rõ nhu cầu, mong muốn của từng đối tượng cụ thể. Từ đó, họ có thể phục vụ
để nâng cao trải nghiệm của khách hàng, cải thiện hiệu quả của các chiến lược tiếp thị
của họ và phát triển các nguồn doanh thu mới. Với các thông tin về sở thích, hành vi và
xu hướng của khách hàng, các cơng ty có thể tăng lợi nhuận và doanh thu trên tồn bộ
chuỗi giá trị viễn thơng - từ phát triển sản phẩm và vận hành mạng lưới, đến bán hàng,
tiếp thị và dịch vụ khách hàng. Ngoài ra, việc định danh khách hàng cịn giúp các cơng
ty viễn thông phát triển mạnh mẽ mảng quảng cáo, khi họ đã có sẵn hạ tầng và mạng
lưới quảng bá, và mức độ tiếp cận gần như đạt tới mức tối đa vì hầu như ai cũng có ít
nhất 1 thiết bị di động.
Vậy các công ty viễn thông, họ có trong tay một khối lượng dữ liệu vơ cùng lớn
thu thập được từ các hành vi sử dụng dịch vụ từ khách hàng của họ, họ lại càng khao
khát khai phá thông tin một cách mãnh liệt hơn bao giờ hết. Vì thế, các nhà mạng
khơng chỉ phát triển riêng các ứng dụng nội bộ, mà đồng thời còn th các đối tác bên
ngồi tới để có thể khai thác một cách tối đa và hiệu quả nhất. Trong dự án này tôi
cũng được cung cấp các dữ liệu liên quan tới các hành vi sử dụng dịch vụ viễn thơng
của các th bao di động, từ đó tơi có thể xây dựng các mơ hình dự đốn chân dung
khách hàng một cách tồn diện và chính xác.
Trong bài nghiên cứu này, tui sẽ tập trung vào một phần nhỏ trong bức tranh
tổng quát về dáng khách hàng là nghề nghiệp của thuê bao di động, cụ thể là đánh
giá xem thuê bao đó có phải là sinh viên hay khơng. Tơi chuyển về bài tốn phân loại
11
nhị phân để đơn giản hóa q trình lựa chọn và đánh giá mơ hình. Dữ liệu được sử
dụng bao gồm tất cả các CDR của thuê bao trong suốt 6 tháng trước thời điểm lấy mẫu.
Các dữ liệu đã được mã hóa số th bao để đảm bảo tính bảo mật về an tồn thơng tin
cho người dùng, phù hợp với các chính sách và yêu cầu bảo vệ dữ liệu cá nhân từ Bộ
TT&TT. Khối lượng của tập dữ liệu này là hơn 50TB, được lưu trữ trên hệ thống tệp
phân tán Hadoop (HDFS). tui sẽ sử dụng tập dữ liệu này để tổng hợp và trích xuất các
đặc trưng cho từng khách hàng, sau đó sử dụng các mơ hình học máy để dự đốn xem
một th bao có là sinh viên hay khơng. Mở rộng ra, do các nhà mạng khác cũng có
cùng bộ dữ liệu tương tự, nên tùy thuộc vào tập mẫu được lựa chọn, nghiên cứu này sẽ
giúp cho các nhà phát triển có cách nhìn tổng qt về phương hướng xử lý các loại dữ
liệu, cách thức tổng hợp và trích chọn đặc trưng phù hợp cũng như đưa ra thuật toán
hiệu quả nhất để đoán về dáng của một thuê bao di động.
Các đặc điểm về dữ liệu nhà mạng
1.2.1 Giới thiệu về dữ liệu của nhà mạng
1.2.
Là một trong 3 công ty viễn thông lớn nhất Việt Nam [2], đối tác của tơi có rất
nhiều loại dữ liệu bao gồm cả dữ liệu sử dụng dịch vụ của người dùng lẫn dữ liệu hoạt
động của hệ thống. Các loại này được phân loại như sau :
- Dữ liệu khách hàng: Nó chứa tất cả các thơng tin liên quan đến dịch vụ và hợp
đồng của khách hàng. Bao gồm thơng tin về các gói cước đã từng đăng kí, các khuyến
mại và ưu đãi đã được nhận. Hơn nữa nó cịn chứa các thơng tin được tạo ra từ hệ
thống CRM (thông tin nhân khẩu học của khách hàng như địa chỉ, ngày sinh, giới tính
cũng như các giấy tờ pháp lý liên quan như hình ảnh, chứng minh thư, căn cước công
dân …)
- Dữ liệu về vị trí: Thơng tin về vị trí xảy ra các sự kiện của người dùng cũng
được lưu lại dưới dạng mã vị trí. Từ mã vị trí này có thể ánh xạ ra kinh độ, vĩ độ cũng
như địa chỉ cụ thể của người dùng tới các mức xã phường.
- Dữ liệu về khiếu nại, chăm sóc khách hàng: Bao gồm các thông tin phản ánh
dịch vụ từ khách hàng, cũng như các khiếu nại liên quan tới cước, gói dịch vụ mà
khách sở hữu, quan tâm.
- Dữ liệu nhật ký mạng: Chứa các thơng tin về tình trạng hoạt động của hệ
thống, các bản ghi lưu lại lịch sử hoạt động của ứng dụng, log chi tiết về hệ thống,
cũng như lịch sử thay đổi của các phiên bản nâng cấp hệ thống.
12
- Dữ liệu chi tiết cuộc gọi: Chứa các thông tin chi tiết về cuộc gọi, sms, mms,
truy cập internet, vasp.. Dữ liệu này được tạo ra dưới dạng văn bản
- Thơng tin thiết bị di động : Nó chứa thông tin về thương hiệu, kiểu máy, loại
điện thoại di động, dùng 1 sim hay 2 sim, hỗ trợ 4g hay khơng..
Các dữ liệu này có kích thước rất lớn và chứa rất nhiều thơng tin về nó. Tuy
nhiên, do các vấn đề bảo mật và an toàn dữ liệu cho người dùng, cũng như các vấn đề
về an toàn thơng tin cho chính doanh nghiệp viễn thơng, tơi chỉ có thể tiếp cận một số
loại dữ liệu như dữ liệu về vị trí, dữ liệu về thiết bị di động và dữ liệu về chi tiết cuộc
gọi. Nhưng đó vẫn chứa một khối lượng rất lớn thông tin về các hành vi và thói quen
sử dụng dịch vụ của khách hàng. tui đã phải dành rất nhiều thời gian để tìm hiểu và
phân tích về cách thức lưu trữ, tần suất xuất dữ liệu cũng như ý nghĩa của từng loại dữ
liệu. Đó cũng là một thách thức lớn vì lượng dữ liệu này được thu thập từ nhiều nguồn
khác nhau và thiếu các tài liệu mô tả liên quan.
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
CHƯƠNG 1 – TỔNG QUAN NGHIÊN CỨU
1.1.
Mô tả chung về nghiên cứu
1.1.1 Giới thiệu
Việc xác định được khách hàng là ai hiện là mối quan tâm hàng đầu của các nhà
cung cấp sản phẩm và dịch vụ bán hàng. Nhờ xác định được dáng khách hàng mà
các doanh nghiệp có thể đạt được hiệu quả tối đa khi thực hiện các chiến dịch quảng bá
sản phẩm, nhắm vào những đối tượng cụ thể và có các cách tiếp cận hợp lý nhất. Các
nhà quảng cáo cũng sẽ có cơ sở để quyết định quảng cáo của mình sẽ có nội dung như
thế nào, đặt ở đâu, thời gian nào.. để có thể tiếp cận được tập khách hàng tối đa nhất.
Có rất nhiều biện pháp để xác định rõ ràng một bức tranh hoàn chỉnh về chân
dung khách hàng, nhưng trong nghiên cứu này tui sẽ tập trung vào việc xác định chân
dung khách hàng từ tập thuê bao viễn thơng. Đóng góp chính trong cơng việc của tơi là
phát triển một mơ hình dự đốn nghề nghiệp của thuê bao di động, giúp các nhà khai
thác viễn thông dự đốn được đối tượng khách hàng của mình, từ đó có thể đưa ra các
gói sản phẩm phù hợp cũng như cung cấp các dịch vụ giá trị gia tăng khác để thu hút
cũng như giữ chân khách hàng, gia tăng lợi nhuận doanh nghiệp.
Mơ hình được phát triển trong nghiên cứu này sử dụng các kĩ thuật học máy cho
mục đích phân lớp nhị phân dựa trên bộ dữ liệu là các đặc trưng được xây dựng từ toàn
bộ các bản ghi chi tiết về cuộc gọi, sử dụng dịch vụ để dự đốn một th bao có là sinh
viên hay không. Để đo lường hiệu suất của mơ hình, thước đo tiêu chuẩn AUC được sử
dụng và giá trị AUC đạt được là 94,6% dựa trên thuật tốn XGBoost. Mơ hình được
chuẩn bị và thử nghiệm thơng qua ứng dụng Spark và H20 và làm việc trên bộ dữ liệu
lớn được cung cấp và mã hóa từ một trong các công ty viễn thông hàng đầu tại Việt
Nam. Bộ dữ liệu chứa tất cả các thông tin CDR của khách hàng đã được mã hóa số
thuê bao để đảm bảo tính bảo mật và ATTT của khách hàng được sử dụng để huấn
luyện, thử nghiệm và đánh giá mơ hình. Nghiên cứu cũng thử nghiệm 4 thuật tốn:
Rừng ngẫu nhiên, mơ hình tuyến tính tổng qt (GLM), máy tăng cường Gradien
“GBM” và tăng cường độ dốc cao “XGBoost”. Tuy nhiên kết quả tốt nhất đã thu được
bằng cách sử dụng thuật toán XGBoost, và thuật toán này sẽ được sử dụng để phân loại
nghề nghiệp trong bài nghiên cứu này.
1.1.2
Đặt vấn đề và giải quyết bài toán
10
Viễn thông là một nhân tố quan trọng trong công cuộc phát triển công nghệ số
và hội nhập kinh tế. Trong đó Dịch vụ viễn thơng đã phát triển mạnh trong thập kỷ qua
và thị trường Viễn thông truyền thống những năm gần đây đã trở nên bão hòa. Năm
2019 đạt 125,8 triệu thuê bao di động mặt đất, lớn hơn cả dân số hiện tại là hơn 96
triệu người, trong đó 3 cơng ty lớn VNPT, Viettel, Mobifone chiếm hơn 97% thị phần
[2]. Để phát triển và tồn tại, các cơng ty viễn thơng khơng chỉ tìm cách phát triển thuê
bao mới, giữ chân thuê bao cũ mà còn cần phát triển mạnh mẽ các dịch vụ giá trị gia
tăng, đánh trúng vào từng đối tượng cụ thể nhằm tăng trải nghiệm khách hàng và chất
lượng dịch vụ. Do đó, nhu cầu định danh khách hàng là một mối quan tâm lớn của các
công ty viễn thông. Việc xác định rõ dáng khách hàng sẽ giúp các công ty viễn
thông hiểu rõ nhu cầu, mong muốn của từng đối tượng cụ thể. Từ đó, họ có thể phục vụ
để nâng cao trải nghiệm của khách hàng, cải thiện hiệu quả của các chiến lược tiếp thị
của họ và phát triển các nguồn doanh thu mới. Với các thông tin về sở thích, hành vi và
xu hướng của khách hàng, các cơng ty có thể tăng lợi nhuận và doanh thu trên tồn bộ
chuỗi giá trị viễn thơng - từ phát triển sản phẩm và vận hành mạng lưới, đến bán hàng,
tiếp thị và dịch vụ khách hàng. Ngoài ra, việc định danh khách hàng cịn giúp các cơng
ty viễn thông phát triển mạnh mẽ mảng quảng cáo, khi họ đã có sẵn hạ tầng và mạng
lưới quảng bá, và mức độ tiếp cận gần như đạt tới mức tối đa vì hầu như ai cũng có ít
nhất 1 thiết bị di động.
Vậy các công ty viễn thông, họ có trong tay một khối lượng dữ liệu vơ cùng lớn
thu thập được từ các hành vi sử dụng dịch vụ từ khách hàng của họ, họ lại càng khao
khát khai phá thông tin một cách mãnh liệt hơn bao giờ hết. Vì thế, các nhà mạng
khơng chỉ phát triển riêng các ứng dụng nội bộ, mà đồng thời còn th các đối tác bên
ngồi tới để có thể khai thác một cách tối đa và hiệu quả nhất. Trong dự án này tôi
cũng được cung cấp các dữ liệu liên quan tới các hành vi sử dụng dịch vụ viễn thơng
của các th bao di động, từ đó tơi có thể xây dựng các mơ hình dự đốn chân dung
khách hàng một cách tồn diện và chính xác.
Trong bài nghiên cứu này, tui sẽ tập trung vào một phần nhỏ trong bức tranh
tổng quát về dáng khách hàng là nghề nghiệp của thuê bao di động, cụ thể là đánh
giá xem thuê bao đó có phải là sinh viên hay khơng. Tơi chuyển về bài tốn phân loại
11
nhị phân để đơn giản hóa q trình lựa chọn và đánh giá mơ hình. Dữ liệu được sử
dụng bao gồm tất cả các CDR của thuê bao trong suốt 6 tháng trước thời điểm lấy mẫu.
Các dữ liệu đã được mã hóa số th bao để đảm bảo tính bảo mật về an tồn thơng tin
cho người dùng, phù hợp với các chính sách và yêu cầu bảo vệ dữ liệu cá nhân từ Bộ
TT&TT. Khối lượng của tập dữ liệu này là hơn 50TB, được lưu trữ trên hệ thống tệp
phân tán Hadoop (HDFS). tui sẽ sử dụng tập dữ liệu này để tổng hợp và trích xuất các
đặc trưng cho từng khách hàng, sau đó sử dụng các mơ hình học máy để dự đốn xem
một th bao có là sinh viên hay khơng. Mở rộng ra, do các nhà mạng khác cũng có
cùng bộ dữ liệu tương tự, nên tùy thuộc vào tập mẫu được lựa chọn, nghiên cứu này sẽ
giúp cho các nhà phát triển có cách nhìn tổng qt về phương hướng xử lý các loại dữ
liệu, cách thức tổng hợp và trích chọn đặc trưng phù hợp cũng như đưa ra thuật toán
hiệu quả nhất để đoán về dáng của một thuê bao di động.
Các đặc điểm về dữ liệu nhà mạng
1.2.1 Giới thiệu về dữ liệu của nhà mạng
1.2.
Là một trong 3 công ty viễn thông lớn nhất Việt Nam [2], đối tác của tơi có rất
nhiều loại dữ liệu bao gồm cả dữ liệu sử dụng dịch vụ của người dùng lẫn dữ liệu hoạt
động của hệ thống. Các loại này được phân loại như sau :
- Dữ liệu khách hàng: Nó chứa tất cả các thơng tin liên quan đến dịch vụ và hợp
đồng của khách hàng. Bao gồm thơng tin về các gói cước đã từng đăng kí, các khuyến
mại và ưu đãi đã được nhận. Hơn nữa nó cịn chứa các thơng tin được tạo ra từ hệ
thống CRM (thông tin nhân khẩu học của khách hàng như địa chỉ, ngày sinh, giới tính
cũng như các giấy tờ pháp lý liên quan như hình ảnh, chứng minh thư, căn cước công
dân …)
- Dữ liệu về vị trí: Thơng tin về vị trí xảy ra các sự kiện của người dùng cũng
được lưu lại dưới dạng mã vị trí. Từ mã vị trí này có thể ánh xạ ra kinh độ, vĩ độ cũng
như địa chỉ cụ thể của người dùng tới các mức xã phường.
- Dữ liệu về khiếu nại, chăm sóc khách hàng: Bao gồm các thông tin phản ánh
dịch vụ từ khách hàng, cũng như các khiếu nại liên quan tới cước, gói dịch vụ mà
khách sở hữu, quan tâm.
- Dữ liệu nhật ký mạng: Chứa các thơng tin về tình trạng hoạt động của hệ
thống, các bản ghi lưu lại lịch sử hoạt động của ứng dụng, log chi tiết về hệ thống,
cũng như lịch sử thay đổi của các phiên bản nâng cấp hệ thống.
12
- Dữ liệu chi tiết cuộc gọi: Chứa các thông tin chi tiết về cuộc gọi, sms, mms,
truy cập internet, vasp.. Dữ liệu này được tạo ra dưới dạng văn bản
- Thơng tin thiết bị di động : Nó chứa thông tin về thương hiệu, kiểu máy, loại
điện thoại di động, dùng 1 sim hay 2 sim, hỗ trợ 4g hay khơng..
Các dữ liệu này có kích thước rất lớn và chứa rất nhiều thơng tin về nó. Tuy
nhiên, do các vấn đề bảo mật và an toàn dữ liệu cho người dùng, cũng như các vấn đề
về an toàn thơng tin cho chính doanh nghiệp viễn thơng, tơi chỉ có thể tiếp cận một số
loại dữ liệu như dữ liệu về vị trí, dữ liệu về thiết bị di động và dữ liệu về chi tiết cuộc
gọi. Nhưng đó vẫn chứa một khối lượng rất lớn thông tin về các hành vi và thói quen
sử dụng dịch vụ của khách hàng. tui đã phải dành rất nhiều thời gian để tìm hiểu và
phân tích về cách thức lưu trữ, tần suất xuất dữ liệu cũng như ý nghĩa của từng loại dữ
liệu. Đó cũng là một thách thức lớn vì lượng dữ liệu này được thu thập từ nhiều nguồn
khác nhau và thiếu các tài liệu mô tả liên quan.
Do Drive thay đổi chính sách, nên một số link cũ yêu cầu duyệt download. các bạn chỉ cần làm theo hướng dẫn.
Password giải nén nếu cần: ket-noi.com | Bấm trực tiếp vào Link để tải:
You must be registered for see links