Tóm tắt Điều hành

Là phần tiếp theo của bài viết trước của tôi về cách xác định các động lực thúc đẩy tăng trưởng trong doanh nghiệp, bây giờ tôi muốn đi sâu hơn vào lỗ hổng và xem xét cách bạn có thể đo lường tác động của các sáng kiến ​​tăng trưởng. Tôi sẽ cung cấp một số công cụ để đánh giá tác động của các hành động như cập nhật sản phẩm, chiến dịch PR và tiếp thị đối với sự phát triển của khách hàng, chỉ số giữ chân và mức độ tương tác. Điều này thể hiện những phản ánh từ công việc trước đây của tôi với tư cách là một nhà thống kê, giúp các công ty đánh giá tác động đến việc định giá các sự kiện bên trong và bên ngoài của họ thông qua phản ứng của chứng khoán giao dịch của họ.

Tôi tin rằng các công cụ tác động thống kê, phổ biến hơn trong quỹ đầu cơ và thế giới Phố Wall, có thể được các công ty công nghệ sử dụng nhiều hơn để quản lý tăng trưởng so với cách chúng hiện đang được áp dụng. Do công nghệ tạo ra một loạt thông tin tần suất cao cho chúng tôi về hành vi của người dùng hoặc khách hàng, một nhà phân tích dữ liệu hoặc thống kê có tay nghề cao có thể là một tài sản thực sự trong các nhóm thương mại.

Có nhiều cách để đo lường tác động của tăng trưởng

Để làm ví dụ về đo lường tác động thống kê đến việc định giá, giả sử rằng một công ty giao dịch công khai thông báo một sản phẩm mới và muốn biết mức độ ảnh hưởng của nó đến việc định giá. Việc ước tính tác động thực sự đòi hỏi phải tính đến:

1. Bản thân thị trường hoạt động như thế nào vào ngày hôm đó, trong bối cảnh tương quan của chứng khoán với nó.
2. Ảnh hưởng của bất kỳ thông tin nào khác có liên quan đến công ty được phát hành cùng lúc.
3. Thực tế đơn giản là giá chứng khoán và hành vi của người dùng thay đổi hàng ngày so với phương sai chung, ngay cả khi không có thông tin mới.
4. Tác động lâu dài hơn, về xu hướng tăng giá có ý nghĩa thống kê.

Đối với một công ty tư nhân, phân tích tương tự có thể được thực hiện về sự thay đổi của người dùng hoặc khách hàng đang hoạt động, cả trong ngắn hạn và dài hạn, đóng vai trò là hệ quả của hoạt động giá cổ phiếu. Điều này cũng áp dụng cho các chỉ số duy trì và độ sâu của các chỉ số tương tác.

Việc thiết lập dạng phân tích làm tròn này cho phép các công ty định hướng các nguồn lực hạn chế của họ dựa trên các tín hiệu thông tin mạnh hơn nhiều, thay vì bị dẫn dắt bởi những gì có thể là phản ứng của thị trường hoặc người dùng mà trên thực tế không đại diện cho sự biến động ngẫu nhiên. Công việc ban đầu để thiết lập mô hình thống kê tách tín hiệu khỏi nhiễu có thể mang lại lợi nhuận to lớn thông qua những hiểu biết sâu sắc mà nó mang lại cho nỗ lực tăng trưởng của công ty. Nó cũng là một quá trình lặp đi lặp lại có thể dễ dàng (và thường tự động) được cập nhật và tinh chỉnh khi nhận được dữ liệu mới.

Chọn Chỉ số Mục tiêu để Kiểm tra

Bất kỳ nỗ lực đo lường nào của một công ty đều nên nhắm mục tiêu ít nhất một trong các khía cạnh tăng trưởng sau:

1. Tăng trưởng hàng đầu , được định nghĩa là sự thay đổi về tổng doanh số bán hàng hoặc người dùng / khách hàng đang hoạt động theo thời gian.
2. Giữ chân của người dùng và khách hàng, được định nghĩa là thời gian tồn tại trung bình của bất kỳ người dùng hoặc khách hàng cụ thể nào.
3. Mức độ tương tác của người dùng và khách hàng, được định nghĩa là tần suất của hành động cốt lõi được thực hiện hoặc khối lượng giao dịch qua nền tảng.

Cả ba kích thước đều có thể định lượng được và công ty có thể khái niệm hóa giá trị của nó dưới dạng diện tích của tam giác được tạo thành bởi ba điểm này. Nếu một cái sụp đổ, thì tiềm năng giá trị từ hai cái kia bị hạn chế nghiêm trọng. Mặc dù tôi chắc chắn đồng ý với nhiều nhà sáng lập và nhà đầu tư rằng “một vài người dùng yêu thích bạn sẽ tốt hơn nhiều người thích bạn”, tôi không tin rằng điều này mâu thuẫn với tầm quan trọng của tăng trưởng doanh thu ngoài việc tương tác và giữ chân mạnh mẽ. Quỹ đạo quan trọng hơn nhiều so với cấp độ và việc bắt đầu với một nhóm nhỏ hơn những người dùng thực sự tận tâm sẽ đặt ra những điều kiện ban đầu tốt nhất cho sự phát triển lâu dài ngay từ đầu.

Nhiệm vụ quan trọng của công ty sau đó là thiết lập khuôn khổ phân tích cho phép đo lường tác động thực sự của các hành động của họ đối với một hoặc nhiều trong số ba chỉ số chính đó. Công ty có thể thử nghiệm các mô hình khác nhau cho từng mô hình hoặc sử dụng các công cụ như phương trình đồng thời để liên kết chúng trực tiếp hơn. Theo kinh nghiệm của tôi, các nỗ lực tiếp thị và PR có xu hướng đặc biệt thiếu phân tích chặt chẽ về việc liệu công ty có nhận được lợi tức đầu tư hay không. Một số chỉ số nhất định, chẳng hạn như tổng số lượt xem, số nhấp chuột và lượt chia sẻ, hầu như luôn được ghi lại, nhưng đây là tất cả các biện pháp để kết thúc và câu hỏi tiếp theo về tác động lên chuyển đổi và tương tác của khách hàng hiếm khi được đưa ra phân tích nghiêm túc.

Chọn Điểm chuẩn và Ví dụ về Sự kiện một lần

Chúng tôi bắt đầu với phiên bản đơn giản của sự kiện một lần. Giả sử một công ty phát hành bản cập nhật sản phẩm mới hoặc xuất bản một câu chuyện PR lớn vào Ngày 0 và muốn biết liệu nó có thể hiện một bước đi đúng hướng về ảnh hưởng đối với tăng trưởng hay không. Việc xác định xem liệu có nhận được tín hiệu thực sự rằng công ty nên tiếp tục với những nỗ lực tương tự hay không, đòi hỏi phải biết mức tăng của nó so với mức sẽ có, nếu không có sự kiện được đề cập.

Mức tăng trưởng điểm chuẩn có thể được ước tính thông qua mô hình hồi quy dự đoán mức tăng trưởng, tỷ lệ giữ chân hoặc mức độ tương tác của công ty dựa trên các biến bên ngoài và bên trong. Trong một số trường hợp nhất định, khả năng cô lập những người dùng bị ảnh hưởng bởi bản cập nhật sản phẩm cho phép thử nghiệm A / B trực tiếp với một nhóm kiểm soát. Tuy nhiên, đây không phải là trường hợp đối với các nỗ lực kinh doanh, PR và sản phẩm quy mô lớn hơn có ảnh hưởng đồng nhất đến tất cả người dùng hiện tại và tiềm năng. Mặc dù có một số tài nguyên tuyệt vời dành cho thử nghiệm như vậy, nhưng nhiều công ty ở giai đoạn đầu có thể thấy chúng đắt đỏ.

Các biến có thể được xem xét cho mô hình này bao gồm:

Tất cả các biến phải được chỉ định dưới dạng tỷ lệ thay đổi thay vì mức tuyệt đối, sử dụng logarit thay vì tỷ lệ phần trăm.

Tương tự như vậy, khung thời gian cho mỗi biến số cũng cần được xem xét cẩn thận. Một số biến đang dẫn đầu (ví dụ:thị trường chứng khoán dựa nhiều vào kỳ vọng), trong khi những biến khác như xếp hạng mức độ hài lòng của người dùng dựa trên kinh nghiệm trong quá khứ nhưng chắc chắn có thể có liên quan đến mức tăng trưởng dự kiến.

Đối với bản thân hồi quy, tôi khuyên bạn nên bắt đầu với Bình phương Ít nhất Thông thường (OLS) và sau đó chỉ chuyển sang các dạng hàm khác vì những lý do cụ thể. OLS rất linh hoạt và tương tự như vậy cho phép giải thích kết quả trực tiếp hơn so với các dạng phức tạp hơn khác. Các sửa đổi trong ngữ cảnh của OLS sẽ bao gồm hồi quy logarit cho các biến phi tuyến, các biến tương tác (ví dụ:có thể là sự hài lòng của khách hàng hiện tại và hoạt động truyền thông xã hội) và các biến bình phương mà bạn tin rằng có tác động không cân xứng ở các giá trị lớn hơn. Vì tăng trưởng hy vọng là theo cấp số nhân, nên hồi quy logarit chắc chắn có thể chứng minh sự phù hợp mạnh mẽ.

Về khoảng thời gian tác động của hành động, hãy nhớ xem xét tần suất hành động hoặc mua hàng của người dùng để giúp bạn xác định khoảng thời gian thích hợp để tìm kiếm tác động. Khi sử dụng khung thời gian dài hơn một ngày, hãy nhớ rằng người dùng hoạt động hàng tuần không phải là tổng số người dùng hoạt động hàng ngày trong tuần đó. Nếu tôi tích cực sử dụng sản phẩm của bạn mỗi ngày trong tuần đó, thì tôi sẽ được tính từng ngày để phân tích hàng ngày. Sau đó, nếu bạn chuyển sang phân tích hàng tuần, tôi chỉ nên xuất hiện một lần và do đó việc tổng hợp các ngày riêng lẻ sẽ bị tính quá nhiều.

Sau đó, mô hình này cho phép bạn ước tính mức tăng trưởng / giữ chân / tương tác dự kiến ​​trong bất kỳ thời điểm cụ thể nào hoặc khoảng thời gian liên tục dựa trên hiệu suất của các biến giải thích này. Sự khác biệt giữa mức tăng trưởng dự kiến ​​này và mức tăng trưởng thực tế quan sát được sau sự kiện là phần bất thường có thể chỉ ra tác động. Sau đó, chia sự tăng trưởng bất thường này cho độ lệch chuẩn của mức tăng trưởng dự kiến ​​cho biết khả năng thành phần bất thường có thể xảy ra một cách tình cờ. Thông thường, kết quả 1,96 (cách giá trị dự đoán khoảng hai độ lệch chuẩn) được sử dụng làm ngưỡng giới hạn để cho rằng nó không tình cờ xảy ra.

Trong ngữ cảnh của các nhóm thuần tập, tỷ lệ giữ chân và mức độ tương tác có thể được xem xét theo sự thay đổi giữa các nhóm nhóm liên tiếp (nói cách khác, giữ các giá trị cố định cho mỗi nhóm nhóm) hoặc sự thay đổi theo thời gian của tổng số tỷ lệ giữ chân và mức độ tương tác, mà không chia nhỏ theo thuần tập.

Tác động tăng trưởng tích lũy từ một chuỗi sự kiện

Các chiến lược tăng trưởng thường chú trọng đến việc triển khai một loạt các sự kiện thay vì nỗ lực một lần, vì cả tác động tức thì của việc thực hiện nhiều nỗ lực và tác động cơ bản của việc cho khách hàng thấy chính mô hình đó. Do đó, phân tích tác động cũng có thể xem xét tác động tích lũy. Một loạt các sự kiện không đáng kể riêng lẻ có thể dẫn đến tác động tích lũy đáng kể và ngược lại, một loạt các sự kiện quan trọng có thể trở thành không đáng kể.

Tình huống đầu tiên có thể được coi là "chậm và ổn định sẽ thắng cuộc đua." Giả sử doanh số bán hàng của bạn tăng nhanh hơn một phần trăm mỗi tuần so với lĩnh vực có liên quan của bạn. Trong một khoảng thời gian ngắn, điều này sẽ chẳng có nghĩa lý gì, vì mức tăng trưởng của bất kỳ công ty nhất định nào sẽ tình cờ khác một chút so với điểm chuẩn. Tuy nhiên, nếu tình trạng hoạt động quá mức nhẹ của bạn tiếp tục diễn ra trong thời gian đủ lâu, thì cuối cùng bạn có thể tự tin tuyên bố rằng tốc độ tăng trưởng của công ty thực sự vượt xa mức thị trường.

Tình huống thứ hai về cơ bản là bất kỳ loại đảo ngược nào. Tần số ngày càng cao có nghĩa là con người có thể phản ứng với các diễn biến trước khi thực sự xử lý thông tin, cũng như tâm lý bầy đàn trong thời gian ngắn, mang đến thách thức đảm bảo rằng bạn xem xét mức độ và thời gian thực sự của phản ứng thông qua tiếng ồn tức thời hơn. Trong một số trường hợp nhất định, người dùng và thị trường có thể có xu hướng phản ứng quá mức có hệ thống trong thời gian ngắn (công nghệ mới, thị trường tiền tệ và thường là tin xấu không phải là mối đe dọa nghiêm trọng đối với công ty) nhưng sau đó sẽ tự sửa chữa.

Hai tình huống có thể được minh họa như sau. Khoảng tin cậy cho biết giới hạn mà chúng ta có thể mong đợi giảm 95% số quan sát, thường được sử dụng làm ngưỡng để coi là điều gì đó có ý nghĩa thống kê.

Việc không có sự đảo ngược đáng kể có thể được coi là bằng chứng về tác động lâu dài. Người ta phải thận trọng với logic này vì nó trái với quy tắc thông thường của chủ nghĩa hoài nghi thực nghiệm rằng không có bằng chứng không phải là bằng chứng vắng mặt, nhưng đó là cách tốt nhất chúng ta có thể làm.

Hãy cẩn thận khi so sánh các thay đổi phần trăm / logarit trong các khoảng thời gian riêng lẻ. Việc giảm 99% sau đó là tăng 99% không hoàn toàn tạo ra một thay đổi tích lũy không đáng kể. Cuối cùng, hãy chắc chắn xem xét sự thay đổi tích lũy.

Nếu bạn đang đo lường tác động tích lũy của một loạt các sự kiện, chẳng hạn như một chiến dịch PR cụ thể trong một khoảng thời gian giới hạn (tức là mùa lễ), thì bạn có thể muốn theo dõi sự tăng trưởng qua tất cả các ngày hoặc tuần theo lịch được bao gồm trong khung thời gian , cho dù mỗi người có một hành động cụ thể được thực hiện hay không. Về cơ bản, bạn vẫn hy vọng rằng cú đấm 1-2-3 mang lại một cú hạ gục trong một khoảng thời gian cụ thể ngay cả khi có thể có một chút độ trễ giữa các lần đánh.

Nếu các sự kiện được đề cập cách xa nhau hơn nhưng bạn vẫn muốn đánh giá tác động tích lũy, bạn có thể cân nhắc kết hợp chúng lại với nhau thành một chuỗi ngày liên tục và sau đó chạy cùng một phân tích. Trong điều này, về cơ bản bạn đang nói “Ngày 1 là ngày 5 tháng 1, Ngày 2 là ngày 15 tháng 3, Ngày 3 là ngày 10 tháng 4…”) và kiểm tra sự thay đổi tích lũy của chúng so với dự đoán của điểm chuẩn như thể chúng thực tế là các ngày hoàn toàn tuần tự. Khi đó, việc kiểm tra mức ý nghĩa cũng giống như công thức đối với các sự kiện đơn lẻ, ngoại trừ việc nâng độ lệch chuẩn lên căn bậc hai của số ngày / tuần tạo thành khoảng thời gian tích lũy.

Xử lý Thông tin Bị ô nhiễm khi Đo lường Sự phát triển của Công ty

Thế giới hiếm khi dành cho chúng ta điều kiện phòng thí nghiệm hoàn hảo để thử nghiệm ý tưởng của chúng ta, vì vậy một khi mô hình cốt lõi được thiết lập, rất có thể nó sẽ cần phải kiểm soát các thông tin khác ảnh hưởng đến tốc độ tăng trưởng dự kiến ​​cùng lúc với các hành động của chúng ta ' đang tìm cách đo lường.

Giả sử rằng cùng lúc với một sự kiện PR hoặc bản cập nhật sản phẩm, một giám đốc điều hành hàng đầu không may quyết định rời đi để đến với đối thủ cạnh tranh giữa nhiều sự phô trương từ báo chí và bạn lo ngại rằng một số người dùng có thể coi đây là tín hiệu về giá trị tương đối của hai sản phẩm. Rất tiếc, một giải pháp rất nhanh là chỉ cần đánh dấu điểm dữ liệu là một sự kiện không liên quan gây nhầm lẫn, với một biến chỉ báo.

Tuy nhiên, nếu bạn có thể nhận được dữ liệu về các trường hợp trước đó của sự kiện "gây nhiễu", thì bạn có thể tiến hành phân tích cắt ngang cho phép bạn dự đoán mức độ ảnh hưởng mà sự kiện cụ thể có xu hướng gây ra trong các trường hợp tương tự và bạn có thể loại bỏ tác động dự kiến ​​từ kết quả cuối cùng. Trong ví dụ trên, dữ liệu về hoạt động của người dùng xung quanh sự ra đi của thành viên nhóm nổi tiếng ở các công ty khác sẽ cho phép bạn ước tính và tách biệt ảnh hưởng của yếu tố cụ thể đó để tách biệt ảnh hưởng của sự kiện PR hoặc bản cập nhật sản phẩm mà bạn hy vọng. đánh giá.

Nhiều công ty cũng có thể phải đối mặt với tính thời vụ dựa trên thời gian trong năm hoặc những thời điểm quan trọng nhất định như ngày lễ. Chỉ định các biến chỉ số cho thời điểm trong năm được đề cập để kiểm soát việc này.

Tính chất phi tuyến tính của các tác động nhất định

Khi bạn xem xét kết quả phân tích và chiến lược của mình cho nỗ lực tăng trưởng, một số tác động phi tuyến nhất định về cách mọi người đã được ghi nhận để phản ứng với những phát triển tích cực đáng được ghi nhớ.

Độ nhạy lên và xuống có thể rất khác nhau. Dữ liệu và thời gian cho phép, hãy xem xét ước tính tác động dự kiến ​​của cả sự kiện tích cực và tiêu cực, nếu cả hai sự kiện đều liên quan đến bạn. Thật không may, chuyển động đi xuống trong nhiều trường hợp từ hành vi của người dùng đến thị trường tài chính có thể đột ngột và nghiêm trọng hơn nhiều so với chuyển động đi lên.

Hiệu quả tổng hợp của việc thực hiện nhiều hành động cùng một lúc có thể không bằng hiệu quả của việc thực hiện chúng theo trình tự vì bản thân thực tế của mô hình đang diễn ra có thể có tác động tích cực hoặc tiêu cực. Mô hình công ty phát hành bản cập nhật sản phẩm hàng tháng có thể tạo niềm tin cho người dùng trong khi thông báo các sự kiện tiêu cực như sa thải hoặc giảm biên chế nhiều lần có thể gây ra tác động không cân xứng đáng kể bằng cách gây ra lo lắng rằng công ty không hiểu hết về chính mình. tình hình. Các công ty giao dịch đại chúng thường sẽ "tắm" và tung ra tất cả các tin xấu cùng một lúc, vì có thể có xu hướng "cố định" ban đầu từ chính thực tế của tin xấu, với một tác động nhỏ sau đó. Ví dụ:“Hiệu ứng Ngư lôi” mô tả hiện tượng thực nghiệm rằng sự hiện diện của tin tức xấu có thể gây ra một phần ý nghĩa cho việc giảm giá. Do đó, sự sụt giảm tiêu cực có thể được chia nhỏ thành hiệu ứng cố định ban đầu nhường chỗ cho hiệu ứng cận biên giảm dần so với nội dung thực tế của tin tức hoặc sự phát triển. Các chiến dịch PR hoạt động tốt hơn theo một chuỗi hơn là một sự kiện lớn đơn lẻ, vì mục tiêu là định vị công ty theo thời gian.

Tất nhiên, phương sai chỉ có thể được đo lường trong lịch sử, nhưng một số sự kiện nhất định có thể thay đổi phương sai thực cơ bản và xác suất mà sự tăng trưởng bất thường xảy ra một cách tình cờ. Vì bản thân phương sai mới là kết quả của sự kiện được đề cập, nên phương sai trước đó nên được sử dụng để tránh suy luận vòng tròn về việc loại bỏ tầm quan trọng của sự kiện dựa trên phương sai lớn hơn đi kèm với nó. Tuy nhiên, vẫn luôn có tranh luận và mỗi tình huống có thể khác nhau.

Như đã đề cập trước đây, tăng trưởng hoặc giảm tốc độ tăng trưởng đều có thể mang lại những tác động tương tự trong một thời gian, do cả tâm lý con người và cấu trúc thị trường rất thực tế. Mặc dù có nhiều bài kiểm tra tự tương quan ưa thích khác nhau để đo lường hiệu ứng động lượng, nhưng tôi thấy cách tiếp cận "thủ công" hơn là hồi quy chuỗi tăng trưởng trên phiên bản trễ của chính nó để minh bạch hơn và dễ thử nghiệm hơn.

Suy nghĩ kết luận về cách tiếp cận công nghệ máy học trong kinh doanh

Khi mô hình cho phép thử nghiệm đó đã được phát triển, không có lý do gì khiến các nền tảng theo dõi hành vi người dùng, doanh số bán hàng, v.v. của công ty không thể được liên kết trực tiếp với mã của công ty để liên tục cập nhật các hệ số khi nhận được dữ liệu mới. Sở thích cá nhân của tôi là luôn có khoảng thời gian ước tính kéo dài một năm khi có thể, trong đó nó cân bằng kích thước của tập dữ liệu với giá trị cao hơn của thông tin gần đây hơn và cũng đương nhiên bao gồm tất cả các thời điểm trong năm trong trường hợp theo mùa.

Giả sử không có sự phá vỡ cấu trúc trong bản chất của doanh nghiệp và sản phẩm, không có lý do gì để không kéo dài thời gian ước tính quá một năm, nhưng các công ty trẻ đang phát triển nhanh có xu hướng phát triển nhanh chóng. Các công ty sử dụng phần mềm có thể liên kết trực tiếp với GitHub của họ để tạo ra quy trình mà các bản cập nhật phần mềm được tự động kiểm tra tác động. Bằng cách tạo liên kết trực tiếp này và cho phép các chức năng phát triển tự động, bạn đã thực hiện bước đầu tiên để triển khai học máy cho công ty của mình.

Người ta thường chỉ ra cách thông tin là hàng hóa có giá trị nhất thế giới, nhưng người ta ít đề cập đến việc dữ liệu không phải là thông tin. Ngược lại, các công ty bị choáng ngợp với quá nhiều dữ liệu có thể kể về những câu chuyện cạnh tranh, nhiều trong số đó có thể chỉ là những mẫu giả dựa trên sự ngẫu nhiên. Thống kê tốt nhất là một quá trình giảm thiểu — nhanh chóng mài giũa các biến và mối quan hệ chính và triển khai chúng để thử nghiệm thực tế. Trên hết, tinh thần của hình thức phân tích này là đưa sự hoài nghi lành mạnh vào quá trình ra quyết định bằng cách buộc dữ liệu phải tự chứng minh là thông tin thực trước khi bạn đưa ra quyết định.