Tập 18 của podcast NewRetirement là cuộc phỏng vấn với Annie Duke - một tác giả bán chạy nhất, diễn giả trước công chúng và cựu thế giới nhà vô địch poker chuyên nghiệp. Chúng tôi thảo luận về cuốn sách mới của cô ấy là Thinking in Bets, tập trung vào việc ra quyết định, niềm tin và học hỏi khi bạn có thông tin không hoàn hảo qua lăng kính của những gì cô ấy đã học được tại bàn poker và trong nghiên cứu tài chính hành vi của riêng cô ấy.

Nghe ngay:

Đừng bỏ lỡ các tập trong tương lai:

• đăng ký trên iTunes
• đăng ký trên Stitcher

Và, hãy tham gia Nhóm Facebook riêng tư của chúng tôi để thảo luận về podcast này, đề xuất các chủ đề và học hỏi với cộng đồng đang phát triển của chúng tôi.

Bản ghi đầy đủ Cuộc phỏng vấn của Steve Chen với Annie Duke

Steve: Chào mừng đến với podcast NewRetirement. Hôm nay chúng ta sẽ nói chuyện với Annie Duke, người chiến thắng trong vòng tay World Series of Poker, một cựu chuyên gia poker với số tiền thắng 4 triệu đô la trong sự nghiệp, tác giả và bài phát biểu trước công chúng về tài chính hành vi, thành kiến, ra quyết định, học hỏi và làm tốt hơn về lâu dài thông qua lăng kính poker và Thinking in Bets, tên cuốn sách mới của cô ấy. Annie sống bên ngoài Philadelphia và tôi rất vui khi có cô ấy tham gia chương trình của chúng tôi. Vì vậy, với điều đó, Annie, chào mừng bạn đến với chương trình của chúng tôi. Thật vui khi bạn tham gia cùng chúng tôi.

Annie: Tôi rất vui khi có mặt ở đây, cảm ơn bạn.

Steve: Vâng, tôi đánh giá cao bạn đã dành thời gian. Vì vậy, trước khi chúng tôi đến với cuốn sách của bạn và tìm hiểu tất cả về những thứ liên quan đến tài chính hành vi, bạn sẽ chia sẻ một chút về cuộc sống của mình chứ? Bạn đã lớn lên như thế nào và một số cột mốc quan trọng cho đến thời điểm này?

Annie: Tôi sẽ chỉ bắt đầu với cuộc sống trưởng thành của mình, phải không? Vì vậy, tôi học đại học tại Đại học Columbia, tôi đã học với trợ lý nghiên cứu trong suốt một năm với một giáo sư ở đó tên là Barbara Landau, và cô ấy đang nghiên cứu tâm lý học nhận thức và đặc biệt quan tâm đến việc tiếp thu ngôn ngữ đầu tiên. Điều mà ở bậc đại học, vào cuối đại học, đúng hơn là vào cuối bậc đại học, cô ấy đã khuyến khích tôi tiếp tục đến Đại học Pennsylvania để học với những người cố vấn của cô ấy, Lila Gleitman và Henry Gleitman tại UPenn, điều mà tôi đã làm. Và tôi đã dành năm năm ở đó tại Học bổng của Quỹ Khoa học Quốc gia, và tôi đang nghiên cứu khoa học nhận thức, và tôi đặc biệt tập trung vào việc tiếp thu ngôn ngữ đầu tiên.

Mà thực sự chỉ là một câu hỏi về việc làm thế nào để bạn học trong một… hệ thống khi có rất nhiều nhiễu, rất nhiều ngẫu nhiên? Vì vậy, cuối cùng tôi đã ra đi để trở thành một giáo sư, đó thực sự là những gì tôi nghĩ là lộ trình mà tôi sẽ thực hiện, và tôi thực sự đã bị bệnh. Tôi đã phải vật lộn với một vấn đề về dạ dày trong năm cuối đại học của mình, và nó trở nên rất tồi tệ khi tôi đang hướng tới… Các cuộc nói chuyện về công việc của tôi. Vì vậy, tôi thực sự đã phải nhập viện trong hai tuần và phải hủy bỏ các cuộc đàm phán công việc của mình và cần một thời gian để hồi phục.

Và vì vậy, tôi đã có ý định nghỉ việc một năm và quay trở lại thị trường việc làm. Trong năm đó thực sự là khi tôi bắt đầu chơi poker đơn giản chỉ vì tôi cần tiền. Tôi không có bằng hữu của mình và tôi chỉ cần một cách để kiếm tiền. Vì vậy, rõ ràng thời gian chờ đợi đã biến thành khoảng 18 năm. Tôi chưa bao giờ hoàn thành việc trở lại làm giáo sư, nhưng khoảng tám năm trở lại đây để trở nên thực sự, thực sự quan tâm đến poker. Vào năm 2002, tôi được yêu cầu nói chuyện với một nhóm các nhà giao dịch quyền chọn, và tôi đã được yêu cầu nói về rủi ro, và tôi thực sự bắt đầu hợp nhất một cách rõ ràng với nhau chương trình đào tạo học thuật của mình xung quanh việc học tập và ứng dụng cổ phần cao trong đời thực này là gì những kiểu hiệu trưởng này là bạn đã thực thi ở bàn poker, và cách chơi poker và những gì bạn thấy trên bàn poker có thể hình thành nên những thứ mà tôi đã học được ở trường cao học.

Các loại nội dung về cách chúng ta học hỏi, thành kiến ​​và kinh nghiệm học cũng như cách chúng ta đối phó với phản hồi, đặc biệt là khi nó ồn ào. Vì vậy, tôi bắt đầu nói về điều đó và phát triển… Rất nhiều cuộc đời tôi đã dành cho điều đó. Trên thực tế, nhiều thời gian hơn đã được dành cho việc đó. Một phần của cuộc đời tôi là poker trong suốt thập kỷ qua khi tôi chơi poke. Và sau đó vào năm 2012, tôi nghỉ hưu và bắt đầu làm công việc này toàn thời gian. Tôi đã thành lập một tổ chức phi lợi nhuận có tên How I Decide nhằm mục đích đặc biệt là xây dựng lĩnh vực này, tạo ra năng lượng và các chương trình dạy trẻ em ra quyết định, kỹ năng tư duy phản biện, mà vào thời điểm đó, tôi cảm thấy mình là một nhà truyền giáo lớn.

Và sau đó tôi viết cuốn sách này vì nghĩ về điều đó. Vì vậy, đại loại là, “Bạn bắt đầu. Đó là câu chuyện cuộc đời tôi. ”

Steve: Được chứ. Vì vậy, Annie thật thú vị. Vì vậy, tôi nghe có vẻ như khi đó bạn đã có 18, 20 năm sự nghiệp chơi poker chuyên nghiệp này, nhưng có vẻ như trong nửa sau của quãng thời gian đó bạn đã thực sự dành nhiều thời gian hơn để tìm hiểu thêm về khía cạnh tài chính hành vi của họ khi chơi poker, và bắt đầu suy nghĩ nhiều hơn về mặt ra quyết định. Có đúng không?

Annie: Ừ. Chà, tôi nghĩ rằng tôi luôn là người không thực sự hài lòng với việc chỉ làm một việc. Vì vậy, khi điều gì đó khiến tôi hứng thú, tôi chỉ cần đi sâu vào nó và tôi nghĩ đó là những gì đã xảy ra. Thật tình cờ khi tôi kết thúc cuộc nói chuyện trước nhóm các nhà giao dịch quyền chọn này. Họ thậm chí còn không đến gặp tôi để nói chuyện với họ. Họ đến với bạn tôi Eric Seidel. Nhưng may mắn cho tôi, Eric Seidel thực sự không thích nói trước đám đông. Vì vậy, sau đó anh ấy đã đề nghị tôi làm điều đó thay thế, và vấn đề là khi tôi đang học cao học như tất cả các sinh viên sau đại học, tôi đã dạy rất nhiều và tôi luôn thực sự yêu thích công việc giảng dạy.
Vì vậy, đó là cách để tôi thực sự nghĩ về hai điều mà tôi thực sự yêu thích khi trưởng thành. Công việc học tập mà tôi đã làm trong lĩnh vực tâm lý học nhận thức và hành vi, và công việc khác mà tôi đã làm với một loại trò chơi kỳ lạ mà tôi đã tìm ra cách để chơi và tìm ra cách để kết hợp chúng lại với nhau, và bắt đầu suy nghĩ lại về những điều đó một cách rất nghiêm khắc, nhưng cũng quay trở lại với công việc giảng dạy, đó là điều mà tôi thực sự yêu thích. Và vì vậy, tôi cảm thấy đó là một điều hoàn hảo đối với tôi khi có thể làm cả hai việc cùng một lúc và tìm ra điểm giao nhau giữa hai việc.

Steve: Ừ. Tôi có thể đánh giá cao điều đó. Tôi sẽ hỏi bạn tại sao bạn lại viết cuốn sách đó, và có vẻ như nó rất hay… Nó tập hợp hai mặt mà bạn đã dành 18 năm để chơi poker, và học cách chơi trò chơi đó, và cách bạn nghĩ về điều đó, và sau đó là tất cả công việc của bạn xoay quanh tâm lý nhận thức, ra quyết định. Và đó là một cuốn sách thực sự khai sáng. Tôi thực sự rất thích nó. Tôi đã chú ý đến điều đó khi tôi đọc nó, vì vậy tôi có thể quay lại và đưa ra một số câu hỏi hay. Và bạn muốn mọi người có được điều gì sau khi đọc sách của mình?

Annie: Tôi nghĩ rằng điều đầu tiên cần làm là bao gồm sự không chắc chắn. Tôi nghĩ rằng phần lớn những gì chúng ta đang cố gắng làm trong cuộc sống của mình là giả vờ hoặc đánh lừa bản thân hoặc tự thuyết phục bản thân hoặc thuyết phục người khác rằng chúng ta chắc chắn về quyết định của mình, rằng chúng ta chắc chắn về niềm tin của mình, rằng chúng ta chắc chắn về cách mà mọi thứ sẽ diễn ra. Và đó không phải là một mô hình thế giới đặc biệt chính xác và tôi nghĩ rằng nó thực sự gây cho bạn một chút lo lắng và thực sự tạo ra sự thiếu lòng trắc ẩn nhiều lần như đối với chính chúng ta, đối với người khác.

Sự lo lắng xuất phát từ ... Tất cả đột nhiên như mọi thứ không diễn ra tốt đẹp, giống như sự tái diễn, và "Tôi lẽ ra phải biết" và "Tại sao tôi không thấy điều này xảy ra?" Và những thứ đi kèm với nó là sự kích động rất lo lắng, và đặc biệt không phải là từ bi cho bản thân. Và tôi nghĩ rằng nếu chúng ta nghĩ về thực tế rằng ở cơ sở của bất kỳ quyết định nào mà chúng ta đưa ra đều được thông báo bởi niềm tin của chúng ta, rằng nếu chúng ta ảo tưởng về sự chắc chắn về những điều mà chúng ta tin tưởng, ngôi nhà sẽ sụp đổ vì nền tảng sẽ không tốt lắm vì nó không phải là mô hình chính xác về những thứ mà chúng tôi tin tưởng. Không có niềm tin rằng chúng tôi có được thông báo bởi thông tin hoàn hảo, chỉ là theo định nghĩa.

Và chúng ta có thể nghĩ về nó. Chúng ta có thể nghĩ về phạm vi lịch sử loài người, số lượng những điều mà loài người tin rằng hóa ra sau này không đúng như Trái đất phẳng, mặt trời quay quanh Trái đất. Ý tôi là đó là những thứ đơn giản, nhưng ý tôi là có rất nhiều thứ như vậy. Có rất nhiều loài mà chúng tôi tin rằng đã tuyệt chủng nay đã trở thành một ví dụ. Nhưng có rất nhiều điều mà bạn có thể nghĩ đến như vậy và đó là một mô tả khá hay về niềm tin của chính bạn ở bất kỳ trạng thái nào và khi tôi nói với mọi người, “Những điều bạn tin khi bạn 20 tuổi là gì? Có điều gì mà bây giờ bạn nhận ra mặc dù bạn đã rất chắc chắn về năm 20 tuổi mà bạn thực sự nên chắc chắn về nó? " Và họ giống như, "Ồ vâng, tất cả mọi thứ."

Và tôi thích, "Vâng, vì vậy đừng cho rằng bây giờ bạn nên xem niềm tin của mình theo bất kỳ cách nào khác." Vì vậy, tôi nghĩ rằng nền tảng của những quyết định thực sự tốt, tôi nghĩ là nền tảng của sự quyết đoán. Tôi nghĩ rằng nền tảng của việc xây dựng một mô hình chính xác về thế giới, của việc thực sự suy nghĩ tốt về những gì tương lai có thể nắm giữ đến từ việc chấp nhận sự không chắc chắn chứ không phải từ bỏ nó. Vì vậy, tôi có thể nói rằng đó sẽ là bài học chính đầu tiên. Và sau đó, điều cần biết chính thứ hai là đừng thử điều này ở nhà. Bạn không nên tự mình thử điều này vì đúng vậy. Chúng tôi chỉ được xây dựng để giải thích thế giới theo cách thiên vị.

Có đủ loại lý do cho điều đó, nhưng ý tôi là tôi tưởng tượng hầu hết những người đang lắng nghe đều quen thuộc với thành kiến ​​xác nhận, ví dụ như chúng ta nhận thấy những điều xác nhận niềm tin của mình và có xu hướng không nhận thấy những thứ không. Thành kiến ​​nhận thức muộn. Đó là cảm giác về những điều thực sự xảy ra là không thể tránh khỏi. Vì vậy, bạn có thể có một điều gì đó có 1% cơ hội xảy ra, và sau khi nó xảy ra, bạn có cảm giác như nó phải xảy ra theo cách đó chẳng hạn. Vì vậy, đó là một sự thiên vị. Chúng tôi có thành kiến ​​đối với những kết quả tích cực giả.

Vì vậy, có tất cả các loại cách khác nhau này và những người đã đọc, chẳng hạn, và suy nghĩ trôi qua và trôi chảy hẳn đã khá quen thuộc với rất nhiều loại thành kiến ​​đang vận hành phần mềm trí não của chúng ta. Và vấn đề là nếu tôi kể cho bạn nghe về họ và tôi làm cho bạn biết về họ, và bạn là một người thông minh thì điều đó không có nghĩa là họ biến mất. Trên thực tế, trong một số trường hợp, có bằng chứng cho thấy nó trở nên tồi tệ hơn một chút. Vì vậy, tôi chỉ là một người rất tin tưởng vào việc tuyển dụng người khác vào quy trình để thực sự giúp bạn trở thành người ra quyết định tốt hơn. Ý tưởng là khi tôi quan sát những người khác, tôi có thể nhìn thấy thành kiến ​​của họ cách đó một dặm, theo cách mà tôi không thể nhìn thấy thành kiến ​​của chính mình.

Vì vậy, tôi có thể sử dụng điều đó để làm lợi thế của mình bằng cách nói, “Này, chúng ta hãy thành lập một đội, và bạn sẽ xem thiên vị của tôi, và tôi sẽ xem thiên vị của bạn, và sau đó chúng ta sẽ tốt hơn cho nó. ” Vì vậy, đó sẽ là bài học lớn thứ hai là khiến một số người trong quá trình làm việc với bạn thực sự cam kết cố gắng trở thành những người ra quyết định tốt hơn và giúp đỡ lẫn nhau.

Steve: Ừ. Thật tuyệt. Đó là một cái nhìn sâu sắc. Vì vậy, hai điều này là loại ôm ấp không chắc chắn, phải không? Đừng cho rằng sẽ chỉ có một kết quả, nhưng cô ấy có rất nhiều kết quả với các xác suất khác nhau, mà tôi-

Annie: Và niềm tin của bạn nằm ở đâu đó giữa đúng và sai. Đó là điều khác.

Steve: Đúng. Và niềm tin của bạn và thành kiến ​​của chính bạn ảnh hưởng nặng nề đến cách bạn nhìn nhận thế giới. Vâng, ý tưởng có một đội xung quanh bạn, tôi nghĩ điều đó hoàn toàn có lý. Ở các công ty, điều này dễ thực hiện. Còn trong cuộc sống cá nhân của mọi người thì sao? Tôi đoán đó là vợ / chồng hoặc đối tác và bạn bè của họ nếu họ nên được tuyển dụng để trở thành một phần của việc này?

Annie: Ừ. Bạn có thể tìm thấy mọi người ở bất cứ đâu, nhưng tôi chỉ muốn quay lại nói rằng điều đó không dễ dàng như vậy trong một công ty. Vì lý do mà xu hướng tự nhiên của chúng ta là khi chúng ta tham gia vào các nhóm là mặc định theo một phong cách xác nhận. Vì vậy, đó sẽ là suy nghĩ nhóm, buồng dội âm, đại loại như vậy. Và đặc biệt là có rất nhiều người nghĩ về một nhóm tốt như những người ở trên cùng một trang, điều mà sau đó họ giải thích là sự đồng ý.

Vì vậy, họ đang cố gắng tạo ra sự gắn kết trong nhóm xung quanh những người có cùng quan điểm, cùng niềm tin và cùng cam kết với cùng một loại ý tưởng, và điều đó thực sự… Tôi hiểu tại sao mọi người giải thích việc trở thành một người chơi trong đội theo cách đó, nhưng kiểu môi trường đồng đội đó sẽ tạo ra một buồng phản hồi nơi mọi người sẽ không cảm thấy nhất thiết phải tự do đưa ra các quan điểm thay thế hoặc loại thách thức nhóm vì họ sẽ có vẻ bất đồng quan điểm , hoặc những người phản đối hoặc đại loại như một trong những Debbie Downers.

Steve: Ừ. Hoàn toàn.

Annie: Không.

Steve: Tôi hiểu rồi.

Annie: Đúng.

Steve: Vâng, và một số công ty, và tôi biết rằng ở một số công ty, họ thực sự cố gắng khuyến khích mọi người tranh luận lành mạnh và có tiếng nói mạnh mẽ, các ý kiến ​​khác. Một số người nói:“Này, tranh luận thật tuyệt. Tôi không quan tâm nếu chúng ta tham gia vào những cuộc họp này bởi vì chúng tôi muốn đưa ra quyết định tốt nhất, ”và bạn phải ủng hộ mạnh mẽ quan điểm của mình. Nhưng tôi nghĩ đó có lẽ là ngoại lệ ở nhiều công ty. Tôi nghĩ bạn đúng. Một nhóm người đến để nói về nó. Ai đó đã có một ý tưởng mạnh mẽ, và tất cả mọi người đều quan tâm và nói:“Được rồi, tuyệt vời. Hãy làm điều đó. ”

Annie: Ừ. Và tôi nghĩ đang nghe Shane Snow, người viết Dream Teams, và anh ấy đang nói về nguồn gốc của việc này. Có một số nghiên cứu, vì vậy tôi cảm thấy nó giống như một số nghiên cứu về lòng tự trọng và cách mà loại nghiên cứu đó phát triển thành mọi người đều có được một chiếc cúp. Chính kiểu giải thích bằng chứng này đã biến thành một thứ mà tôi không chắc là hữu ích đến vậy. Nhưng anh ấy nói rằng chỉ có nghiên cứu này cho thấy rằng mọi người hạnh phúc hơn trong công việc khi họ cảm thấy như họ đang ở trên cùng một trang. Nhưng có những cách khác nhau mà bạn có thể xác định việc ở trên cùng một trang, chẳng hạn như chúng ta có thể ở trên cùng một trang bởi vì chúng ta cảm thấy như trong nhóm của mình, chúng ta đang ở cùng một trang về quy trình và chúng tôi đồng ý rằng quy trình tốt nhất là để thúc đẩy cuộc tranh luận lành mạnh.

Nhưng phiên bản đơn giản của việc ở trên cùng một trang là chúng ta đồng ý với nhau. Đó là một cách đơn giản để giải thích việc ở trên cùng một trang, và khi họ thấy khi nghiên cứu này được đưa ra rằng mọi người hạnh phúc nhất trong công việc khi họ ở trên cùng một trang, nó được hiểu là, "Chà, điều đó có nghĩa là chúng ta nên thúc đẩy tình huống này khi mọi người đều đồng ý với nhau. " Và tất nhiên, vấn đề là hãy nghĩ xem điều đó có thể xung đột với động lực hướng tới sự đa dạng như thế nào, phải không? Bạn đang nói rằng bạn muốn đưa những người khác nhau vào nhóm. Tôi cho rằng vì họ có những quan điểm đa dạng, vì vậy họ có những quan điểm khác nhau mà họ có thể đưa ra.

Tôi nghĩ về việc điều đó sẽ nảy sinh ra sao khi chống lại ý tưởng trở thành người chơi cùng đội hoặc ở cùng một trang nghĩa là bạn đồng ý với nhau và bây giờ bạn đã đưa ai đó vào vì họ có quan điểm khác, nhưng họ cảm thấy như quan điểm của họ đang bị im lặng hoặc bằng cách nào đó họ không phải là một người chơi tốt trong đội nếu họ thể hiện sự bất đồng đó, điều được cho là khá tệ. Vì vậy, tôi thực sự thích cách nhìn của anh ấy về nguồn gốc của nó.

Và điều khác mà tôi muốn nói là một trong những điều mà chúng ta không biết là cách mà trong một nhóm, đặc biệt là từ vị trí lãnh đạo, chúng ta có thể tạo ra một tình huống mà tất cả chúng ta đều bị thúc đẩy vào phong cách xác nhận đó hoặc phong cách thính phòng vang vọng đó, đơn giản chỉ vì chúng tôi thực sự là nhóm có niềm tin của riêng mình, phải không? Vì vậy, bạn có thể nghĩ về sự khác biệt và đây là điều mà mọi người thậm chí không nhận ra rằng họ đang làm. Họ có ý định có một cuộc thảo luận lành mạnh, nhưng họ lại làm lây nhiễm quá trình vì họ không nhận ra rằng việc làm những việc như, chẳng hạn như chỉ đưa ra niềm tin của bạn trước khi bạn ở vị trí lãnh đạo sẽ thực sự khiến người khác bây giờ lý luận về niềm tin của bạn là gì.

Vì vậy, ví dụ, nếu bạn có bốn người khác nhau phỏng vấn một ứng viên công việc, và sau đó tất cả bạn triệu tập trong phòng để thảo luận về vấn đề đó, mọi người sẽ ảnh hưởng lẫn nhau, và nó sẽ không hiệu quả, và điều đó các ý kiến ​​sẽ không có độ trung thực cao nếu bạn thực sự cho phép mỗi người viết báo cáo một cách độc lập trước khi xem những gì người khác nghĩ. Bởi vì có điều giống như sự lây nhiễm chéo này xảy ra, vì vậy đó là điều khác mà bạn phải đề phòng và điều đó hướng tới mục đích thực sự là để cho phép bất đồng. Bạn có thể loại bỏ sự bất đồng mà thậm chí không biết rằng bạn đang làm điều đó.

Steve: Đúng. Tôi nghĩ điều đó khá thú vị, ý tưởng về việc… Chúng tôi đấu tranh trong công việc đồng áng của mình, kiểu như, “Được rồi. Chúng tôi muốn được liên kết, phải không? ” Nhưng ngoài ra, tôi có ý tưởng về cuộc tranh luận lành mạnh và tôi nghĩ sắp xếp lại nó vì chúng ta sẽ đồng ý rằng tất cả chúng ta sẽ ủng hộ mạnh mẽ cho lập trường của mình, và điều đó không sao cả, và nó không phải là trọng tâm để luôn luôn hoàn hảo hiệp định. Đó là một cách thú vị để xem xét nó. Tôi tự hỏi có bao nhiêu công ty thực sự nghĩ về việc ra quyết định nhiều như bạn. Bạn nên làm gì khi ở ngoài đó tương tác với những công ty này?

Annie: À vâng. Chắc chắn là Bridgewater làm, phải không?

Steve: Vâng.

Annie: Họ chỉ cần đọc Nguyên tắc để bạn có thể thấy loại phương pháp tiếp cận này đối với steroid.

Steve: Ừ. Tôi đã đọc một số nội dung của anh ấy (Ray Dalio).

Annie: Vâng.

Steve: Ừ. Anh ấy đang ở ngoài đó và đang nghĩ về điều này.

Annie: Ừ. Vì vậy, tôi có nghĩa là nhìn. Tôi nghĩ rằng hầu như bất kỳ công ty nào cũng đang suy nghĩ về việc ra quyết định. Vấn đề chỉ là liệu họ có đang nghĩ về nó theo cách được khoa học thông báo hay không, phải không? Vì vậy, như một ví dụ, phần lớn các công ty mà tôi làm việc khi họ yêu cầu tôi đến làm việc với họ, chẳng hạn như kế hoạch chiến lược, và tôi bắt đầu làm việc với họ về những kết quả có thể xảy ra, phải không? Vì vậy, chúng tôi đã tìm ra… Đó là một loại lập kế hoạch kịch bản, phải không? Dưới đây là những kết quả có thể có từ quyết định A, đây là những kết quả có thể có từ quyết định B. Rõ ràng, những kết quả đó có thể trùng lặp.

Và sau đó tôi hỏi họ câu hỏi này, “Được rồi. Vì vậy, chúng ta hãy bắt đầu đặt xác suất vào kết quả. " Và phần lớn những người tôi làm việc cùng đều nói:“Cái gì? Không. Tôi không thể làm điều đó. " Và tôi thích, "Chà, tại sao chúng ta lại đồng ý? Chúng ta có thể đồng ý rằng có một số khả năng xảy ra đối với từng kết quả này không? " Và câu trả lời là họ sợ mình sẽ sai. Nói cách khác, những gì họ nói là, “Không có cách nào để tôi biết chắc chắn xác suất điều này xảy ra trong tương lai là bao nhiêu,” và do đó họ mặc định rằng, “Tôi từ chối đưa cho bạn một cái.”

Vì vậy, một khi bạn thấy rằng những gì bạn thấy là có, họ cam kết đưa ra quyết định, nhưng rõ ràng về quy trình, họ thực sự không biết làm thế nào để đi đến đúng quy trình bởi vì họ không hiểu rằng toàn bộ vấn đề là phỏng đoán khả năng xảy ra điều gì đó tốt hơn là không đoán ở tất cả số một. Vì vậy, ngay cả khi tất cả những gì bạn có thể nói là tình huống cụ thể này có thể xảy ra sẽ xảy ra 30% và 70% thời gian. Họ cảm thấy như thể, "Ồ, tôi không muốn nói điều đó vì đó không phải là một câu trả lời đúng." Bởi vì họ không nghĩ về điều đó đúng.

Nhưng điều tôi nói với họ là, “Điều đó tốt hơn là giả vờ như không có xác suất xảy ra và chỉ để nó trong bóng tối,” số một. Thứ hai là bạn biết về điều này nhiều hơn bất kỳ ai khác, vì vậy dự đoán của bạn sẽ tốt hơn bất kỳ ai khác và thực tế bạn đoán đã trở nên tốt. Và thứ ba là chỉ quá trình cố gắng gán một khả năng xảy ra hoặc một xác suất cho một tình huống cụ thể thực sự khiến bạn thực sự khi tôi quay trở lại bài học ban đầu đó để thực sự nắm lấy sự không chắc chắn, và sự không chắc chắn đến từ hai nơi , phải không?

Một là do may mắn. Vì vậy, khi bạn đang nghĩ về xác suất của bất kỳ kết quả nào xảy ra, bạn phải thừa nhận yếu tố may mắn, phải không? Bạn phải bắt đầu suy nghĩ về việc, “Chà, những điều gì trong quá khứ mà tôi không kiểm soát được có thể ảnh hưởng đến cách mà điều này có thể xảy ra?”

Steve: Nó quay trở lại sự không chắc chắn đó, phải không? Ngoại trừ sự không chắc chắn là ngoài kia.

Annie: Đúng. Một cách chính xác. Và dạng thứ hai của sự không chắc chắn là thông tin ẩn. Những điều tôi không biết là gì? Và để ước tính tốt khả năng một điều gì đó sẽ xảy ra, bạn cũng phải suy nghĩ xem đâu là thông tin mà tôi có thông báo cho dự đoán, thông báo cho dự báo. Và nó khiến bạn thực sự trở nên rất đói thông tin. Nếu bạn nghĩ về “Chà, dự đoán tốt nhất của chúng tôi là từ 70% đến 30%”, điều đó thực sự khiến bạn bắt đầu tự hỏi bản thân, “Chà, làm sao tôi có thể thu hẹp phạm vi đó? Nó là gì mà tôi có thể tìm ra? Tôi có thể khám phá ra thông tin nào có thể khiến tôi thu hẹp nó một chút bởi vì tôi càng thu hẹp nó thì tôi càng khá giả? ”

Vì vậy, những gì tôi muốn nói là tôi nghĩ rằng trong phần tóm tắt, tôi không nghĩ rằng bạn sẽ tìm thấy một người không giống như, "Vâng, tôi điều hành doanh nghiệp này." Tôi đang suy nghĩ rất nhiều về việc ra quyết định. Nhưng tôi nghĩ rằng đối với hầu hết mọi người, nó không được khoa học cung cấp thông tin đặc biệt, nó không được thông tin đặc biệt bởi tư duy xác suất thực sự bằng cách tạo ra những loại cây này, bằng cách thực sự vạch ra tương lai một cách thực tế, tôi nghĩ rằng hầu hết họ đang làm quyết định mà họ đang cố gắng đạt được sự đồng thuận trong phòng, số một. Vì vậy, họ nghĩ rằng điều đó thực sự quan trọng. Chúng tôi phải đạt được sự đồng thuận, và sau đó chúng tôi phải đạt được một khả năng.
Và một khi chúng tôi đã làm được điều đó, chúng tôi sẽ chắc chắn về điều đó và tôi nghĩ đó là quy trình của hầu hết mọi người.

Steve: Vâng, và tôi có rất nhiều nhận xét. Nhưng một số suy nghĩ nhanh chóng. Một là, tôi nghĩ rằng phần lớn nền giáo dục của chúng ta xoay quanh cách suy nghĩ chín chắn, điều này quan trọng, đúng không? Và tôi cũng là một kỹ sư, phải không? Làm thế nào để giải quyết vấn đề và xây dựng mọi thứ so với suy nghĩ về cách bạn đưa ra quyết định? Và khi bạn nhìn lại cuộc sống của mình, phải không? Kết quả của cuộc đời bạn là tổng hợp những quyết định bạn đã đưa ra và liệu chúng có thành công hay không, phải không? Phần may mắn và phần không chắc chắn của nó.

Quay lại với poker, tôi càng nghe bạn nói nhiều về nó, tôi nghĩ nó có rất nhiều bài học cho việc ra quyết định xoay quanh khái niệm về loại rủi ro / phần thưởng, phải không? Vì vậy, mỗi khi bạn đưa ra quyết định trong trò chơi poker, bạn sẽ nói:“Được rồi, tôi đang mạo hiểm bao nhiêu?” Đúng? “Tôi đang bỏ bao nhiêu tiền vào nồi? Ưu điểm tiềm năng của tôi là gì? ” Đúng? "Cái chậu lớn bao nhiêu?" Và điều đó có xứng đáng không, đặc biệt là với Texas Hold’em, có thể nhiều người nghe của chúng tôi không quen thuộc với nó, nhưng về cơ bản bạn trả tiền khi bạn truy cập để biết thêm thông tin vì có những thẻ được lật khi trò chơi được chơi. Vì vậy, bạn phải quyết định bạn có đặt cược không, bạn có gọi điện khi đi cùng để tìm thêm thông tin không.

Và ý tưởng đó thực sự chuyển thành công việc kinh doanh một cách hoàn hảo. Có khái niệm này được gọi là khởi động tinh gọn mà về cơ bản, bạn đang cố gắng học hỏi nhanh nhất có thể, với chi phí rẻ nhất có thể. Bạn đưa ra một giả thuyết, bạn xây dựng các MVP này. Sản phẩm khả thi tối thiểu để thử nghiệm ý tưởng của bạn, vì vậy bạn đang cố gắng chi tiêu ít nhất có thể và xem điều gì sẽ xảy ra. Bạn sẽ chạy một thử nghiệm và xem điều gì sẽ xảy ra. Điều đó cũng tương tự, nhưng khi bạn đang làm điều đó, khi bạn đang lên khung lý tưởng cho việc này, bạn cũng sẽ nghĩ đến, “Này, lợi ích tiềm năng của việc này là gì? Chi phí để chạy thử nghiệm này là bao nhiêu? ”

Ý tôi là rất nhiều công ty khởi nghiệp ở Thung lũng Silicon đang thực hiện điều này, và tôi nghĩ ngày càng có nhiều công ty mới đang làm điều đó. Nhưng bạn có thấy công ty của mình đang áp dụng cách tiếp cận đó không?

Annie: Vì vậy, một số người trong số họ có. Một số người mà tôi làm việc cùng có sự phát triển nhanh nhẹn, rõ ràng đó chính xác là kiểu tư duy đó. Vì vậy, một lần nữa nó chỉ phụ thuộc vào công ty. Một số người trong số họ là. Nhưng tôi nghĩ rằng điều quan trọng là ngay cả với một công ty không phải là một công ty khởi nghiệp tinh gọn, vẫn nghĩ về thế giới theo cách mà bạn có thể thực hiện những thử nghiệm nhỏ này, những cuộc thăm dò nhỏ này để tìm kiếm thông tin và sử dụng điều đó mà bạn không cần phải giải quyết chính xác một chiến lược, phải không? Đó là bạn có thể thực hiện các loại bài kiểm tra AB rất nhỏ này và chỉ cần bắt đầu dò tìm để xem những gì hiệu quả và xem những gì không.

Một lần nữa, và tôi nghĩ rằng điều đó có liên quan đến việc bạn đang tiếp cận thế giới như một người đang nói rằng tôi cần cởi mở về mặt nhận thức, đúng không? Giống như tôi không cần phải cảm thấy như mình cần phải biết chắc chắn rằng có đủ loại cách khác nhau để điều này có thể giải quyết, và tôi có cách khác để thử và xem những thứ tôi muốn thử nghiệm thay vì quyết định câu trả lời đúng.

Steve: Đúng, đó là thành kiến ​​của chúng tôi, phải không? Chúng tôi muốn loại-

Annie: Đây là cách rất khác.

Steve: Đúng. Tôi nghĩ rất thường xuyên, đặc biệt là những người lãnh đạo các công ty, họ quen với việc đưa ra quyết định nhanh chóng và họ có “cảm giác ruột” đối với câu trả lời đúng là gì, câu trả lời mà họ đưa ra bàn.

Annie: Đúng.

Steve: Và họ muốn nhanh chóng đi đến kết luận đó và có thể ảnh hưởng đến những người khác đang giúp đưa ra quyết định đó để nói, “Được rồi. Đây là quyền… ”

Annie: Ừ. Ý tôi là quay trở lại vấn đề lây nhiễm như vậy, phải không? Khi ai đó bước vào và nói:“Đây là điều tôi nghĩ chúng ta nên làm. Đây là niềm tin của tôi. Tôi cảm thấy điều này rất mạnh mẽ rằng đây là câu trả lời đúng. ” Chúc may mắn khi có ai đó trong phòng đó thực sự thách thức bạn theo bất kỳ cách nào và không nhất thiết là họ không cố ý làm điều đó. Họ chỉ giống như, “Chà, người này có rất nhiều kinh nghiệm và họ thực sự tin tưởng vào điều này. Vì vậy, bất cứ điều gì tôi nghĩ đều phải sai. ” Ý tôi là đó chỉ là một cách tự nhiên để suy nghĩ về nó, và rất thường xuyên tôi cố gắng nói với mọi người rằng hãy kiểm tra điều này trong cuộc sống của chính họ theo những cách nhỏ, để họ có thể thấy khó khăn như thế nào khi thực hiện điều này theo cách chống lây lan.

Và bạn có thể cho tôi biết nếu điều này đổ chuông cho bạn. Ví dụ, khi ai đó đọc một ý kiến ​​về chính trị, bạn thường nghe họ nói:“Tôi đọc mẩu quan điểm này về chính trị. Bạn sẽ đọc nó chứ? ” Giống như nghĩa đen cuối câu. Hoặc họ nói, “Tôi đã đọc mẩu ý kiến ​​này. Tôi đã nghĩ điều này, điều này, điều này, và điều này. Bạn cũng sẽ đọc nó và sau đó nói cho tôi những gì bạn nghĩ? ” Và tất nhiên nó là cái sau. Đây là cách chúng tôi giao tiếp với nhau và tôi nghĩ một phần là chúng tôi cảm thấy như ý kiến ​​của chúng tôi hoặc niềm tin của chúng tôi là những thứ mà chúng tôi nhận thấy là dữ liệu quan trọng để tôi trao đổi với bạn trước khi lấy lại ý kiến ​​của bạn.
Tôi không nghĩ rằng chúng tôi đang làm điều đó theo cách không có chủ đích.

Steve: Nó vô thức.

Annie: Tôi nghĩ rằng chúng tôi thực sự tin rằng… Đúng vậy. Đó là dữ liệu quan trọng. Giống như, “Chà, tôi có suy nghĩ về điều đó, vì vậy hãy để tôi thông báo những điều đó vì điều quan trọng là Steve phải biết điều đó trước khi anh ấy đưa ra bất kỳ lời khuyên nào cho tôi.”

Steve: À vâng. Và tôi có thể nói ngay cả thực tế là bạn thậm chí đang trình bày điều gì đó, có lẽ bạn đã phải tuân theo thành kiến ​​xác nhận của chính mình như, “Ồ, tôi đã xem bài báo này, điều này củng cố những gì tôi tin, và bạn nghĩ gì về điều đó? ” Ý tôi là bạn không nói điều đó để củng cố những gì bạn tin tưởng, mà chỉ bằng cách trình bày nó.

Annie: Một cách chính xác. Nhưng tôi sẽ làm tốt hơn nhiều nếu tôi nói, “Này, tôi đã đọc phần ý kiến ​​này. Tôi muốn biết bạn nghĩ gì. Bạn có vui lòng đọc nó không? ” Và theo nghĩa đen, tôi không cung cấp cho bạn thông tin nào khác, và tôi thách mọi người thử bắt đầu tương tác với mọi người theo cách này, và họ ngạc nhiên vì nó khó đến mức nào, tần suất họ phải giữ ý kiến ​​riêng của mình, nó thực sự khó để giữ nó bên trong. Và một điều nữa tôi nghĩ không chỉ bạn cảm thấy đó là dữ liệu quan trọng. Nhưng tôi nghĩ rằng bạn có một chút lo sợ về điều gì sẽ xảy ra nếu người đó nghĩ rằng tôi đồng ý với điều đó trong khi tôi không đồng ý? Hoặc điều gì sẽ xảy ra nếu người đó nghĩ rằng tôi không đồng ý với điều đó khi tôi làm như vậy và bằng cách nào đó, điều đó thật tệ? Người đó sẽ nhận thức sai về bạn.

Hoặc họ có thể nghĩ khác về bạn và có cảm giác giống như bạn đang mở lòng trước một cuộc tấn công vào danh tính của bạn theo cách đó thay vì chỉ nói, "Tôi thực sự chỉ trình bày điều này với bạn một cách trung lập bởi vì tôi thực sự muốn nhận được phản hồi có độ trung thực cao từ bạn và việc tôi đồng ý với điều đó hay không cũng không liên quan. Và xin đừng cố đoán nó. ”

Steve: Ừ. Nó khiến tôi nghĩ đến một điều.
Tôi là một nhà đầu tư thiên thần trong công ty có tên là Cloverpop này. Toàn bộ ý tưởng của họ là cố gắng cải thiện việc ra quyết định. Tôi quan tâm đến điều này. Tôi nghĩ rằng đó là một lĩnh vực cơ hội trong nền kinh tế của chúng ta, nơi có tất cả các khoản đầu tư này; làm thế nào để chúng tôi thực hiện tốt hơn, làm thế nào để chúng tôi theo dõi mọi thứ tốt hơn, nhưng không có nhiều hỗ trợ về công nghệ về cách đưa ra quyết định tốt hơn. Tôi nghĩ một trong những điều họ làm là họ thực sự mù quáng ai đang đưa ra đề xuất. Vì vậy, bạn có thể có một nhóm người “Xin chào, chúng tôi biết rất rõ vấn đề này, tất cả chúng tôi đều quan tâm đến việc giải quyết nó”. Và để Giám đốc điều hành trình bày vị trí của mình, CMO và dah, dah, dah. Sau đó, bạn đã được thông tin đến từ, phải không?

Và như chúng ta đã nói về việc nếu họ cũng đang trình bày ý kiến ​​của họ về nó, nó sẽ thiên vị tất cả mọi người, nhưng nếu bạn đến và nói, "Tôi không biết ai đang trình bày ý kiến ​​đó." Và lý tưởng nhất, những gì bạn đang nói, họ chỉ nói, yêu cầu xem xét lại. Hy vọng rằng bạn sẽ có được kết quả tốt hơn.
Nhưng tôi gần như nghĩ rằng bạn phải có những điều khác… Thật khó cho chúng tôi để chống lại thành kiến ​​của mình mọi lúc. Làm điều đó thông qua các công cụ có thể hữu ích. Tôi không cố gắng ngồi ở đây và bơm chúng lên mà tôi chỉ nghĩ rằng đó là một khu vực thú vị.

Annie: Ồ, tôi đồng ý. Ừ. Không, tôi hoàn toàn đồng ý. Ý tôi là đây là những gì tôi nói, giống như, tôi bảo mọi người hãy thử bài tập này chỉ trong cuộc trò chuyện hàng ngày và mọi người chỉ mê mẩn điều đó. Nó rất khó. And, I mean, I love the idea of what you just said because one of the things that I talk about in the book, is how do you implement these scientific norms, like norms for scientific communication into the way that you’re interacting with other people in terms of not just sort of making decisions, prospectively, but deconstructing decisions retrospectively? Both have their own challenges.

There is a wonderful acronym, which is CUDOS. Which was put forward by Robert Murton and he was really talking about norms for scientific communication. CUDOS stands for … The C is communism, obviously not the political kind, it’s that data should be treated communally within the team trying to decide about it. That doesn’t mean I’m supposed to share my data with another company, obviously, but within a team data needs to be communal.

And then the U is basically what you just talked about, which is universalism, which is that the message and messenger should not be equated.

So, obviously there are certain times when you need to know things about the messenger, for example, their level of expertise in something helps you decide whether the information that they’re presenting, it helps you put a probability on whether it’s true or not right? So, if there’s an expert, if I know that you are somebody who’s an expert on East Asia for example, I’m going to trust what you tell me about the population among better than somebody who knows nothing about that.

So, in that case there are certain features that might be important, but outside of that kind of thing the fact is that there are things that are true no matter who says them, and very often we will trust or distrust the information based on our trust or distrust for the person.

So, the thing I say is, like, the Earth is round whether it’s Mussolini, or your mother, or your best friend telling you that right? Or your worst enemy telling you that. The Earth is round none the fact, nonetheless. So, things have trust to them regardless of who the deliverer is, and this is actually really important because otherwise what can happen is that not only on a global sense information can be distorted in a political way depending on who the deliverer is, and I think we see this a lot in these sort of claims now about fake news, and the way that people interpret information if they’re coming from one part or the other depending on who they agree with in a way that’s actually very destructive, but then also you have to think about that in your own life right?

So, when you’re talking about Cloverpop what they’re trying to do is actually implement universalism, they’re to implement that norm of universalism, which is to blind whether it’s a CMO, or the CEO, or an intern who is offering it up so that you can evaluate the information independent of the person who has delivered it.

Just really quickly, D is disinterestedness. So, you want to eliminate conflicts of interest.

And then the OS in CUDOS is objective skepticism, which to sum that up really quickly; approach the world asking “Why am I wrong?” rather than “Why am I right?”.

So, I didn’t want to just leave people hanging as to what the rest of the acronym meant.

Steve: That’s great. Yeah, that’s actually the first time I’ve heard that acronym. So, this is Robert K. Merton right? He was the sociologist?

Annie: Exactly.

Steve: We had his son Robert C. Merton on the podcast.

Annie: Oh!

Steve: He was a Nobel Prize winner in economics.

Annie: Thật đáng kinh ngạc. Yeah.

Steve: Yeah, small world.

Annie: Đúng. But that’s wonderful. I’m a very big fan of his fathers, and him as well by the way.

Steve: Đúng. And just a side note, Robert C. Murton is also a poker player. Apparently he plays in a game in Boston. I was going to ask him about it, and then he was like, “I don’t want to talk about that on the podcast.” I didn’t get a chance to ask him, but I think you find that with a lot of math oriented and kind of analytical people, many of them do play poker and they probably take useful lessons from it that they apply in all kinds of places.

Ồ. So, yeah, it’s amazing listening to you talk about decision making, and just for audience right? Making good decisions, being thoughtful about, or aware of all of the biases that we carry in and how that affects our thinking and our behavior, which ultimately affects the outcomes. You know, that’s how hopefully this discussion is useful to you.

Được rồi. So, a couple of … You know, back to poker a little bit just since its got lessons for us, one of the topics you talk about is, and we touched on it a little bit earlier, but this concept of resulting. Can you elaborate on that a little bit? I think it would be helpful for folks to understand that.

Annie: Yeah, for sure.
So, I just alluded to we can think about how are you thinking about decisions prospectively and also retrospectively right? So, you know, prospectively as in making a decision, and trying to scenario plan, map out the future, figure out what the probabilities of those futures might be. So on and so forth.

But the retrospective problem is trying to figure out what you’re supposed to learn from your own experiences because presumably you should have some sort of feedback loop where the feedback that you get is looping back in so that you can be better at decision making going forward, and so on and so forth. But, what the requires is that we be taking good lessons from the result of our lives, and this is where uncertainty can wreak a lot of havoc.

So, out in the world, in life, and in poker, the connection between the quality of an outcome, and the quality of the decision that leads to that outcome is very loose on one trial. Now, certainly you can run a Monte Carlo and get 10,000 trials of anything where it’s the same decision and you’re just seeing what outcomes happen to fall in some sort of simulation, or you could flip a coin 10,000 times, now you can start to see something from outcomes, but on a given outcome or a small number of outcome where the sample size is very small there is an incredibly loose connection.

So, to sort of get there let’s think about the difference between chess, and then poker, and then a really simple life decision. So, in chess, you can see how decision quality and outcome quality are incredibly tightly linked. So, if I lose a game of chess to you, what do we know about my decision making relative to yours?

Steve: That hopefully I understand, or process the information a little bit better than you did since we all have the same information available to us.

Annie: Đúng. Exactly. So, if I lose a game of chess to you it’s because I played worse than you did, and it’s a completely reasonable thing to work backwards from the fact that we know what the quality of my outcome was; it was bad, it was negative, I lost; to figure out what the quality of my decision was and determine that that was also negative, and it was bad, and I didn’t do as well in comparison to you.

And the reason that that’s the case, that we can do that in chess is that you’re eliminating these two sources of uncertainty, so there isn’t a strong element of luck. So, in other words, the pieces stay where they are until someone moves them because of an act of skill right? Not because somebody rolls the dice and now your pieces just randomly move around or something.

So, we’ve eliminated the strong influence of luck, and then we’ve also eliminated most of the hidden information in a sense that you can see my position, I can see your position, so there’s no information asymmetry there, and what that means is that when I’m looking at your board I could theoretically figure out every possible move that you could make in response to any moves that I make.

So, what that means is when you’re reducing the really strong influence of uncertainty in that game, what that means is that outcome quality and decision quality become very tightly correlated.

Now, you can think about a game like poker in contrast. If I lose a single hand of poker to you what do we know about my decision making in comparison to yours?

Steve: Not a lot because there’s a big element of luck in each hand right? But if you win the tournament it’s saying a lot more right? So, if you make a series of decisions really well then you have a much higher chance of winning the whole thing. Is that true?

Annie: Ừ. So, if I lose a hand to you we know almost nothing about the quality of my decisions based only on the results right? Now, obviously, if I lost the play, if I can dig into the process I’d know more, but all you can see is the result, we don’t really know very much about my decisions relative to yours.

Even after the end of a particular tournament we don’t know that much. We know more because you had to play more hands, but in order to start to get some kind of clear idea of somebody where you can see what the decision quality is sort of starting to shine through you need to see, you know, 1,000 to 1,500 hours out of a poker player and then you can start to really, really see it.

You know, you can see it after a month you’re narrowing it down as you go along as you add hours in right? But in order for the skill element to really start showing through you need a lot of hours of play. So, that’s assuming you’re at a live game where you’re getting 30 hands an hour or something like that.

And the reason for that, again, there’s this luck element right? I can’t control the cards that are yet to come so the deal is random, and then there’s also now we have this information asymmetry right? I can’t see your cards and so I’m guessing at them. So, that’s what creates this disconnection between outcome quality and decision quality.

Now, we can say is life more like chess or poker? That’s sort of the question, and let’s take a really simple example like driving through a traffic light. Well, you can see more quickly that life is more like poker than chess because if all I know is that you went through an intersection and you got in an accident in that intersection, that’s the only thing I know is that there was an accident that occurred, do I know a lot about the quality of your driving?

Steve: No, because someone else could have made a mistake versus you.

Annie: Exactly. Đúng. So, now that immediately we can see, “Aha. Được chứ. So, this is more like poker than chess.”

So, now here’s where the resulting problem comes in. We took a long winding road down to resulting. Going back to that first point I made, people really aren’t comfortable with uncertainty, they don’t like the fact that you can’t really see into the decision quality right? So, it’s like after the fact and you’re trying to figure out if a decision is good when you had no way to observe the process, and so that’s pretty opaque to you, but you want to know, and so you use this shortcut which is called resulting, which is saying “Well, I know the quality of the outcome so therefore I must know the quality of the decision.”

So, if I know that the outcome was bad I can derive that the decision making must have been bad. Now, again, this is completely reasonable in chess, but it’s completely unreasonable if you’re playing poker. So, if life is more like poker we know it’s a relatively unreasonable thing to be doing in life.

So, the example that I open the book with, which I think it’s one of the most powerful examples of resulting that I’ve seen is the 2015 Super Bowl. Pete Carroll, coach of the Seahawks, the Seahawks are on the 1 yard line of the Patriots, and there’s 26 seconds left in the whole game. The Seahawks had one time out, and obviously they need to advance the ball 1 yard in order to score. They’re down by 4 so a field goal will not do the trick right? So, they must score a touchdown at that play.
So, as you’ll recall, Pete Carroll called a particular play that was pretty unexpected.

Steve: Đúng rồi. He called a pass play. I was going to say, and he had Marshawn Lynch as a running back, who is a really good short yardage carrier.

Annie: Đúng, chính xác. So, exactly to that point. So, he’s got Marshawn Lynch, everybody is expecting he’s going to hand the ball off to Marshawn Lynch, Marshawn Lynch will just try to barrel through, and that’s obviously what he’s going to do, and with his one time out he’ll be able to try that twice.
And instead he calls a pass play as you said and it ended in spectacularly bad fashion. Malcolm Butler intercepted the ball and that was the end of the game.

And the end game calling from Cris Collinsworth is incredibly brutal. You know, “I can’t believe this call. This is a crazy call.” So on and so forth. And then the next day, even after people had time to think about it, most people were echoing Cris Collinsworth, and there seemed to be an argument among the major outlets about whether it was the worst play in Superbowl history or the worst play in all of football history, which seems pretty … You know.

Steve: Pretty brutal.

Annie: Pretty brutal.
So, I think this is a really good example of resulting because you can see this very clearly that what people are seeing is that this result was spectacularly bad, and so therefore they are going back in and deriving that the decision quality must have been pretty bad, but we can actually get to the heart of the people by I can just ask you this thought experiment.

So, Steve, let’s imagine that Pete Carroll passed the ball and it was caught for a touchdown in the end zone. What do you suppose the headlines would have looked like the next day?

Steve: He’s a very creative genius for running that play. That was completely unexpected.

Annie: That’s exactly right, and in fact, for those people who are football fans, what did they say about Doug Peterson when he ran the Philly Special which resulted in a touchdown?

Steve: Ừ. Exactly. Super clever right? Unexpected.

Annie: Super clever. Out Belichicked Belichick.

Steve: Yep.

Annie: Exactly.
And you can kind of see what’s happening here right? Remember, I said this problem is we can’t see through to what the decision quality is and so we use this shortcut. So, you can kind of see people feel like they know whether the hand off to Marshawn Lynch is good or not. They feel like they know something about that decision process. They feel like they have access to the quality because it’s a play that’s pretty agreed upon you know? There’s sort of consensus around that this would be a good choice.

So, by choosing something that people really weren’t expecting he’s choosing a play that is not well understood, which means that people don’t really understand whether it’s a good decision or not sort of right? Like, they don’t get it. They don’t know ex-ante.

So, now what happens is that because that’s opaque, because the decision is not understood, because there isn’t consensus around it, how do you then figure out if the decision is good? Oh, you use this shortcut called resulting. The result was really bad, so therefore I know that the decision must have been really bad.
Now, one little factoid, the probability of an interception in that particular situation was between 1 and 2%. So, the minute you kind of know that fact it feels like, well, how could you possibly say that was the worst call in Superbowl history? It was only going to turn out the way that it did less than 2% of the time.
So, I mean, that right there reveals sort of the obscurity of the whole bias.

Steve: Ừ. It would be interesting if you kind of put football analysts into cohorts, or football fans into cohorts of people who are real, I don’t want to say real, but like in poker you see this right? You’ve got amateurs doing things that are crazy, and then you have people that play a lot of poker and they analyze this and they’ll call him a donkey, or say this guy is doing all of this kind of crazy stuff and that’s why he’s a bad player is because he doesn’t know any better, and giving color commentary on the result because they’re not behaving, quote/unquote, “rationally”.

But, in this case I bet Pete Carroll, and I think you mentioned this in your book right? Later on he was being thoughtful about it. He was trying to out play his opponent right? He was trying to do something unexpected on purpose to try and win. And as you said, his odds were totally in his favor because it was very unlikely that it would get intercepted and he just kind of got, quote/unquote, “unlucky” in that one case.

Annie: Đúng. Exactly. And you can actually ask yourself what was he getting in return for the cost of an interception? And what he was getting in return was an extra play. But, you know, there was a clock management problem. He had 26 seconds left in the game with only one timeout. As you know, if you hand it off to Marshawn Lynch and he fails to get into the end zone a lot of time has rolled off the clock, so once you’ve done that you’ve actually only got one play left, whereas if you execute on the pass play … You know, this is where it’s really important to think about the three outcomes that would a running play.

So, not including a sack, or Russell Wilson fumbling the ball or anything like that. So, let’s just put those in the all things being equal category and think about the three outcomes of the pass itself which are it’s caught for a touchdown, okay, so they win the game. It’s intercepted right? That’s going to happen 1 to 2% of the time, but the third outcome is the ball is incomplete, and when the ball is incomplete of course the clock stops on its own, you don’t use a timeout for that, and that play gets executed really quickly.

So, very little time comes off the clock and because you still have that one timeout left you can. So, remember they have three downs. It’s second, third, and fourth down to execute on it. So, he was actually maximizing the number of plays, the number of chances that he would have at the end zone with this particular choice, and in exchange it was costing him that 1 to 2% chance of an interception.

Steve: Yeah, that was the risk. Đúng. You know what would be really interesting is has anyone talked to Bill Belichick about how he thought about it? I wonder if he was like, “Oh, okay. They have 26 seconds left. Maybe they are going to run a passing play because they want to do clock management and it’s likely to be a slant because I’ve seen their,” whatever, and I appreciate all of the color on that decision in football.
You know, as you were talking about poker and chess we know that AI is really good at and now pretty much can’t be beaten with chess and also with Go, where you also have information, perfect information. Is anybody working on AI for poker?

Annie: Oh yeah. So, it’s getting better at poker. So, there’s an AI that is very, very good at a particular form of poker, which is Heads up poker. So, it’s just one on one. So, obviously that reduces the set of possibilities right? Because I’m just playing against one person, and in particular it’s a form of poker where both players are likely to be playing almost every hand that they’re dealt.

But, this is a relatively recent development, but it’s now very good at that. It seems to really beat the best players in the world at that, and then we’ll see whether it can expand to, you know, how well it expands to a multiplayer situation, but it is getting better, but it’s solving a different problem right?

So, when you look at, for example, these Backgammon computers they can really just brute force the game right? Again, because you don’t have the hidden information, and this is true with chess as well, you can just play out every possibility until the end. So, once you have enough computing power you can solve the game so there’s just this brute force approach to it, which is not something that you can do in poker. You can’t brute force the game. That’s where the difference is, which is there wasn’t really any progress made in poker until you were starting to get machines that were more like deep learning machines.

Steve: Ừ. It seems like with poker, I remember we were talking about it, there’s kind of three levels of poker right? You’re playing, at least with Texas Holdem right? You’re playing your cards, just straight up right? And what are the probabilities of you winning in any outcome. And then, you’re playing against what your opponent is likely to have right? And so therefore, then you need the emotional intelligence, and also some math right? And also this kind of, ideally, a history of what they’ve done in the past, which is probably hard for a computer to get right? I mean, if you see the same people in a poker tournament you can kind of study what do they do? How do they behave in certain situations? And that’s the third part right? How is your opponent likely to behave, and that also goes to kind of game theory for yourself, but also for them.

I mean, I think one thing that’s interesting about poker, we’re talking about football, and it’s like, when I play poker, or when people play poker sometimes they’re giving disinformation on purpose right? They’re trying to mislead so you can bluff later, or kind of play a little bit erratically so people can’t quite predict your behavior. I don’t know how that translates to …
I mean, I could see that translating strategically when you’re in business to kind of trying to outthink your opponents in the business arena.

Annie: Well, yeah, I think it actually translates pretty well. I mean, I think this idea that I was talking to about even just thinking about what are the probabilities of different outcomes is something that I find when I’m working with groups that are trying to do strategic planning that they’re just very loathe to do.
You know, I have a narrative in the book about working with a nonprofit just trying to get them to start thinking in expected value about their grant proposal, their grant process, and it was hard. I really had to do some very deep work with them to start getting comfortable with thinking about assigning probabilities to the chances that you get a grant or that you don’t so that you could really understand what the grant is worth because, you know, when you walk around in this world where you’re thinking about things in binary and this is how you’re making your decisions.

You know, when you’re applying for a grant that’s 100,000, and you’re just thinking about it as 0 or 100,000, where obviously if you’re thinking probabilistically and you say, “Well, there’s a 40% chance I’m going to get this grant.” You can now assign a value to it of 40,000, which does all sorts of wonderful things for you right? Certainly it allows you to more efficiently create a work staff. It allows you to really think about when you’re winning to hiring an outside contractor for example. It allows you to be much better at budgeting right? Like, at forecasting what your inflows are going to be right?

I mean, there’s all sorts of really good things that come out of it, but people are very loathe to do even just that step of thinking about, you know, how do I assign probabilities. That’s beyond starting to think about what are the payoffs of it? How do I deal with unknown information in a way that I really think about it? How do I deal with the connection between decision quality and outcome quality? How do I start to try to figure out good process for working back?

And then this sort of basis thing of what you just said, which is; how am I thinking about as a good Bayesian right? Like, what are the base rates? What are people’s natural dependencies? What could I expect them to do in these situations? How could I think about how my actions appear to another person?
So, people also don’t do that as much right? People have this idea, for example, that if you come into a negotiation and you’re speaking very forcefully that you’ll come off as being very forceful, but we know that very often that when people hold a very strong they’re actually less forceful in the way that they present it, and that’s a very, very strong human tendency that you can’t get to unless you think about it from the other side. Unless you think, well, what if you’re watching someone be really forceful in front of you, and if you said to yourself, “Well, wait a minute. If I had a really strong position how would I be acting?” And the answer is I wouldn’t be yelling at everybody telling them this is the final offer right? I mean, just as an example right?

But, you can’t do that until you start to think about how do I look from other people? What is the story that I’m telling? What are their opinions of me? What am I signaling to them with my actions? What are my base rates? How do I incorporate new evidence in order to actually adjust my base rates? These are all kinds of the things that the way poker players are thinking that I think aren’t incorporated into most people’s every day decision making.

Steve: Đúng. We’re going to see if this works out for Kavanaugh soon, if his strong position.

Annie: Right.

Steve: I remember I was reading some poker book and it was talking about people that have strong hands tend to kind of act relaxed, sit back, and that’s an indicator that they’re strong, and weak players they’re a little bit more aggressive, or maybe they’re bluffing at it, and very often their actual position is opposite of how they present themselves.

Annie: Ừ. I mean, think about it, when was the last time that you sat in a negotiation and you had a really, really strong position in the negotiation and you were red faced, yelling at the people across the table that this was your final offer, take it or leave it?
That’s not the way that somebody who’s in a really strong position behaves. And yet what happens is that when you’re sitting across from someone who behaves in that way, you think there’s a one-to-one mapping, right?

And you’re like, “Oh, they’re behaving in a strong way. They must be really strong.” But if we took a second to step back and say, “Wait a minute, how do humans really behave in this situation?” And the way I can figure out is by thinking about how I would behave in that situation. You get to the truth really quickly.
So we tend to be very reactive. We tend to make snap judgment about what the connection between people’s behavior is, and what their positions actually are in a way that we would be better to start doing some better perspectives making, that would help to actually get to the answer.

Because it seems to obvious once I say it to you, right? When was the last time you had a great position and you were red-faced screaming at somebody that it was your final offer? And of course you’re laughing and saying, “Never.”

Steve: Ừ. Right.

Annie: And then you say, “Well, how come you think that that’s the case when they’re doing it to you?” “Oh.”

Steve: Yeah.

Annie: Yeah, right.

Steve: Yeah, never.

Annie: Okay, great. So yeah, but this is the way, this is just human nature, and that’s part of the thing, is that what our gut tells us is often not right, we need to hold our gut up to some sort of rational process, in order to make it accountable to something other than our feeling.

Steve: Yeah, I was just gonna say that … When we were talking here, so much of our life is about trying to make sense of the world, and we try to use these patterns, our brains are good at patterns, right? And pattern recognitions, where … I know you talk about system one and system two, and the emotional side of your brain, and then the more … The limbic system, and then the more rational side, and so much of our life is about trying to bucket things up, put them into … To identify patterns and make it quicker for us to assess things.

But the reality is, we live in a much more complex world, and we need to be much more rational about it. But it’s so hard, because we’re constantly fighting against the desire for our brains to make these snap decisions out of system one, and get the conclusion, right?

Annie: Well yeah, and if you think about it, it’s of course, right? Because if you were to make every single decision on system two, building out some probabilistic decision-tree, you’d never get out the front door in the morning, it would take too long. And the fact is that, most of our brain is this very big, ancient animal brain, and then we have this very thin layer of prefrontal cortex, that is trying to take up this more executive functioning, rational thought.

There isn’t a lot of it. And I talk pretty early in the book, but this is something that Michael Shermer has talked about, that we just have this default toward certain types of thinking, because when evolution was selecting features, it wasn’t necessarily selecting for accuracy, but rather efficiency. So you can think about this pretty simply. For example, we have a bias toward false-positives.

So I’m on this savanna and there’s rustling in the grass; evolution isn’t selecting for the human that now builds out a probabilistic decision-tree, about whether that is a lion. Because that human is dead too much of the time. So instead, it selects for the human who runs away. And sometimes that human is wrong, but it doesn’t matter, because 100% of the humans who’ve run away, have lived, right?

So the wrong ones and the right ones have lived, and who cares? So you have this strong bias toward false-positives, rather than false-negatives, right? So that’s just how it is, and it’s part of the reason why I said right at the beginning, that one of the things is, “Don’t try this at home, folks. Go get some other people to help you with this, because … I have only a little bit of prefrontal cortex, but you also have a little bit of it, and somebody else has a little bit of it, and if we get together, we can get more of that executive functioning stuff working for us.”

Steve: Đúng. You’re making me think about … I was listening to Elon Musk on the Joe Rogan podcast, the one where he smokes pot on it, but before all that, I had this really interesting discussion about AI, and how the fact that we’re actually … Companies are actually cybernetic organisms if you will, they’re a bunch of people but also enhanced by technology and we ourselves, with our devices that we’re carrying around, are becoming almost like enhanced … And we are enhanced, essentially, right? Because we can talk to these things, and it can look up any information pretty much immediately, which is amazing.

And you do see … I can see this happening, faster than people think, because take navigation, right? So you can talk in your phone and say, “Hey, I wanna go from here to whatever. Los Angeles, on public transportation. What’s the fastest way?” And it will look at … It does a couple things, right? It finds the different routes that you can take; I mean, you can fly there, you can take a bus, you could drive, whatever, and it’ll solve for that. It’ll also solve for what’s happening right now. So you’re gonna drive, what the traffic patterns are today, and also what they’re predicted to do.

That’s what’s interesting. Google just rolled out, “Tell me when you’re going to drive from here to San Francisco.” And it’ll say, “Oh, the anticipated drive time is, is three hours, versus four hours, versus five hours.” It’s just amazing, right? And you could start to see this with maybe … Based on this conversation, I believe we need help making decisions, and a lot of this stuff may have to be built into computers to get more positive or more optimal outcomes.
At least help us get to more optimal outcomes, to manage against all these system one biases and beliefs that we carry around, that’s baggage, if you will.

Annie: Tuyệt. Exactly. Tôi đồng ý. That all happened … Obviously before I decided to. I have no problem with I just thought, given that people were questioning Elon Musk’s judgment, that maybe that wasn’t the best-

Steve: The best example? Ừ. Well, he did make … That Tweet he sent looks like it’s gonna cost him $20 million bucks and the company $20 million bucks, plus he lost the Chairmanship.

Annie: Right, yeah.

Steve: Maybe he should be using some AI-enhanced decision for filtering when he sends his Tweets out.

Annie: Yeah I actually just had a discussion on a podcast just very briefly about that, and I think that it sounds like he doesn’t sleep very much, and lack of sleep really has a very deep effect on your judgment. There’s all sorts of ways in which … There’s a lot of research being done, in terms of essentially what happens to your … In terms of increased cognitive load, and what is the equivalent to, in terms of drops in IQ points, for example. So work done in scarcity, where people feel like their resources are not enough for their needs, for example, what happens to their ability to think well, their cognitive capabilities, and it looks like it’s equivalent to about a 13 point IQ drop, which is pretty shocking.

But that also the same as what you get if you miss a night’s sleep. So missing a night’s sleep really reduces your ability to think clearly. I think all of these things are actually really interesting to look at. There’s a great book called Scarcity, actually, that I think is a really great book to read, where you can really see what the cognitive costs of poverty are.

And you also get some of these same effects, for example, if you’re feeling excluded from friend group; that’s another way to end up getting the same effects. So anyway, when we were talking about Elon Musk and what’s happening, it sounds like he’s having some sleep issues, so that makes part of the explanation for what’s going on, yeah.

Steve: Yeah, what is the average IQ? Is it 130 or something like that?

Annie: The average IQ, by definition, is 100.

Steve: Is 100, right. Okay, fine. So if you’re talking-

Annie: That’s definitional.

Steve: So, if you’re taking a 13 point drop, that’s more than 10% loss in your cognitive ability. That’s pretty significant.

Annie: Ừ. It’s really huge. When people are stressed, because they feel like their resources cannot meet their needs. And this can be in a relative sense, by the way, this doesn’t mean that you’re living in poverty in an absolute sense. What was interesting is that it’s relative. If you live in a place where people are quite wealthy, and say you’re having trouble paying your mortgage, even though in an absolute sense, you might have quite a bit of money relative to the world, in a relative sense, you do not.

And that seems to be what the trigger is, and that’s outside of, obviously, the other effects of living in actual poverty that you can measure in an absolute sense, relative to anybody in the world. But I think it’s really important for us to think about that, because when we’re talking about … Obviously in order to dig yourself out of poverty, part of what goes along with that is having the … Basically being able to envision what the future is gonna look like for you, identifying what your goals are, and then figuring out how to execute on them.

But what we’re finding is that there’s so much cognitive load placed on you, by being in scarcity itself, that it essentially short-circuits a lot of that ability, and you end up making much more short-term decisions all the time. So there’s some very interesting work in this space, in terms of what it’s doing to people’s ability to think, and how much it reduces people’s ability to actually realize what their own potential is.

Steve: It’s hamstringing us. Well, good, you’re supporting the thesis behind this business, which is we’re trying to help people get control over their future, right? So, feel financially secure, so that they can make the most of their human capital. And this is what I saw with my own mother, where she was freaking out about money, and we’re like, “Okay, let’s try to solve that problem.”

And then once that was addressed, and you’re like, “Okay, I have a sense of stability. I’ve got some money in the bank, I have enough income in my life to pay for my life, so I’m not gonna go broke.” Which is the number one financial worry that everybody has. “Will I run out of money and end up being destitute?”
Once that was taken care of, it created the cognitive space to be like, “Okay, what do I want to do in my life? What could I do, and what’s most interesting to me?” Which, I think then leads you to do hopefully much better work with your life, right? Use your human capital in the best way possible.

Annie: Yeah, and we think about that, from a societal standpoint, right? When we look at this cyclical effect of poverty, when you really understand scarcity, you can start to see where some of that is coming from, right? Same thing with your mother, right? There’s all these different ways in which just having those worries about what are your resources, and are my resources enough to meet my needs?
What that does to your ability to start thinking about the other things in your life, because it just ends up taking up your whole brain capacity. So, from a societal level, how are you addressing that?

Steve: Ừ. I think we talked about this a little bit before, but there’s this movement called FIRE, right? Financial Independence, Retirement Early. It’s mostly FI, Financial Independence, and especially being embraced by millennials, where they’re really trying to live much more frugally. And it’s really a mindset thing. So I was just at this ThinkCon Conference, and I saw a panel where they had four FIRE people, and you see people like, “Well, I’m feeding my family of four for $25 or $30,000 a year, and we live a pretty good life.”

I think what they’re doing is … I know what they’re doing, is they’re saying, “Hey, look. I can live more efficiently, and I also wanna reframe how I look at my life very differently, so that I am coming from this place of abundance, and not being driven by what my neighbors had.”

And one of these guys who talked, Mr. Money Mustache, was like the … He’s one of the founding guys that does this, he’s like, “If you reframe how you look at your life, where for most people, they’re in a community and then they see their neighbor or friend drive around in a fancy new car, and then they look at their old 10 year old car, and they’re like ‘God, my car’s a piece of junk, I really need to get a better car.’ If you then reframe that to be like, ‘You know, how awesome is it that I have this inexpensive to insure, and to maintain, and to register car, and I have all this extra free capital. How awesome is that?’ It totally changes your life, because you’re then no longer trying to, ‘Ah, I gotta spend money on this or that to keep up with these people.’ And that creates a sense of freedom and also the sense of ‘I have more space in my life to think about other things.'”
There’s gonna be a movie about it coming out.

Annie: Oh, that’s cool. I think that, that actually is a very good example of what I talk about in my book, which is changing what the inputs are that give you the reward. Đúng? So this idea of don’t fight our tribal nature, right? What tribe is giving you, tribe is giving you two things. One is belongingness, right? I belong to a group, and the other is distinctiveness from other people, and this is something that’s actually just very important to us, in terms of our human condition.

And what the general default for that tribal nature does, is it causes you to compare to your neighbors, right, in the way that you’re saying, where, “Oh, they have a really nice car, I need to have one of those as well.” Just like for me in my poker group, the general default in poker is you see these tribes being formed in poker, and I’m sure you know this from sitting at enough poker tables, is people saying, “Oh, I got so unlucky when I lost that hand.”

And other people agreeing with them, and then saying, “Let me tell you about how I got unlucky.” Đúng? Where we want to offload that bad feeling of loss, into a way that socializes it to the world, right? As opposed to privatizes it to ourselves, where we’re onboarding the blame. But you can reframe what it is that you get the reward from.

So the group that I worked with said, “Okay, this is our tribe, what makes you belong to our tribe and be distinct from others is we’re gonna try to be the mistake-admitters. Đúng? We’re gonna try to be the ones who are trying to poke around into the hands that we want, and figure out all the disastrous decisions we made in those. And when we lose, we’re gonna try to figure out what was our part in it? And we’re gonna challenge each other when we hear people talking in a way that we think is biased.” And all these things, so that we’re still getting that need for tribe fed, and we’re still getting the social approval that comes with being in a tribe. That was all really good, it was just that the features that were being rewarded were different.

And I feel like that’s the same that you just described to me, that most of us are naturally getting our reward from, “I have a car that’s just as nice as my neighbor’s, or nicer than my neighbor’s.” Or whatever. But they’ve created a tribe now where it’s, “We belong to a tribe where we have turned that on its head, and the reward for us is that we have an older car. That our expenses are lower, and that we’re in on a secret that they’re not in on.” Đúng?

Because you need that distinctiveness. “We have a secret that they don’t have, and so they’re looking at me in a certain way, like, ‘Oh, look at you with your poor, schleppy car.’ And I’m like the Hobbit, you don’t know the secret. This is the secret to success in my life, right here; that I can resist the temptation to give in to what normal humans are giving in to, in terms of what the comparison is.”

I think it’s a very good example of how you can remold tribe to fit in with what your long-term goals are, by allowing you to still get the short-term reward that we all need. It’s just that, that short-term reward is aligning with what you actually want in the long run.

Steve: Đúng. That’s a great … I mean, I love how you analyzed that, because that’s exactly what’s happening, the folks that are in this Financial Independence movement, they totally reframe it to be like, “Hey, I’m proud of how frugal I am.” And they go out of their way to demonstrate that to their friends, but also in their outside lives.

I mean, just quick story. I met the community manager of this site called BiggerPockets, and I’m gonna hopefully go onto their podcast or get them on here as well. They’re real estate. But this woman-

Annie: I just went on BiggerPockets. [crosstalk]. Yeah, you can go listen to me on BiggerPockets.

Steve: Oh did you? Điều đó thật tuyệt vời. Did you talk to Mindy Jensen?

Annie: No, no. Who did I talk to? David and-

Steve: I know they run two podcasts. There’s BiggerPockets, and there’s BiggerPockets of Money, so I’m talking about the one BiggerPockets of Money. But anyway, so I was gonna grab coffee with her, so we’re in this resort and everything’s super expensive, and I’m like, “All right, why don’t we go in here?” And she’s like, “I can’t buy this food. It is just way too overpriced.” And I was like, “I’ll buy for you.” She’s like, “I won’t let you spend the money on this.” So we had this whole negotiation about where we could eat, and what was possible.

She’s like, “I wanna go out to the store and get food.” I was like, “All right. But there’s also the time value of money and everything else.” Anyway, I appreciate that she stuck to her principles. She ultimately did let me buy her a bagel with cream cheese on it, for $4.50. That was the one thing we could find, and we got some water.

But I appreciated the fact that hey, the core founding principle is, “Look, we’re gonna be frugal, we’re gonna be efficient with our money.” And on the other hand, she’s doing huge real estate deals. It’s not like she’s short of money, she just chooses to live her life this way, and it creates this sense of … Because we’re all sitting here worried about, “Oh, am I gonna run out of money, da, da, da …” And then you look around and you’re like, “oh, what are the current costs of my life? What if it was a quarter of what it is? What would my life be like then?” Well it’d be pretty friggin different.
So I think you’re gonna be hearing more about this, but cool.

Annie: Yeah, well it’s a great example. I hadn’t really thought about that movement in that way, but the way that you described it, really triggered that connection for me, as a really wonderful example of how you can create tribe around thoughtfully thinking about how can we use this belongingness, and the distinctiveness, to actually get us toward a goal that we really want to get to?

As opposed to the default of how we normally act, and it’s really a beautiful example, and I mean I know about the movement, but I’d never thought about it in that way, until you described it in that particular way.

Steve: Well, I’m just learning more about it, too. I just think that there’s a lot of lessons for folks from that community, because they have detached themselves successfully from the normal framework. I mean, we’re all conditioned, we grow up, we’re getting stuff, and we’re taught, “Well, the American Way is to buy more stuff.” I mean, that’s our whole economy right? We gotta buy and consume more stuff, it drives the economy and employs everybody.

On the flip side, we’re getting more and more efficient at creating this stuff, we’re realizing stuff doesn’t make us happier, because hedonic adoption, so I do think that there’s more-

Annie: Choice makes us unhappy.

Steve: Yep. Exactly. There’s all the … Now that we have all this stuff around us, and all this information coming at us all the time, now more and more people are moving towards hey, they wanna see people in person. They wanna have more thoughtful conversations. So hopefully, we will get to a happy place in our society where we can have our core needs taken care of, but still have time in our lives for our family and friends, and the things that are meaningful to us, and do meaningful work, right? Which is what I think really is the source of happiness, not the new 911 in your garage that makes you happy for about a week, and then you’re like, “Wow, this thing’s a lot to insure.”

So look, Annie, I appreciate your time. I know we’ve gone way over, but I just wanna … I’m gonna try and summarize what I’m learning here, and feel free to correct me. But my takeaway from your book, Thinking In Bets is one, there’s a ton to learn. You’ve learned a ton from playing poker and you’ve applied … And also, obviously, all the work you’ve done and research about decision-making, and we almost have to be aware of the biases and beliefs that we bring to the table, and how that affects our thinking.

And then there’s a lot of great lessons if you start to accept the uncertainty in life, try to weight the potential outcomes, and make decisions accordingly. So if there’s a high likelihood, you can put that amount of resources into it. Or high likelihood something will happen, and also high likelihood it’s gonna be really influential for your life, or whatever your business, you can put more resources into that. And if it’s low likelihood, or low outcome, you should invest resources accordingly.

And another big thing is, just learning, right? Having a system to get feedback, and welcome that feedback loop in your life, where you … Annie, one thing you mentioned to me that I thought was great, was you wanna have, I think it was strong beliefs but loosely held. Or evolving beliefs, I guess, is how you put it.

Annie: Yes, but I shouldn’t get credit for that, by the way. That’s a common … Don’t give me credit for coming up with that exact thing that you say, I just wanna not take credit for it.

Steve: Được rồi. But I think that idea of having evolving beliefs, right, that the world is changing, we’re learning, and don’t always default back to how you thought about things, it’s an important part of evolving as a person. Anything else that I missed there, in that summary?

Annie: I think that was a pretty darn good summary, I gotta say.

Steve: I appreciate that. I really did enjoy the book, a lot, and I’m gonna share it with our team, and hopefully our listeners pick up on it. So anything else you wanna cover, any big influencers, or things you wanna call out?

Annie: Yeah, I would love [crosstalk] make it, because it sounds like we’re mission-aligned. Yeah, and the second thing I would say is that, I think this kind of thinking, and this kind of decision-making takes practice. So I have a newsletter that I put out every Friday, which is really looking at current events, and it’s four or five pieces in each newsletter, which is looking at things that are happening out in the world currently, and how do you apply this kind of thinking to them.

So as an example, in the last newsletter, I think I had a piece about the Serena Williams to-do, and what the world really tells us about whether there was sexism or not, and what different arguments people were making, and how you can evaluate those. Just as an example, look at things that are coming out in social science, or behavioral economics, and look at some results that are coming out. Looking at things that are in politics, and how to apply this kind of thinking to evaluate things in business.

I think probably in the next newsletter that I put out, I’m gonna do something about what the shift in opinion before and after the Kavanaugh hearings were, on opinion about who was telling the truth and who wasn’t. Not such a surprise, it seems to be aligned completely with what your political party is, and nobody’s opinion changed very much from the new information, which isn’t that surprising.

So I’m gonna talk about that, and talk about how tribe really drives what your opinion is, and affects the way that you process information. So that’s just a flavor, but people can go onto my website, annieduke.com, and they can see archives of the newsletter there, so they can see if it’s to their taste, that way you can try it before you subscribe to it. But hopefully some people will find some value in that, and will subscribe to it.

Steve: Thanks, Annie, for being on our show. Thanks Davorin Robison for being our sound engineer. Anyone listening, thanks for listening. Hopefully you found this useful. Our goal at NewRetirement is to help anyone plan and manage their retirement so they can make the most of their money and time. And if you made it this far, I encourage you to, as you said, check out Annie’s book, Thinking in Bets, and her website and newsletter, and How Do I Decide, as well. And also welcome you to check out our site, and planning tools at newretirement.com, where you can build your own plan for free, and take advantage of our premium advanced tools, and personal support.

We also have a private Facebook group, and you can find us on Twitter as well, @newretirement. The last thing here, which we haven’t asked for it before but if you like this, we would love to … Either way, would love to get reviews on iTunes, or Stitch, or anywhere. We read them and we’ll try to change the show, based on your feedback. It just helps us build awareness for what’s going on out there.
All right, so that’s it. Thanks again, and have a great day.