当肯尼斯·伯杰加入松弛2014年6月，该公司正处于成立之初much-buzzed-about上升．作为第一任产品经理，他负责管理产品的功能，使其日用户从10万增长到100多万——所有这些都是在他上任的第一年完成的。的twitter圈对Slack的热爱也在蓬勃发展，产生了140字的赞美，这是企业梦寐以求的。
所以你会认为，所有的指标都指向上方和右侧，伯杰的工作相当轻松。不一定。当然，如果你的增长数据一直看起来不错，你的用户也很满意，这是一件很棒的事情。但随着数据的快速增长，伯杰需要在数据飞过时捕捉并应用有意义的反馈。他还了解到，任何公司都不能固步自守，管理产品的增长可能只依赖于走出去，获得他想要的数据没有已经有了。
在这次独家采访中，伯杰分享了他在Slack以及之前作为初创公司联合创始人、产品经理和设计师时，如何优先考虑反馈的经验。他解释了为什么他看重目标而不是指标，以及为什么创始人需要像科学家一样运作。最重要的是，他分享了筛选大量定性和定量数据的技巧——从网站统计数据到社交媒体，留存率指标到客户支持记录——在噪音中创造一个信号。
追求目标，而不是数字
“问题不在于初创公司缺乏反馈，而在于他们不知道如何处理这些反馈，或者他们应该做什么应该伯杰说。“最重要的是，人们会对他们的过去、他们面前的东西，或者最容易接触到的东西做出反应。”因此，某些渠道被优先考虑，而其他渠道可能被忽视，而且它很少与真正有用或有价值的东西有关。
根据伯杰的经验，避免这种陷阱的最好方法是狭隘而坚定地专注于公司的最高目标。“很多人都执着于一个指标。我们所有人都必须围绕一个代表成功的特定数字保持一致。参数显然非常重要，但对我来说，它们只是让目标变得可衡量的一部分。”
伯杰花了很多时间在创业公司上，他先是与人合伙创办了自己的公司，YesGraph然后加入Slack——他知道环境和思想的变化非常快。如果你不经常重新评估你对组织最重要的目标，你可能会发现自己关注的指标不再特别相关或有效。
“如果你同时在发展自己的团队，情况就会变得更加复杂，因为不仅公司的目标在变化，责任也在变化。有了一个新的部门，事情以不同的方式分割，公司的重点正在随着时间的推移而转移，”他说。
在确定大目标的时候应该管理你的行为，从这个简单的想法开始:每个人都需要知道他们为什么要做他们正在做的事情。确保这一点的目标是什么?伯杰说:“这是整个公司应该关注的问题——能够清楚地表达这些事情。”“然后让每个经理或每个部门弄清楚这对他们意味着什么，以及他们自己的指标应该是什么样子。”
这就是衡量标准变得强大的时候——当最接近这项工作的人为自己定义它们的时候。
“当人们专注于别人告诉他们要注意的数字时，定量关注是行不通的。只有当指标由团队和个人定义时，人们才能用自己独特的观点和专业知识推动它们向前发展。”
毫无疑问，有几个关键指标对几乎任何业务都至关重要——即，留存率和收益．但这些指标是什么样子的，以及你将跟踪哪些其他关键数据，因公司而异。伯杰说:“这取决于商业模式，取决于你是消费者产品还是企业产品，取决于你在组织中属于哪个团队。”“我反对‘一个指标就能统治一切’的世界观，因为如果你只看顶线增长，那么客户支持团队对增长有什么贡献呢?客户支持团队通常非常重要，所以如果不给他们一个对他们直接有意义的指标，就会低估他们在公司中的价值。”
有规律地重新审视你的目标-无论是一个月，一个季度，还是任何对你的业务有意义的时间框架。你是否专注于新用户?为现有用户创造价值?公司目前的重点是什么?有了这个背景，你就能更好地处理所有向你袭来的数据，并确定目前哪种反馈最适用。
同时，也要注意在内部分享这些优先级。不可避免地，你将不得不选择一个产品功能需求而不是另一个，或者朝着只满足一个部门需求的方向前进。伯杰说:“对所有不同的反馈来源以及你如何优先考虑这些反馈——或者至少解释为什么路线图顶部的事情要放在路线图的顶部——这有助于让每个人都觉得他们的反馈得到了认可。”
在创业公司，你不可能同时做所有的事情。通过建立一种清晰的、清晰沟通的优先级文化来对抗尝试的冲动。
更聪明的假设产生更聪明的见解
设定和评估公司目标的过程很像科学家的工作，不断地做出和测试假设。”人们认为科学更注重定量，”伯杰说。“当你建立一个实验时，你建立了一个假设，你建立了你想要测试这个假设的方法。在商业领域，你可以把它看作是设定目标，并为这些目标设定指标。”
但是一个单一的实验从来没有真正看到整体的情况——也就是说，你可能没有提出正确的假设，甚至没有选择正确的度量标准来衡量它。对数据进行科学处理的一部分是要了解大局，并知道何时相应地调整你的理论。
例如，在Slack早期，伯杰尝试了一些流行的营销机制，看看能否吸引更多的注册用户。“我只是想开始，尽我所能帮上忙。我知道，对于不同的成长技术，有一套我们没有使用的最佳实践。所以我们说，‘好吧，让我们开始建造一些，看看它们能做什么。’”列表上排在第一位的是向那些注册了该服务但尚未成为活跃用户的用户发送的保留邮件。接下来，他尝试了一个免费试用的实验。
”当我们构建这些内容并在不同的用户群体中进行测试时，我们看到了一些改进，但这些改进都是微不足道的。我认为我们明白这些事情是有代价的。这是一种权衡，”伯杰说。在这种情况下，这种交换是不值得的。留存率指标可能指向了一个结论，但从更大的角度来看，它开始变得非常不同。“当我们查看数据时，我们认为不值得为了增加用户留存而增加复杂性和支持成本。”
有时，测试假设会导致Slack的战略或信息传递发生关键转变。例如，从一开始，该公司就决定不把产品作为聊天应用来谈论，而是专注于他们更广阔的愿景:改变工作，建立更好的沟通，创造更大的透明度。
但当他们最终进行一些可用性测试时，他们发现了一些有趣的事情。早期，由于出色的公关推广，大多数人都是通过关于Slack的文章来访问该网站的;他们刚刚了解到该公司的业务，所以网站用抽象的术语来描述是可以的。但这对不熟悉的游客来说行不通。“人们有点困惑，不知道重点是文件共享、沟通还是工作效率。他们需要一些清晰的内容，但当时我们的主页上甚至还没有产品的截图。我们并没有把消息传递作为软件的主要综合框架。
从那以后，Slack增加了一张截图，在教育潜在用户方面发挥了很大作用。现在，公司和产品已经成为科技时代精神的一部分，他们已经从主页上删除了图片，但明确地把消息功能放在了前面和中心。
这个案子的解决办法很明确:强调信息传递，并以此为桥梁，谈论那些更有雄心的好处。这并不是说最初关于改变工作方式的信息是错误的或不重要的。这非常重要。但我们了解到，你需要讲述一个对他们有意义的故事。”
你需要带人们一起去旅行，让他们从‘这是什么东西?我只是随便点了一个链接，让我真正相信公司的使命。
另一个假设是，Slack应该如何证明自己对用户的实用性。该团队开始测试一个特定的策略——让潜在客户一整天不用电子邮件，用Slack代替所有的消息和沟通需求。这在某种程度上是一场赌博，要求人们放弃日常生活，同时让产品承担沉重的负荷。但实验是成功的。通过让人们在24小时内不再收发电子邮件，Slack团队明确地展示了这款工具的强大功能，有力地证明了它可以提高工作效率。
了解自己的偏见并加以控制
我们还能从科学家身上学到另一件事?偏见是不可避免的(无论我们的思想多么开放，我们都有偏见)，它们不可避免地会影响你对数据的解释。要意识到这一点，并明确说明你将如何控制最常见的偏见来源:
选择性偏差
这是伯杰在收集和审查产品反馈时最常遇到的问题。“例如，你必须明白，你的支持请求只来自最活跃的用户。如果你在和那些已经喜欢你的产品的人交谈，你就把那些不喜欢你的产品的潜在客户都排除在外了。”
或者你计划做一些可用性测试?在Craigslist上招募测试人员是合乎逻辑的下一步——只是要记住，对这些帖子做出回应的人并不代表潜在用户的最广泛的交叉部分。“这并不一定是件坏事，只要你明白这是一种约束。但这也意味着——我做这类测试已经很多年了——你会找到专业的测试人员。所以你学会了认识它们，并说，‘好吧，这是损失。’你需要知道你的数据中会有一定量的噪音，然后继续前进。”
确认或观察者偏误
在你的数据中看到你想看到的东西——或者你预测的结论——也是非常自然的。“再说一次，没有人应该为此负责。这只是一个努力对抗它的问题。想想数据可以支持的其他假设。它可能意味着你所想的，也可能意味着X、Y或z。主动抵制跳跃去看你想看的东西。”
事实上，伯杰认为这个过程是为一家年轻公司工作的一个特别令人兴奋的部分。来自更大、更成熟的组织的员工可能习惯于利用数据进行轻微的航向修正——例如，A/B测试主页上的哪个词会影响指针。
“特别是如果你处于早期阶段，你的数据可能会走得更迂回。要愿意踏上这段旅程，并尽快开始。它可以教会你关于产品或客户的新东西。”
在加入Slack之前，伯杰与人共同创立了YesGraph公司，这种基于数据的旅程以一种特别引人注目的方式呈现出来。该产品最初是作为帮助招聘人员从他们的社交网络中寻找候选人的工具设计的，但他发现用户并没有通过采用过程，而且公司也没有扩大规模。
“实际上，我们有一个非常有趣的产品，可以找到合适的人邀请到你的社交服务中。我们有大量的数据，用来了解人们，以及谁可能最容易接受连接到这项服务。事实证明，这对一些社会服务机构来说是非常有价值的。”伯杰说。从那以后，该公司朝着新的方向发展，并蓬勃发展。
报告的偏见
观察者偏差是指在数据中看到你想看到的东西，而报告偏差意味着只看你最喜欢的数据类型。通常，这表现为对更难看到、更难深入或量化程度较低的数据源不重视。“在为不同的产品决策进行权衡时，这一点经常出现。你可能有一个非常量化的来源，所以你专注于衡量它——而这个来源说明了好处。但可能有很多定性的衡量标准揭示了不利的一面。例如，你的产品可能在推动增长，但客户满意度如何?支持量如何?”伯杰说。
你总是会面临权衡来自不同地方的数据的挑战，但从多个角度来看你的产品决策是值得的。他说:“对任何产品决策的利与弊保持清醒的认识，并理解数据将来自许多不同的地方，这真的有助于你保持清晰的视野。”“我认为它帮助我们在Slack做出了很多明智的决定，比如围绕着我们尝试的那些订婚邮件。今天我们仍然可以管理所有这些复杂性，但当我们着眼于大局时，这就不值得了。”
结合定性和定量数据，使两者都更强大
尽管如此，在构建假设并开始设计测试时，您仍需要从您认为最有指导意义的数据源开始。伯杰说:“关键在于你有什么问题，你有什么机会收集反馈，以及正确的方法是什么。”当谈到定量和定性反馈时，他有一个一般的经验法则:
定量数据可以告诉你是否有问题，定性数据可以告诉你原因。
当您确定少数数据源的优先级时，还应该跟踪其余的数据源吗?换句话说，在一个一切都可以被工具化的世界里，是否有理由捕捉一切，以防万一?
“这是噪音的问题。通常，捕获数据不是免费的。可能会有显性成本，或者至少是机会成本。”即使数据确实是“免费”的——例如，在应用程序的分析仪表板中添加一个新的指标很容易——也要考虑是否值得分散注意力。这通常是一种无形的成本。
“把所有事情都记录下来很容易，就像查看Twitter上的每条反馈一样容易。你总能找到一些令人担忧的数据，无论是定性的还是定量的，”他说。但如果你已经明确了自己的目标，也清楚了如何实现这些目标的假设，你就可以抵制因为某个人不喜欢某个功能而匆忙改变产品的冲动。有时可能会有实时的Twitter反馈是你要优先考虑的源代码——例如，紧跟在一个新版本之后。但是，您需要辨别这种数据何时适合您所测试的内容。
“你需要了解并明确你的数据源。这是最重要的事情，其他的事情都不那么重要。这并不意味着你不关注其他事情。如果你认为你的最新功能很重要，但它开始破坏客户支持，你需要倾听这一点。但你不必对每件事都一视同仁。”
收集你没有的数据
通常情况下，当你的量化数据暴露出产品的问题时，你会在分析仪表板上快速浏览一下。“大问题是显而易见的。它们不是微妙的东西，”伯杰说。定性反馈在很多方面都比较棘手。还记得选择偏见吗?与网站流量或留存数据不同，当你查看支持反馈或社交媒体feeds时，你所看到的只是整体情况的一部分。获得可操作的定性数据通常需要走出去并主动寻找。
当伯杰加入Slack时，他面临着一个似乎令人羡慕的问题:产品反馈非常糟糕伟大的．“早些时候，我对自己说，‘好吧，如果Twitter上的每个人都说这是自切片面包以来最伟大的事情，那我还在这里做什么?我该怎么增加价值?’”
所以他找出了那些什么都没说的人。他知道公司的下一步需要支持更大的团队。当时，Slack用户最多有300或400人的团队。所以伯杰去拜访了他能找到的最大的团队。他说:“这非常有启发性，因为他们的体验与那些在Twitter上非常活跃的用户截然不同，令人惊讶的是，这些用户与我们的团队非常相似。”
他学到的是，虽然这些团队从产品中获得了很多价值，但他们也有持续的挫折。其中大部分都是快速修复。“只关注单一的反馈来源是很容易的，这太好了——每个人都喜欢Slack!但从长远来看，这并不有利。”
你总是要转向下一件事，而下一件事总是要解决下一阶段的成长。
虽然收集这种前瞻性的、高度定性的数据似乎与你的分析仪表盘的清晰舒适截然不同，但事实并非如此。在这里，你也应该从一个假设开始，然后确定你将用于测试它的指标和过程。
伯杰说:“我的假设是，我们没有尽力为那些规模更大的团队提供服务。他很快就找到了Slack最大的客户，从旧金山湾区(Bay Area)最容易到手的客户开始，并与之接触。“在一两周内，我就带着一系列问题出来了，这些问题并不是针对任何特定的问题，而是关于了解这些团队是如何使用产品的。”
这些问题本身很直接:你如何使用Slack?谁在组织中使用它?他们用它做什么?你还使用其他什么工具，Slack是如何融入这些不同工具的?你是怎么收养它的?
例如，当Berger和他的团队第一次开始进行这些访谈时，该产品带有一定数量的默认通知，以及切换通知首选项的方法。因此，如果你在团队中工作，当你的同事采取各种行动时，你会收到一定数量的电子邮件或桌面通知。这对于小型的新团队来说非常有效，因为他们需要大量通知去关注所有发生的事情。但同样的通知集对大型团队来说是压倒性的。
这是伯杰一次又一次听到的反馈，因此，Slack为更大的团队创建了一套不同的默认通知。这减少了人们一天中收到的ping信息的数量，同时还能让他们处理自己的个人信息和团队的总体活动。这对规模较大的公司产生了重大影响。
虽然定量数据可以很容易地以仪表板的形式呈现，但如何消化像“我收到太多通知”这样的定性反馈，并与团队共享?
伯杰说:“我能说的最简单的事情就是，你最大的结论将是显而易见的。“很多人都不知道如何使用定性数据，因为假设你出去采访了五个人。你会说，‘好吧，只有五个人。我怎么知道要注意什么，或者这是否重要?这就是前期准备变得如此重要的原因。你不能随便找五个人。你会思考你的假设是什么，以及谁是去验证这个假设的合适人选。”
当然，这五次访谈可能无法对每种类型的用户提供无懈可击的见解。但如果像Berger一样，你去的是大型团队，你只能对大型团队做出结论。如果你只与高度活跃的用户交谈，那么你就收集到了关于活跃用户的有意义的数据。
此外，有时你会遇到不需要通过调查来测试或探索的用户反馈。这很有意义。“有时候你会看到一个人以一种疯狂的、与众不同的用例使用你的产品。但是其他时候，您会看到特定用例中的某人有一个严重的问题。你不需要去看其他人，因为你知道每个人都会遇到这种情况。”
在采访Slack的大群体用户时，他遇到了一个这样的问题:该产品的自动完成功能在用户名上操之过急。如果有人输入一个简单的单词，比如“don’t”，就会自动补全一个用户名，比如“@dondraper”或“@donjohnson”。伯杰不需要从更多用户那里收集信息来对这个问题采取行动;很明显，任何给定规模的团队最终都会遇到这个故障。“你看到这样一个案例，你理解它，你可以推断解决它有多重要。”
伯杰的另一个指导思想是:在你的产品中，有些事情是你希望每个人都能做的。
这些用例对你的产品的成功至关重要，即使是很小的用户样本量也能给你足够的数据。“例如，你可以想象每个人都应该能够通过入职培训。如果你已经决定要试用Slack，那么理论上我们希望这些人百分之百都能通过。从这个意义上说，如果你把它交给五个人，但只有三个人能做，很明显你有问题，”他说。
当然，5个用户并不总是足以获得所需的数据。“同样，这更多的是将正确的工具与正确的问题匹配的问题。”走出办公室，与用户见面是比较困难的，但它可以提供关于需要改变什么或下一步将产品推向何处的总体反馈。另一方面，对于细微的变化，您可能希望从更大的组中收集数据。“例如，如果你想增加你的入职流程，可以去掉分析，或者尝试在你的主页上进行调查或问卷调查。”
伯杰建议，无论来源是什么，处于早期阶段的初创公司都不要过于担心他们是否知道如何处理他们的数据。“仔细选择你的假设，仔细选择你的谈话对象，接下来要做什么几乎总是很清楚的。”
