周后埃罗推出了同名产品，Beta和特殊项目主管凯利尼瑞产品主管保罗Nangeroni终于喘过气来了。成千上万的消费者放弃了摇摇欲倒的路由器，转而使用eero的家庭WiFi系统。《财富》杂志,《华尔街日报》,《今日美国》,边缘其他人则给出了积极的评价。如果你让Neary和Nangeroni找出eero成功发布的原因，他们会回答:我们的测试版程序。
在eero发布前的6个月里，初创公司的所有人都齐心协力，但Neary和Nangeroni负责这项工作。奈里最近在Nest工作，她推动了早期的测试项目，后来在七个国家推出了专业安装人员网络。在苹果，南格罗尼负责一系列产品的硬件项目管理，包括多代iPod Touch、iPhone 5C和Apple Watch。
在这次独家采访中，Neary和Nangeroni分享了为什么测试版是成功发行的基础。作为预演，这些测试不仅有助于在产品发布前完善产品，而且还为吸引早期用户和培养品牌冠军奠定了基础。他们把测试过程分成三个部分——准备阶段、启动阶段和回环阶段，并传授了加强每个阶段的技巧。任何准备进入市场的初创公司都将受益于eero发布的深刻见解。
Beta测试的前奏
从一开始，eero就知道一个测试版程序对它的发布是特别重要的。不仅要同时测试硬件和软件，而且要保证所有人都能使用可靠的WiFi，无论他们的家庭配置如何。测试程序将对eero的技术和品牌进行测试。“因为WiFi在我们今天的生活中如此不可或缺，我们真的必须学习如何最好地支持该产品。在这种情况下，你不能运行一个测试版，玩上几个小时后就把它收起来，”Neary说。“我们知道它会一直在测试者家里的后台运行，所以我们必须准备好每周7天快速全面地支持他们。”
从测试的角度来看，这意味着要从测试中获得最大收益需要更高的门槛。他说:“我们要求人们把基础设施的实体部件搬到家里。要为我们获得有用的数据，它必须工作得足够好，才能对他们真正有用，”南格罗尼说。“所以我们决定仔细考虑我们的测试，就像很多创业公司在实际产品发布时一样。这也是我们找凯利来的原因之一。基于她在Nest的经验，她启动了beta测试，并知道如何完善和扩展它。”
团结内部，跨部门优先买入。
从一开始就要有意地让公司的每一个职能都到位。“不要因为你的团队使用了产品并且还在测试阶段，就认为他们已经准备好支持它了。在内部组织每个团队需要很大的动力。这不仅仅是完成开发工作或提供基本的支持工具。”“测试版应该是一次发布的试运行，就好像产品即将上线一样。我们让我们的员工做到这一点的一个方法是，如果他们的上司有问题，我们要求他们打电话或发邮件给支持团队，而不是直接走到支持台。他们借鉴了我们的beta测试者的经验。beta测试需要这种细致的计划和发布。”
特别是对于早期的公司来说，测试前的会议召集跨部门的参与者是非常关键的。对于eero来说，这是一个早期的例子每一个人一起紧密合作。“你需要来自每个团队的利益相关者，他们可能会展示或听取来自测试小组的反馈。你必须把它看成不是一个关于测试程序的会议。这是生产的做法，”南格罗尼说。“随着全面的公开发行，节奏会发生变化。几周后，我们继续每天开会。六个月后，每周都有。会议的节奏可能会改变，但议程不会改变。测试是明确该如何构建这一过程的好方法。”
你的测试是让你的“可能”变得清晰的地方。这是在内部测试支持部门的试运行。
在设计测试版时，首先要考虑多样性。
在eero的测试版中，研究团队查看了由朋友和家人推荐的申请人的详细资料。预期的beta测试者填写了一份申请，允许eero选择一组具有非常多样化的代表，它认为真正的客户集将是什么。这帮助Nangeroni和Neary接触到尽可能广泛的用户基础，从而发现可能出现的任何重大问题之前正式启动。
“我们正在打造一款进入人们家中的产品，但家庭就像人本身一样独特和不同。当公司里的每个人都住在旧金山的一居室公寓里时，仅仅依靠员工进行测试并没有什么帮助。”南格罗尼说。“很难估计一个2000平方英尺的中西部郊区家庭的WiFi性能应该是什么样的。”
根据Neary的说法，eero是这样设计流程的，并考虑到多样性的问题:
设备。“eero必须能在所有联网设备上良好运行。手机、笔记本电脑、平板电脑、可穿戴设备——你能想到的都有。我们希望通过选择能够测试我们清单上每一种设备的家庭来覆盖我们的基础。”
房屋．“我们特意在不同的州选择了不同的isp。这本身就带来了很多变数。我们还为样本组提供了不同建筑材料的房屋，这些建筑材料会影响WiFi的覆盖范围和强度。”
用户的专业知识．“我们预计我们的客户会表现出一系列的技术悟性。不是所有人都能成为超级家庭网络。”
除了在你的样本中建立多样性，结构问题以一种微妙的方式揭示多样化的经验。奈里说:“我们不是问用户有多精通技术，而是问他们的职业、他们使用的调制解调器的类型以及他们在网络上运行的设备类型。”“如果他们不知道他们有什么样的调制解调器，这是很好的，它自己有价值的数据点。综合起来，它们就变成了强有力的、诚实的指标。”
无论你的多样性参数有多广泛，你的beta组都可以帮助你填补空白。“有人想在他的树屋里安装WiFi。所以在测试版中，我们进行了测试。我们并不想面对那种类型的房子，但我很高兴我们面对了。这就少了一种可能在正式发布时让我们感到惊讶的情况。”Nangeroni补充道:“这也是根据你的价值主张量身定制问题的价值所在。所以当我们问beta用户家里是否有盲点时，树屋之类的情况就会出现。这些类型的实例不断地检验着我们对目标人群的理解，而且很有帮助。”
优化你的测试版本，而不是完美。
最大的问题是什么时候在公司之外参加考试。根据Nangeroni的说法，这并没有一个严格的时间表，而是在你进行beta测试之前必须达到一个平衡。
不要等到所有事情都进入测试阶段。你将失去真正迭代的机会。但也不要参与多线作战。
你的目标应该是折中，在日常使用中没有突出的问题，但有足够的粗糙之处来引发有意义的反馈。首先要问的问题是:你所测试的产品的不可缺少性是什么?Nangeroni说:“如果你测试的是基本的基础设施，或者每天使用几个小时的东西，你就会得到不同的答案。”“我是这样检查的:如果你的硬件不成熟，有很多已知的漏洞，软件有主要的稳定性和性能问题，或者一个绿色支持团队没有正确的工具，请暂停。任何一种都可以，你可以开始了。如果你有一组宽容的beta用户，即使两个也是可以的。但超过这个水平，就很难在产品不成熟所带来的噪音之外，收集到有意义的见解。”
测试版发布
从端到端，eero的beta测试持续了6个月，最终产品公开发布。如果知道什么时候开始测试是基于产品的成熟度设置的，那么知道什么时候结束测试就更容易定义了。Nangeroni说:“保守的经验法则是，在锁定产品候选软件之后，至少将产品发布时间定在三周内。”“这为评估运输代码上的定性和定量指标提供了充分的跑道，并有信心产品已经准备好发布。”
也就是说，Nangeroni建议测试跑道应该少以月为单位，多以指标衡量。“给自己一段合理的时间来收集反馈，并在产品发布前将其反馈到产品中。理想情况下，测试应该在您做出必要的调整以达到性能、稳定性或速度所需要的水平时结束。你的测试客户——他们每天都在使用你的硬件和软件——需要时间来帮助你走完最后一英里。”
那么，一旦产品发布，测试就会停止吗?南格罗尼认为这个过程更容易变化。“我个人认为测试版应该永远运行下去。它可能会改变形态。你可能会时不时换掉测试用户，但反馈循环应该持续下去。”“从收集这些用户见解中获得的价值，是产品团队应该无限追求的东西。”
beta测试更像是乒乓球而不是火箭发射。这是一种持续的交流，而不是一种只被观察到的释放。
卷起你的袖子——你就是你最好的工具。
运行一个优秀的测试程序需要大量的工作，特别是对于那些缺乏成熟流程和工具的早期公司来说。“不要低估测试程序需要多少人力，”Nangeroni说。“假设你想在现场部署一些新硬件，但出现了错误的软件。也许应该自动更新的工具现在坏了，或者服务器宕机了。即使是最完善的计划也会出现无数不可预见的问题，并迫使团队投入大量精力以确保一切都能够向前发展。”
对于eero的Beta发行，团队触及了过程的每个部分。Neary说:“有三个人致力于领导测试项目，但这是一个全员参与、跨职能的工作。”“我当时正在打包盒子，填写地址标签。我们做了记录，并把它们汇集到通话记录中。随着公司的发展，会有更多的工具，但你就是你最好的工具，尤其是在早期阶段。”
实时迭代并完善测试版。
能够充分利用beta测试的公司会改善用户体验和测试本身，因为它们都在进行中。开始的在产品开发过程中集成它们，就像它们是团队的扩展一样．“从多个方面来看，beta测试都是一个机会。首先，我们希望任何与eero接触的人都能有愉快的体验。我们的测试版是我们的第一个福音传播者，所以我们想确保他们超级开心，”内瑞说。“如果服务得当，这不仅刺激了产品开发，还奠定了品牌建设的基础。当我们的测试版迫不及待地想要在社交平台上发布游戏时，我们便知道自己的做法是正确的。他们是我们最大的支持者。”
根据Neary的说法，eero是这样把beta用户变成领军人物的:
提前宣布拓展的频率。“在我们的测试组签约之前，我们明确了他们希望收到我们反馈的频率。我们让他们知道，我们会每周联系他们一到两次，了解他们发现的所有内容，从功能请求到漏洞。”
寻求过程而不仅仅是产品的改进。“我们的beta测试者不仅会收到关于产品的问题，还会收到关于beta测试本身的问题。我们询问他们测试进行得如何，他们希望在什么日子和什么时间联系，如果他们喜欢电子邮件或电话通信等等。我们跟踪NPS测试版程序与产品NPS分开。”
不要关闭循环;关闭他们的循环．“当我们有新的部署要分享时，我们会联系那些期待的人那修还是谁经历过的那问题，让他们知道我们在解决漏洞。开放的交流渠道只有在与主动发起交流的用户相关时才会非常有用。”
以全新的视角循环。“不要在测试结束时自满。利用最后两周的时间来整合一组新的beta用户，他们可以真正带来新鲜的目光。当我们进行最后一次大型软件升级时，我们将其推向了一些最早的beta测试者和那些从未见过或体验过该产品的人。我们在设置过程中不断引入新人，以获得新的视角来补充来自资深测试员的反馈。”
胡椒的解剖。”我们在每个版本发布后都做了一个事后分析，以注意哪些是有效的，哪些应该采取不同的做法。特别有效的是什么不直到测试结束才进行事后分析，但要在整个测试过程中逐步进行。”
我们认为每周与beta测试者交谈两次是高度接触。他们的反馈是，他们愿意花更多的时间和我们在一起。
调整来自朋友和家人的反馈。
许多创始人都是在同行和亲戚中首次推出产品，他们通常把这些人视为最早的拥护者。虽然我们不应该避开这一群体，但我们应该在测试环境中清楚地理解他们。“测试的目的是以一种包容、有组织的方式获得真正有用、有价值的用户反馈。朋友和家人各有利弊，”南格罗尼说。“它们在安全性、保密性以及对硬件不成熟的固有容忍度方面做得很好。然而，他们非常非常不善于诚实地回答他们对产品性能的看法。事实证明，我妈妈几乎喜欢我做的一切。”
南格罗尼和奈里知道，当埃罗的朋友和家人获得天文数字般的高NPS分数时，他们得不到公正的反馈。这时候你就需要把调查反馈放到测试中。你不能仅仅依靠它来决定是否满足客户的需求。相反，你应该深入挖掘每个人的自由回答，并检查你的产品是否如客户所认为的那样运行。在eero的案例中，我们还将调查结果与我们掌握的网络健康数据进行了比较，以挖掘出更多的背景信息。”
防止来自朋友和家人的过度乐观评价的一个方法是重写调查问题。不要采用要求从1到10打分的评估方法。相反，问一些有强迫作用的问题。例如:“如果你必须改变产品的一个方面，你会改变什么?””“Nangeroni说。“为避免产生偏见而量身定制问题，可以使调查的效用最大化。即使出于战略考虑，你一开始找的是朋友和家人，你仍然希望从他们的回答中得到一切你能得到的东西。”
如果eero在发布测试版时的员工数量是现在的两倍，它可能会在内部进行测试。“我们最终打开了一个通用的链接，让人们申请参与测试项目，但这只通过员工分发。我们仔细筛选了外部测试版用户，确保产品不被曝光，特别是考虑到媒体禁令。”
用信任来提高你对保密的期望。
Neary和Nangeroni意识到，即使是部分外部测试也是有风险的，但为了获得最好的第一代eero，这是值得的。“我们确实采取了一些措施来缓解任何失误，但最终你必须信任你的测试群体。首先，我们回顾了每个beta测试者的个人和家庭资料，不管他们是谁推荐的。然后我们清楚地沟通了过程和最终目标，我们强调这需要他们的斟酌。”然后我们再次提醒他们。在我们运出的每一箱eero中，都有一封来自eero首席执行官尼克的信，感谢他们的参与，并提醒他们不要分享任何体验的细节。”
测试后循环
在从beta测试转向公开发行前的最后一个关键步骤是与团队一起分析反馈，并与最初的早期用户群体一起结束这一章节。你的测试已经结束，你正盯着一堵反馈墙。“我们很幸运地获得了许多来自测试者的反馈，他们喜欢与我们交谈。目标是分配影响。你要看看你的目标用户中有多少人会受到影响。”Neary说道。“一些有严重问题的人可能比所有人都有影响较小的问题的人更优先考虑。我一行一行地对评论表进行分类和排名。然后是时候与更大的团队分享反馈了。”
指导工程师从前线到底线。
在测试结束后，在正式发布之前，支持团队和工程人员之间需要进行大量的反馈迭代。“工程师很难从普遍的反应中采取行动。通常情况下，他们希望听到测试版用户的声音，这样他们就可以在本地复制，并清楚地了解客户的确切需求。”“我们的解决方案包括分流会议，通过会议，我们的目标是加强客户支持和工程师之间关于用户反馈的沟通。”
简化松弛帮助巩固沟通的渠道。“最初在eero，团队有不同的Slack渠道来解决客户支持问题，员工”狗粮’问题、电子邮件和短信，”南格罗尼说。“所有这些形式的交流都让我们很难专注于重要的事情。虽然团队对报告的问题有很高的响应率——通常在几分钟内——但它太过被动，导致工程师从更关键的工作中分心，绕过了生产支持流程。”
最终，Neary和Nangeroni开始将聊天平台上的所有交流汇集到一个常设会议上，这样技术支持人员就可以定期与工程师进行讨论。“这很难，因为工程师不想被及时的、具体的问题所隔离。支持人员必须帮助筛选问题，集中精力解决大问题，并交付给工程部门。”
这似乎违反直觉，但从长远来看，稳定的分类比反应性反应要好。南格罗尼说:“我不能低估这有多难，因为当你实施这种流程时，感觉一切都在变慢，你的敏捷性和反应性都在下降。”“但另一种选择是，让工程师们不要埋头固化他们应该发布的功能。如果他们响应特别的请求，支持团队就不能验证他们的工具是可伸缩的，因为它们也开始反应性地操作了。这是一个恶性循环。”
缩短工程师和测试组之间距离的一种方法是代表开发团队翻译和交付技术问题。“我们会问技术团队他们想要了解更多的东西，然后由我们来组织这些问题，以获得他们想要的反馈，”奈里说。“如果这些问题是非常技术性的，它们对一般的测试者来说是没有意义的。我们可以通过翻译技术团队的问题来提供帮助。”
每一封邮件、每一次开箱体验和每一次互动都是一次机会，让我们的品牌、我们的信息和我们是一家公司。
感激所有的反馈。
如果测试版用户给了你一些看似无关的反馈，你仍然要感谢他们。“不仅要感激他们花在你身上的时间，你还必须记住，他们在这个过程中与你同在。我们的测试者花时间关闭了他们的整个网络，然后重新建立起来。我们至少可以对他们的反馈表示尊重。”Neary说。“我们肯定会记录所有的反馈，因为在当时看起来微不足道的事情可能会在关键的用户群体中变得普遍。例如，当我们第一次将eero系统发送给beta测试人员时，我们并没有一个“开始”标签。“我们听到一些测试者说，他们不知道从哪里开始，因为所有的麋鹿看起来都很相似。在记录了几次反馈后，我们意识到我们需要更好地引导用户，让他们知道从哪里开始。”
提供结束和更多的曝光。
如果你进行了正确的测试，你的早期用户不仅会投资于你的技术，还会在情感层面上投资你的品牌。“成功的部分原因在于与测试用户建立社区意识。这需要付出很多努力，但随着时间的推移，你开始与这些人建立融洽的关系，”南格罗尼说。“当你建立起这种信任时，人们不仅对你的产品感到满意，而且对它的发展方向感到兴奋。”
Nangeroni和Neary建议以测试结束这一章节，并为早期用户提供保持粘性的选择。“从和他们分享这个里程碑开始。发射日是一个值得共同庆祝的既定成就，也是另一个报到的机会。这很像毕业典礼，”内尔里说。
当涉及到持续吸引测试用户时，你应该提供明确的选择让他们保持粘性。Eero为三个不同的组定义了路径:
社区成员这些人是最有发言权的，最有帮助的，通常是最懂技术的测试用户。我们可以很容易地与他们1:1的基础上解决问题。不管他们是朋友还是第三者，我们都知道他们的住宅布局和个人资料。我们的关系很好。”
目标客户．“根据我们一年的路线图，这些beta测试代表了我们希望吸引和留住的用户。如果我们知道自己想要瞄准特定类型的家庭用户、用户或ISP，我们就会将测试群体纳入其中。”
角情况下我们的客户支持团队接到很多来自不同类型的家庭和用例的电话。每一款都能让我们更好地了解客户群体的边缘。例如，树屋的WiFi。如果这些客户愿意与我们1:1的合作，我们将邀请他们继续与我们合作。”
其中一个测试版的联网设备无法很好地使用eero。最后，问题出在设备上，所以我们给他买了一个新的，以感谢他抽出时间。
当eero在2016年初推出时，它已经与数百名beta用户对产品进行了审查。支持团队知道他们的名字和每栋房子的平面图。许多测试者都是WiFi系统的拥护者。这是认真准备和勤奋执行eero测试版程序的结果。作为这项工作的领导者，南格罗尼和奈里加强了beta测试的所有三个部分:准备、发射和回环。一开始，召集不同类型的早期用户和跨职能团队来支持他们是同样重要的。在发布产品时，不仅要实时迭代和改进产品，也要实时改进你接收反馈的过程。最后，让你的工程师对测试请求做出反应(但不是被动的)，并创造新方法吸引你的忠实测试者转变为品牌冠军。
“测试不仅仅是让产品的发布有价值，它是一个很好的触发器，使组织的所有部分都不受影响。您正在使用的向用户发送电子邮件的工具有用吗?如果他们有评论，他们会被客户支持部门捕获吗?beta测试是产品的端到端测试而且启动,”尼瑞说。Nangeroni补充道:“不要低估执行有效的beta测试所需要的工作。这需要很大的勇气、专注和承诺。你的团队中已经有三个人在做其他的工作了，你不能让他承担这种责任。这需要每个部门每个级别的员工都认真奉献。精通beta测试意味着熟悉客户，这将帮助你获得未来的成功。”
