过去几年，对数据科学家和工程师的需求超出了预期。招聘网站上发布的机器学习和数据工程师的岗位数量继续以每年两位数的速度增长，而从事这一领域工作的人的工资却越来越高。
加入这些急需的技术人员需要认真的编码工作，这绝对是Python的专业知识和对其他语言的熟悉程度。数据工程师的空缺和Python的主导地位相结合，意味着Python定期制作大多数需求编码语言的图表。
因此，任何打算在数据科学或机器学习领域发展的人都需要构建软件工程技能，对吗？
多特创始人兼首席执行官藤卷错了。近十年来，藤卷一直致力于使用人工智能来自动化数据科学家的大部分工作。
他说，我们可以“消除技能障碍。传统上，构建机器学习模型只能由了解SQL、Python和统计信息的人来完成。我们的系统将整个过程自动化，这样没有经验的人就可以实施机器学习项目。”
DotData的工具目前是作为基于云的服务提供的，它来自NEC。时任公司研究员的藤卷在2011年开始考虑实现机器学习自动化，以提高其研究团队中约100名数据科学家的工作效率。几年来，他一直处于偏远状态，专注于将旨在让机器学习透明化的算法商业化，但在2015年重返机器学习项目。
他说：“在商业领域，机器学习的典型用例是预测，预测产品的需求以优化库存，或者预测工厂中传感器的故障以进行预防性维护，或者对可能的方法进行评分。顾客。”
他说：“开发用于预测的机器学习模型的第一步是特征工程——查看历史模式并做出假设。”功能工程通常需要由拥有各种技能的团队组成——数据科学家、SQL专家、分析师和领域专家。通常，只有在团队提出一组假设后，机器学习才会介入，并结合所有这些假设，找出如何最好地权衡它们，以获得准确的预测。
在dotData的系统中，AI接管了第一步，并基于一组历史数据测试了它的假设。
因此，他说：“你不需要领域专家或数据科学家。作为一个子产品，人工智能可以比人类专家探索更多的假设——在有限的时间范围内，可以探索数百万个假设，而不是数百个。”
2016年，藤卷的团队要求三井住友银行(SMBC)使用传统的数据科学工具为NEC的一个团队测试原型。他说：“他们团队花了三个月的时间，我们的流程花了一天的时间，结果更好。”NEC在2018年初剥离了该集团，目前仍是其股东。目前，DotData约有70名员工，其中约70%是工程师和数据科学家，客户数十人。
标签：