IT管理者目前面临的十大挑战

Qlik公司全球市场情报主管高级总监Dan Sommer表示，捕获“替代”数据非常重要：例如能否提前预测到冠状病毒疫情?对“替代”数据的研究(例如在某个医院的交通数据以及该地区互联网用户的关键词搜索)表明，该病毒可能已在2019年末传播。在2020年之后，替代数据将成为主流，其目标是更早发现异常。由此可以获得衍生数据，这些数据来自记录系统的数据的组合、关联和合成。正如IDC公司所说：“随着越来越多的数据被捕获并可以从外部来源获得，使用更多数据的能力成为一个与众不同的因素。这包括从其他行业吸取教训。这种趋势类似于Gartner所说的‘X分析’，但是由于更低成本的处理和更成熟的人工智能技术(其中包括知识图和数据结构等)，最终成为现代数据和分析的重要基础。自然语言处理(NLP)、可解释的人工智能和所有类型内容的分析。这种趋势完全取决于机器学习和人工智能，因为人类无法完全掌握。

Collibra公司联合创始人兼首席技术官Stijn Christiaens表示，人们经常谈论打破数据孤岛，但是应该承认有些孤岛将永远存在。在大型组织中，将始终拥有具有自己的工具或数据库的部门或分支机构，并且这些分支机构将继续存在。如果组织拥有数据主权，则其办公室将具有孤岛。因此，最好的方法是着眼于如何更好地理解所拥有的数据。数据智能平台可以用作索引和地图，通过提供360度的数据资产视图，向组织展示其拥有的孤岛以及它们之间的连接方式。

Moogsoft公司首席执行官Phil Tee表示，OpenTelemetry将会导致数据过载。在2021年，OpenTelemetry的使用将成为新的行业规范。通过在各个数据源之间建立一致性，这将使数据收集更加容易，但是它也将为组织创建数据流水线，甚至更难找到包含可行见解的一小部分数据。如果没有合适的系统来快速找到真正可行的5%，那么持续不断的数据流将让组织难以应对。因此，IT团队将把重点从获取数据转移到建立一个框架，以根据数据采取行动。

Absolutdata公司首席执行官Anil Kaul表示，数字孪生是流程、产品或服务的虚拟模型。虚拟世界和物理世界的配套允许进行数据分析和系统监视，以帮助在问题发生之前就识别出问题。通过使用模拟，可以防止停机，开发新机会，甚至制定未来计划。新一代的数字孪生技术使组织不仅可以对其资产进行建模和可视化，还可以进行预测，实时采取行动，并使用人工智能和机器学习等当前技术以巧妙的方式增强数据并对其进行操作。

UiPath公司首席信息官Guy Kirkwood表示，数字化转型将开始转变。在这一点上，“数字化转型”已成为所有组织都关注的流行术语，但是这些努力中的绝大部分本质上还是过于战术化。例如，机器人流程自动化(RPA)可能被认为是一种转型工具，但它本身并不是。为了使组织在2021年看到真正的转型，他们需要利用更高级的平台，这些平台结合了核心自动化和人工智能功能，例如文本分析、文档理解和流程挖掘。同样重要的是，这些平台必须具有低代码功能​​，以使公民开发人员能够构建和部署可将价值带回其组织的企业级自动化。否则，组织要实现数字化转型将一直充满挑战，而数字化转型的推动力是轻松部署自动化，甚至部署最复杂的流程。

Metallic公司总经理Manoj Nair表示，组织需要解决新的数据重力问题，疫情导致组织在家远程工作的员工人数发生了巨大变化，加剧了组织现有的数据重力挑战。即使疫情消退，仍然会有很多人在家远程工作。这些组织希望将其应用程序和工作负载移至公共云，但是现有内部部署基础设施上的数据复杂性则使这一事项变得困难，从而阻碍了这些组织的数字化转型计划。有望在2021年看到组织在技术和服务上的投资激增，从而使他们能够应对这一数据复杂性挑战。例如，组织需求将有助于推动新的有线10G技术和无线5G技术的发展，使组织能够确保其边缘数据与云平台之间的连接快速、响应迅速、可靠且安全。此外，希望看到更多采用“备份即服务”(BaaS)和其他智能数据管理解决方案，这些解决方案使组织能够将许多本地数据和员工笔记本电脑上的数据迁移到云平台中，同时还为他们提供保护、管理和控制保留在边缘的分布式数据的能力。组织还将投资于培训和其他变更管理服务，这将使它们能够为远程工作的员工建立基于云计算的文化。面对这一数据复杂性问题的组织可以阻止日益分散的数据环境减缓向云平台迁移的步伐。如果他们希望获得在当今数字经济中进行创新所需要的灵活性、可扩展性和敏捷性，就必须采取这一举措。
 

14、使用梯度剪裁。

剪裁梯度，可以加速加速收敛。最初是用来避免RNNs中的梯度爆炸，可以使用orch.nn.utils.clipgrad_norm来实现。

目前尚不清楚哪些模型能靠梯度剪裁能够加速多少，但它似乎对RNNs、基于 Transformer 和 ResNets 的架构以及一系列不同的优化器都非常有用。

15、在BatchNorm之前关闭偏置。

这是一个非常简单的方法，在BatchNormalization图层之前关闭图层的偏置。

对于二维卷积层，可以通过将bias关键字设置为False：来完成torch.nn.Conv2d(…, bias=False, …)

16、在验证过程中关闭梯度计算。

在验证期间设置torch.no_grad() 。

17、使用输入和批次归一化。

额外提示，使用JIT来融合逐点操作。

如果你有相邻的逐点操作，可以使用PyTorch JIT将其合并成一个FusionGroup，然后在单个内核上启动，这样可以节省一些内存读写。

不少网友在表达感谢的同时，还分享了自己训练时的小Tips。

比如这位炼丹师分享了第“18”个方法，下载更多的RAM。

（编辑：长春站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!