图像阅读器Mod TIBCO®数据科学-团队工作室

这个产品包括一个定制的mod,它提供了使用TIBCO Data Science - Team Studio读取图像的能力。该mod允许用户使用无代码UI从集群中读取图像。

兼容产品

TIBCO®数据科学团队工作室

提供者

TIBCO软件

兼容版本

TIBCO数据科学-团队工作室6.5

许可证

BSD.

概述

TIBCO®Data Science - Team Studio的Image Reader MOD允许用户在后端使用Apache Spark从集群中读取图像。

这种能力对于使用团队Studio平台操纵图像数据和构建计算机视觉模型特别有用。

MOD的输出将是几个元数据列和包含一串逗号分隔像素的数据列。

如果要在团队工作室环境中开始使用Mod / Custom Operator,请按照此操作知识库文章用于安装指南。

释放(s)

发布1.0.0

发表:2020年8月

最初版本

包括:

  • jar文件(mod /自定义运算符库)
  • 德赢vwin跑分

版本1.0.1

目前还没有对该内容的评论。

为什么不先审查它 -按此登入

计算机视觉

介绍

计算机愿景是一个跨学科的科学领域,涉及计算机如何从数字图像或视频获得高级了解。从工程的角度来看,它试图了解和自动化人类视觉系统可以做的任务。[]

在这一页,我将讨论计算机视觉的基础知识和当前解决这个人工智能问题的行业解决方案。

图像结构

图像是一组整数,表示0到255之间不同像素值的强度。图像可以是黑白(BW)或彩色(RBG)。

例如,看看下面的BW图像。我们可以看到大图像中的一小部分是什么样的。注意,在整数矩阵中,0表示一个完全黑暗的像素,255表示一个白色像素。所有其他位于0到255之间的像素值都以不同的灰度显示。

图像像素的图像结果

图片来源:https://seis.bristol.ac.uk/~ggjlb/teaching/ccrs_tutorial/tutorial/chap1/c1p7_i2e.html

彩色图像也非常类似于上面显示的BW例子,除了一个关键的区别。彩色图像将有3个不同的通道——红、绿、蓝,而不是只有一个通道代表黑与白之间的强度。这些通道相互叠加,形成精确描绘物体、人等的图像。第4通道-称为alpha -表示透明度因子也可用。

转变

我们可以对图像文件进行几种不同的转换,以改变图像的外观或布局。有些是-

  • 裁剪
  • 调整
  • 旋转
  • 调整亮度,对比度,色调,饱和度
  • 模糊

几个图书馆通常用于这些转变 -

图像深度学习-卷积神经网络简介

卷积神经网络(CNN)是一种前馈神经网络这在计算机视觉相关的任务中是非常有效的。一个标准的CNN除了在正常的前向神经网络中发现的密集和辍学层外,还有两种类型的层。他们是- - - - - -

  • 褶积层
  • 汇聚层

我们可以在下面的视频片段中看到卷积层的工作。在操作中,我们采用权重矩阵并将它们乘以图像内的子矩阵。结果将保存到新的输出矩阵,并且在一个单元格转换后重复该过程。此操作将创建一个较小的数据集,用于后续图层。

图片来源:谷歌开发者网站

在CNN下需要汇集层,然后在先前的卷积层中检测到的特征。通常,在该层中使用MAX池和平均池平均池。

还有更多关于卷积和池化层的信息在这里。一个样本卷积神经网络的代表图如下所示。

https://lh4.googleusercontent.com/Tgb2909NT3E7Cren4qg6W_fEJSeUuAbt5NRC5APAEgVWSaBHOFsbdl9nrAfpSnWUAEgIvNwYVZ0_LNn-d2n2YjRFEOotwzSZkJcvchivDQMQLfPziw6vj30CFT20z_3Hm9eYaQE

图片来源:

神经网络的早期层倾向于捕捉图像的低级特征——例如,人脸图像中的眼睛。当我们对CNN进行更深入的训练时,该网络将汇集所有低级特征,从而理解并生成高级特征——就像一张完整的脸。请参见下面的例子。

https://lh4.googleusercontent.com/NC8JHaYtZ6Y82AancSIlEOcR26QiFDjPPRjGsP9-MxOSSAviZ9i93wpRa1bllEQLGtg63dmKPW_-yahpR7UYmPYyAvi1XhpbVOJno19U5Qssl-qXAI4d8buemtLc8CWNuwbKr5Q

来源:https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets//

目前计算机愿景中的挑战

我们可以训练的计算机视觉模型的准确性高度依赖于我们的数据质量。目前我们在处理图像数据时遇到的共同挑战是-

  • 遮挡:某些物体挡住了我们想在图像中检测到的物体
  • 视点变化:同一类中的图片从不同的角度拍摄,导致捕获模式的难度
  • 照明:同一类中的图片具有不同程度的亮度
  • 变形:我们试图检测的物体在一些图片中是变形的
  • 背景对象:有背景对象看起来类似于我们试图在一些图片中检测的对象
  • Intraclass变化:同一类图片中的对象看起来不同的不同图片。例如,如果我们试图检测狗 - 狗的品种可能导致形状,大小和颜色的变化。

计算机愿景的应用

图像识别任务是在各种企业和消费者聚焦技术产品中使用的。图像识别任务的一些示例是 -

  • 图像分类:尝试根据图像的内容对图像进行分类。例如 - 在制造useCase中识别出故障/没有故障芯片。

图像结果用于图像分类神经网络

图片来源:CS231.github

  • 对象检测:识别图像中对象或人的确切位置。此任务最受欢迎的示例是Tesla自动驾驶仪驱动系统,它标识对象/人并使用这些来做出决策。

对象检测的图像结果

来源:Sharif Elfoly Medium制品

  • 图像标题:识别图片中发生的事情,然后将其转化为自然语言。例如,卷积神经网络将能够查看下面的图像显示并将其翻译成人类语言。

https://lh5.googleusercontent.com/q0pjl5bl-4pu_34kyhrmxrpbbbgp3nfquhzvbf_gkwf18fn2yu1uv1xxalkf1ynrmwqsnxycjre4aveo0msr7aojcnpjfygy_ddsla0n9qxtsxbwzzu4stlozwhndxvypvaa7ep8.

图像来源:TF网站

业内计算机视觉服务

这里列出了一些可用来完成计算机视觉任务的常用资源-

  • 开源工具 - OpenCV,Tensorflow,Pytorch等

这些工具为计算机视觉提供了基本的构建模块。我们可以读取、转换和操作图像数据。我们可以使用像TensorFlow和PyTorch这样的工具也CV模型。

  • 预先训练的AI模型,例如:Inception, VGG

这些是开源CV型号,可用于转移学习等技术,帮助新用户在较短的时间内实现更高的准确性。

  • 模型即服务,例如AWS Rekognition、Azure认知服务、谷歌AI平台

这些CV模型是由大型跨国公司通过网络服务器提供的。

  • AI开发选项,如AWS Sagemaker、Azure ML、GCP AI平台等。

这些服务将允许我们使用上面提到的开源工具来培训和推断新的计算机视觉模型

电脑愿景的TIBCO解决方案

数据科学博士-一张图片价值一百万字节

视频中提到的所有内容的视频演练和使用标准Mnist手写数据集的演示显示在视频中。

从云服务访问预先训练的模型

由于主要的云提供商都提供图像识别服务,如果可能的话,我们希望利用他们在Spotfire®中的现有功能。这不仅意味着Spotfire可以用于运行图像识别模型,还可以连接到云服务。

云提供商形象服务概述

为了构建这个图像识别Spotfire工具,我们需要能够做到以下几点:

  1. 将图像读入Spotfire并提取元数据I.。图像名称,尺寸等
  2. 将图像提交到云服务并处理返回的结果
  3. 在Spotfire中可视化结果

为了实现这一点,我将利用Spotfire广泛访问的API和语言,如IronPython / C#Pythonjavascript.

关于这个演示的详细信息已经提供在这里。这个演示的视频也已经发布在这里

使用TIBCO Team Studio大规模访问图像数据

用于读取图像数据的Mod(自定义运算符)可以免费下载这个社区交换页面vwin德赢公司

作者:

Venkata Jagannath.他是美国东部地区TIBCO数据科学团队的首席数据科学家。他的研究领域是人工智能、大数据和云计算的交叉领域。当他不工作的时候,他喜欢做他的宠物项目,比如个人财务,家庭装修等。

查看Wiki页面