大数据开发插件1.4现已可用

Jetbrains发布了大数据工具插件的新版本，与2021.3版本的IntelliJ IDEA Ultimate、PyCharm专业版和DataGrip兼容。该插件还支持我们新的数据科学IDE–DataSpell。

Kafka支持

Kafka连接工具窗口中的生产者和用户管理

这允许你通过提供测试数据或检查现有主题的内容来快速测试应用程序。你会注意到Kafka连接工具窗口中有两个额外的按钮。添加生产者和添加消费者。

要收集数据，点击添加消费者按钮，选择你的主题、格式和日期范围，然后按开始消费。消费者将运行，直到你点击停止消费。

高级Kafka属性配置

新的 “属性 “下拉菜单允许你选择是在连接设置中直接写入所有属性，还是从现有文件中加载它们：

Remote file systems

对类似S3的连接（AWS S3、Linode、Digital Ocean Spaces、MinIO和Yandex Object Storage）的Bucket支持。

这个功能允许你将你的预览限制在你实际使用的桶上。在大型生产系统中，你可能有几十个Bucket，现在你可以过滤列表，而不是为每个Bucket创建不同的S3连接或滚动浏览一个长长的列表。

在新的连接设置选项卡中，你现在可以指定一个桶过滤器，而不是一个单一的Bucket名称。有多种过滤器类型可用。包含，匹配，开始于，和Regex。如果你把这个字段留空，所有Bucket都将被列出。

例如，让我们找到所有名字以 “big-data-“开头的数据桶：

大数据工具窗口中的结果看起来像这样：

你也可以创建新的数据集。只要在目标服务器上点击右键，打开上下文菜单，在对话窗口中为新Bucket输入一个名称：

新建文件系统SFTP

SFTP是处理远程文件的事实上的标准：

你可以从 “连接 “上下文菜单中建立一个新的SSH连接到这个服务器：

终端会自动改变当前目录：

标签：