Qual é a melhor maneira de usar o Databricks no ADF?

Primeiramente, você precisa criar um Linked Service para o ADF se conectar ao seu Cluster Databricks. Você pode se conectar a quantos clusters quiser. Em seguida, crie um pipeline no ADF, na lista de Atividades clique na Opção Databricks e depois arraste o atributo de Notebook/Python/Jar conforme sua necessidade. Sob Geral, dê o Nome do Stem e, em seguida, na Opção Azure Databricks, você precisa especificar o nome do cluster (onde seu notebook reside) que está conectado via Linked Service no primeiro passo. Por último, na opção Configurações, você precisa navegar até o Notebook Databricks que deseja executar e então selecioná-lo.