¿Cuál es la mejor manera de usar Databricks en ADF?

En primer lugar, necesitas crear un Servicio Vinculado para que ADF se conecte a tu Clúster de Databricks. Puedes conectarte a tantos clústeres como desees. Luego, crea un pipeline en el ADF, en la lista de Actividades haz clic en la Opción de Databricks y luego arrastra el atributo de Notebook/Python/Jar según tu necesidad. Bajo General, da el Nombre del Tallo y luego, bajo la Opción de Azure Databricks, necesitas especificar el nombre del clúster (donde reside tu notebook) que está conectado a través del Servicio Vinculado en el primer paso. Por último, bajo la opción de Configuración, necesitas navegar al Notebook de Databricks que deseas ejecutar y luego seleccionarlo.