アラートダイアログに表示するViewを用意して、AlertDialog.BuilderのインスタンスにsetViewで設定すればよい。

まず、アラートダイアログに設定するレイアウトxml(custom_alert.xml)を用意する。
内容はこんな感じ。

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:orientation="vertical"
    android:id="@+id/customAlert">

    <RadioGroup
        android:layout_width="match_parent"
        android:layout_height="match_parent"
        android:id="@+id/radioGroup"
        tools:ignore="UselessParent">

        <RadioButton
            android:text="RadioButton1"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:id="@+id/radioButton1"
            android:layout_weight="1" />

        <RadioButton
            android:text="RadioButton2"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:id="@+id/radioButton2"
            android:layout_weight="1" />
    </RadioGroup>
</LinearLayout>

MainActivityのレイアウトxmlにボタンを1コ置いておいて、MainActivityをこんな感じにする。

package jp.hemohemo.testalert;

import android.app.Dialog;
import android.content.DialogInterface;
import android.support.annotation.NonNull;
import android.support.v4.app.DialogFragment;
import android.support.v4.view.LayoutInflaterCompat;
import android.support.v7.app.AlertDialog;
import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Log;
import android.view.LayoutInflater;
import android.view.View;
import android.view.ViewGroup;
import android.widget.Button;
import android.widget.RadioGroup;

public class MainActivity extends AppCompatActivity {

    public static class MyAlertDialogFlagment extends DialogFragment {
        @NonNull
        @Override
        public Dialog onCreateDialog(Bundle savedInstanceState) {
            // カスタムビューを用意
            LayoutInflater inflater = (LayoutInflater)getActivity().getSystemService(LAYOUT_INFLATER_SERVICE);
            View layout = inflater.inflate(R.layout.custom_alert, (ViewGroup)getActivity().findViewById(R.id.customAlert));

            final RadioGroup radioGroup = (RadioGroup)layout.findViewById(R.id.radioGroup);

            // アラートダイアログを生成
            AlertDialog.Builder builder = new AlertDialog.Builder(getActivity());
            builder.setView(layout)
                    .setPositiveButton(android.R.string.ok, new DialogInterface.OnClickListener() {
                        @Override
                        public void onClick(DialogInterface dialogInterface, int i) {
                            Log.d("TAG", "Clicked OK");
                            int checkedID = radioGroup.getCheckedRadioButtonId();
                            if(checkedID == R.id.radioButton1) {
                                Log.d("TAG", "Checked RadioButton1");
                            } else if(checkedID == R.id.radioButton2) {
                                Log.d("TAG", "Checked RadioButton2");
                            }
                        }
                    })
                    .setNegativeButton(android.R.string.cancel, new DialogInterface.OnClickListener() {
                        @Override
                        public void onClick(DialogInterface dialogInterface, int i) {
                            Log.d("TAG", "Clicked Cancel");
                        }
                    });
            return builder.create();
        }
    }

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        // ボタンをクリックしたらアラートを表示するように設定。
        Button button = (Button)findViewById(R.id.button);
        button.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View view) {
                MyAlertDialogFlagment alert = new MyAlertDialogFlagment();
                alert.show(getSupportFragmentManager(), "TAG");
            }
        });
    }
}

実行するとこんな感じの画面になり、ラジオボタンを選択してOKを押すとLogcatにメッセージが表示される。

001